Задача: Вернуть смещенную и(или) развернутую ступню в исходное положение, по всем восьми ракурсам.
Требования: Линейное расхождение по контуру, между оригинальным и сгенерированным изображением, не более 20 пикселей.
Dataset: Изображения ступней, восемь ракурсов (бинарная маска, size 3088 : 2320).
Инструмент: GAN pix2pix
Предобработка: На вход нейронной сети, подается восьмиканальный массив, shape (N, 2048, 2048, 8), N - samples. Для подачи входных данных, использовался генератор.
Пример полученного результата на тестовых данных:
https://drive.google.com/file/d/1-9CD-Twdj0yMUqWqy_LyJ4d6XsYpdRjR/view?usp=share_link
Метрики (IoU):
Значения в процентах от общей площади оригинала.
Первое значение {red} - площадь красной области, лишние сгенерированные пиксели
Второе значение {green} - площадь зеленой области, не до cгенерированные пиксели
Первое и второе значения, должны стремиться к 0.
Часть процесса обучения (видео):
https://drive.google.com/file/d/1ibfiZ0TUvAK7_9WkaLRIRTF-w7Z68qc_/view?usp=share_link