В данном обзоре систематизируются современные подходы к сравнению синтетических и реальных данных в различных областях компьютерного зрения, уделяя особое внимание RGB-изображениям, тепловизорам и мультиспектральным данным. Наш анализ охватывает как теоретические аспекты оценки качества синтетики, так и практические примеры её применения.

Ключевые слова: машинное обучение, синтетический датасет, реальный датасет, domain gap.

В области компьютерного зрения и машинного обучения вопрос сравнения синтетических и реальных датасетов приобретает всё большую актуальность. Синтетические данные предлагают решение таких проблем, как нехватка размеченных данных, дороговизна сбора реальных данных и вопросы конфиденциальности. Однако их применение сопряжено с рядом вызовов, включая проблему domain gap (разрыва между синтетическими и реальными данными) и вопросы качества генерации. В данной статье мы проведём обзор исследований, сравнивающих синтетические и реальные данные в различных областях компьютерного зрения, включая обычное RGB-зрение, тепловизоры и мультиспектральные данные [1].

Для объективной оценки качества синтетических данных и их сравнения с реальными используются различные метрики:

1. PSNR (Peak Signal-to-Noise Ratio) и SSIM (Structural Similarity Index) — традиционные метрики для оценки качества изображений, измеряющие уровень шума и структурное сходство.
2. FID (Fréchet Inception Distance) — более современная метрика, оценивающая сходство распределений признаков между реальными и синтетическими изображениями.
3. Точность моделей машинного обучения — конечным критерием часто служит производительность моделей, обученных на синтетических данных, при тестировании на реальных данных. Например, в задачах классификации это может быть accuracy, а в задачах детекции — mAP (mean Average Precision).

Исследования показывают, хотя современные методы генерации (GAN, диффузионные модели) позволяют достичь высоких значений PSNR и SSIM, разрыв в производительности моделей между синтетическими и реальными данными может оставаться значительным, особенно в специализированных областях, таких как тепловидение [2].

Синтетические данные широко используются для моделирования редких и опасных ситуаций (например, аварий), которые сложно зафиксировать в реальности. Компании часто комбинируют синтетические данные с реальными для обучения систем компьютерного зрения беспилотников.

Генеративные модели (например, StyleGAN) успешно применяются для создания разнообразных синтетических лиц, что помогает решать проблемы смещения в датасетах.

Исследования показывают, что синтетические тепловые изображения часто не учитывают сложные физические процессы теплопередачи и эмиссии, что приводит к значительному domain gap.

Синтетические данные могут плохо воспроизводить такие сложные условия, как туман, дождь или экстремальное освещение, что ограничивает их применение в критически важных системах.

Синтетические данные часто слишком «чистые» и не содержат артефактов и шумов, характерных для реальных данных, что снижает устойчивость обученных моделей.

Одним из ключевых подходов к уменьшению разрыва между синтетическими и реальными данными являются методы domain adaptation (адаптации домена) и трансферного обучения:

Методы Domain Adaptation направлены на уменьшение различий в распределении признаков между синтетическими (source domain) и реальными (target domain) данными. Например, методы на основе adversarial learning (как в GAN) могут помочь выровнять распределения.

Популярной стратегией является предварительное обучение модели на большом объёме синтетических данных с последующей тонкой настройкой (fine-tuning) на небольшом наборе реальных данных. Этот подход особенно эффективен, когда сбор реальных данных затруднён.

Некоторые исследования предлагают комбинировать синтетические и реальные данные на этапе обучения, что может дать лучшие результаты, чем использование только одного типа данных.

Несмотря на существующие проблемы, область синтетических данных продолжает активно развиваться. Ключевые направления будущих исследований включают:

Улучшение физической достоверности синтетических данных, особенно в специализированных областях, таких как тепловидение и мультиспектральная визуализация.

Разработку более совершенных метрик для оценки качества синтетических данных, учитывающих не только визуальное сходство, но и пригодность для обучения моделей.

Создание методов генерации, способных воспроизводить редкие и аномальные случаи, которые сложно зафиксировать в реальных данных.

Улучшение методов domain adaptation для более эффективного переноса знаний с синтетических на реальные данные.

Проведённый анализ сравнения синтетических и реальных датасетов в компьютерном зрении позволяет сделать несколько значимых выводов. Синтетические данные действительно представляют собой революционный инструмент, предлагающий решение фундаментальных проблем современного машинного обучения: от преодоления дефицита размеченных данных до этических вопросов работы с персональной информацией. Особенно ценным их свойством является возможность генерации редких и опасных сценариев, которые практически невозможно зафиксировать в реальных условиях.

Однако на текущем этапе развития технологий мы наблюдаем парадоксальную ситуацию: несмотря на впечатляющие результаты по формальным метрикам (PSNR, SSIM, FID), практическая эффективность моделей, обученных исключительно на синтетике, часто уступает классическим подходам. Это особенно заметно в специализированных областях, таких как тепловизионное зрение, где физическая достоверность данных играет критическую роль.

Литература:

1. Копылов Денис Александрович, Агешин Егор Сергеевич, Хомутская Ольга Владиславовна Формирование синтетических данных для обучения системы компьютерного зрения // Автоматизация и моделирование в проектировании и управлении. 2022. № 4 (18). URL: https://cyberleninka.ru/article/n/formirovanie-sinteticheskih-dannyh-dlya-obucheniya-sistemy-kompyuternogo-zreniya (дата обращения: 08.05.2025).
2. В. С. Бочков, Л. Ю. Катаева, Д. А. Масленников, Д. А. Масленников Применение архитектуры глубокого обучения U-Net для решения задачи выделения высокотемпературных зон пожара на видео // Труды НГТУ им. Р. Е. Алексеева. 2019. № 3 (126). URL: https://cyberleninka.ru/article/n/primenenie-arhitektury-glubokogo-obucheniya-u-net-dlya-resheniya-zadachi-vydeleniya-vysokotemperaturnyh-zon-pozhara-na-video (дата обращения: 08.05.2025).