В обзоре систематизированы современные тепловизионные датасеты, применяемые в машинном обучении, и проанализированы методы их расширения. Особое внимание уделено проблемам недостаточной репрезентативности существующих коллекций и способам их решения через синтетическую генерацию, аугментацию и трансферное обучение. Рассмотрены перспективные направления развития тепловизионных датасетов с учётом физических особенностей инфракрасного излучения.
Ключевые слова: тепловидение, инфракрасные изображения, датасеты, машинное обучение, синтетические данные, аугментация.
Тепловизионные технологии находят применение в критически важных областях: от военного дела и медицины до промышленного мониторинга, и автономного транспорта [1]. Однако развитие алгоритмов компьютерного зрения для инфракрасного (ИК) диапазона сталкивается с ключевой проблемой — дефицитом качественных размеченных датасетов. В отличие от RGB-данных, сбор тепловизионных изображений осложнён:
– Высокой стоимостью оборудования (тепловизоры в 5–10 раз дороже обычных камер);
– Сложностью получения эталонных данных (например, точных температурных измерений);
– Ограничениями на съёмку в публичных пространствах из-за нормативных актов [2].
На сегодняшний день существует несколько общедоступных датасетов тепловизионных изображений, каждый из которых обладает своими уникальными особенностями и ограничениями. Один из самых популярных наборов данных — FLIR ADAS (Advanced Driver Assistance Systems), который содержит парные изображения в видимом и инфракрасном спектрах. Этот датасет широко используется для разработки и тестирования систем автономного вождения, поскольку он включает разнообразные сценарии дорожных условий и объектов, таких как пешеходы, автомобили и препятствия. Однако FLIR ADAS ограничен относительно узким спектром сценариев, что может стать проблемой при обучении моделей, предназначенных для работы в более разнообразных условиях.
Другой значимый ресурс — KAIST Multispectral Dataset, предоставляющий обширную коллекцию изображений, сфокусированных на распознавании пешеходов. Этот датасет объединяет данные в видимом и инфракрасном спектрах, что позволяет моделям лучше справляться с различными условиями освещения и погодными условиями. Несмотря на это, качество ночных снимков в KAIST Multispectral страдает из-за повышенного уровня шума, что снижает эффективность моделей машинного обучения, обученных на этих данных, при работе в условиях низкой освещённости.
Перед исследователями стоит непростая задача — как расширить существующие ограниченные коллекции тепловизионных данных для улучшения обучения и общей производительности моделей. Одним из перспективных подходов является использование методов синтетической генерации данных. Современные инструменты, такие как ThermoSim, разработанный на базе игрового движка Unity, позволяют моделировать сложные физические процессы теплопередачи, создавая правдоподобные тепловые изображения различных объектов в различных условиях окружающей среды. Этот инструмент предоставляет возможность точно задавать параметры материалов, источников тепла, а также условия освещения и погодные факторы. Однако такой подход требует высокой точности при настройке параметров модели, что может быть затруднительно при моделировании сложных или нестандартных сцен.
Альтернативным путем является применение генеративно-состязательных сетей (GAN) для преобразования обычных видимых изображений в тепловые. Например, модели типа ThermalGAN демонстрируют впечатляющие результаты в плане визуального сходства синтетических тепловых изображений с реальными. GAN способны генерировать детализированные и разнообразные тепловые карты, что делает их полезными для расширения тренировочных наборов данных. Однако существует значительная проблема — генеративные модели часто искажают абсолютные температурные значения, что особенно критично для приложений, где точные температурные измерения имеют важное значение, таких как медицинская диагностика или промышленный контроль процессов.
Не менее важны методы аугментации данных, которые позволяют увеличить количество тренировочных примеров без необходимости создания новых изображений. В случае тепловизионных данных особую актуальность имеют преобразования, учитывающие физические особенности инфракрасного излучения. Такие как:
– Добавление температурного шума: имитация погрешностей, вызванных неточностями датчиков теплового излучения, позволяет моделям лучше справляться с реальными условиями эксплуатации.
– Реалистичное отражение тепла: моделирование отражения теплового излучения от различных поверхностей с учётом их излучательной способности помогает повысить устойчивость моделей к различным материалам и поверхностям.
– Изменение условий освещения и погодных условий: такие преобразования, как добавление эффектов тумана, дождя или изменения интенсивности освещения, улучшают способность моделей к адаптации к разнообразным реальным сценариям.
Особого внимания заслуживает стратегия трансферного обучения, при которой модель сначала обучают на большом объёме синтетических данных, а затем дорабатывают на небольшом наборе реальных изображений. Этот подход демонстрирует значительное повышение точности моделей — до 20–25 % по сравнению с обучением исключительно на реальных данных. Трансферное обучение особенно эффективно в ситуациях, когда сбор реальных данных затруднён или ограничен, что часто происходит с тепловизионными изображениями из-за высокой стоимости оборудования и требований к конфиденциальности.
Несмотря на значительный прогресс в области создания и использования синтетических тепловизионных данных, остаётся ряд нерешённых проблем.
Одной из главных проблем является сохранение физической достоверности синтетических данных, особенно в части абсолютных температурных значений и динамических процессов изменения тепловых картин. Даже небольшие отклонения могут существенно повлиять на точность моделей в реальных приложениях.
Текущие метрики, такие как PSNR и SSIM, хорошо подходят для оценки визуального качества изображений, но они зачастую не учитывают специфические особенности тепловизионных данных, такие как распределение температуры или физические свойства излучения. Это осложняет объективную оценку качества синтетических тепловых изображений.
Разрыв между распределениями синтетических и реальных данных (domain gap) может снижать обобщающую способность моделей, обученных на синтетических данных, при работе с реальными изображениями.
Создание высококачественных синтетических тепловизионных данных требует значительных вычислительных ресурсов и тщательной настройки параметров, что может быть дорого и времязатратно.
Перспективы развития в области тепловизионных датасетов видятся в нескольких ключевых направлениях
Сочетание реальных и синтетических данных может помочь преодолеть существующие ограничения обоих типов данных. Гибридные датасеты позволяют использовать преимущества синтетических данных для увеличения объёма и разнообразия, одновременно используя реальные данные для обеспечения физической достоверности и улучшения способности моделей к обобщению.
Необходимо создание новых метрик, специально адаптированных для тепловизионных изображений, которые учитывают физические аспекты инфракрасного излучения, такие как точность температурных измерений, распределение тепловых потоков и динамику изменений.
Разработка и внедрение инструментов, способных автоматически или полуавтоматически размечать тепловизионные изображения, может значительно сократить трудозатраты на подготовку данных и повысить их качество. Это особенно важно для приложений, требующих высокой точности и детализации разметки.
Включение физических моделей теплообмена и излучения непосредственно в процесс генерации синтетических данных может значительно повысить их достоверность и уменьшить domain gap.
Синтетические тепловизионные данные становятся всё более важным инструментом в развитии компьютерного зрения и машинного обучения. Они предлагают решения для многих существующих проблем, связанных с ограниченностью и дороговизной реальных данных. Однако успешное применение синтетических данных требует тщательного подхода к оценке качества и методов снижения разрыва между синтетическими и реальными данными. Постоянное развитие технологий генерации данных, создание специализированных метрик и улучшение инструментов разметки открывают новые перспективы для интеграции синтетических тепловизионных данных в реальные приложения. В будущем это позволит значительно расширить возможности тепловизионных технологий в медицине, промышленности, системах безопасности и автономном транспорте, делая их неотъемлемой частью современных систем компьютерного зрения.
Литература:
- FLIR Thermal Dataset for Autonomous Driving. 2021. URL: flir.com
- Hwang S. et al. Multispectral Pedestrian Detection Benchmark // IEEE TPAMI. 2020.
