Аннотация. Задача сопоставления изображений, полученных посредством различных каналов регистрации (в частности, в инфракрасном и видимом диапазонах), с построением трехмерных геометрических моделей сцены является весьма трудоемкой из-за принципиальных различий в физических механизмах формирования данных. Данная проблема приобретает особую актуальность в контексте навигации беспилотных летательных аппаратов (БПЛА), где возникает необходимость совмещения информации от разнородных бортовых сенсоров для обеспечения надежного позиционирования и ориентации в пространстве. Современные БПЛА зачастую оснащаются одновременно оптическими камерами видимого диапазона, тепловизионными модулями и лидарными системами, что порождает потребность в эффективных алгоритмах кросс-модального сопоставления получаемых данных. В рамках настоящего исследования под понятием модальности подразумевается конкретная разновидность регистрируемой информации (в частности, RGB-изображения, инфракрасные снимки, карты глубины), причем каждая из указанных разновидностей фиксирует специфические характеристики сцены: текстурные особенности, распределение тепловых полей, свойства отражения поверхностей либо пространственную геометрию объектов. Поскольку каждый канал наблюдения порождает принципиально отличающийся набор признаков (текстурных, термических, отражательных или геометрических), непосредственное установление соответствий между разнородными модальностями превращается в нетривиальную исследовательскую проблему. В настоящей работе предлагается методологический подход, базирующийся на преобразовании разномодальных данных в унифицированное пространство глубины, рассматриваемое в качестве инвариантного представления исследуемой сцены. Благодаря процедуре восстановления глубинной информации из исходных изображений различных модальностей или их привязки к единой пространственно-геометрической структуре становится возможным нивелировать межмодальные расхождения и существенно упростить процедуру установления соответствий между разнотипными данными. Подобный подход может найти практическое применение в системах автономной навигации БПЛА, где точное и устойчивое сопоставление мультисенсорной информации критически важно для безопасного выполнения полетных заданий. В статье подробно описывается архитектурное построение разработанного метода, приводятся результаты экспериментальной проверки его работоспособности и эффективности на реальных многоспектральных наборах данных, а также выполняется критический анализ выявленных ограничений предложенного подхода с рассмотрением перспективных направлений его дальнейшего совершенствования и развития. 

Ключевые слова: обработка изображений, компьютерное зрение, нейронные сети, сопоставление изображений

Для цитирования: Гессен П. А., Лизин А. И., Павлова В. А., Саенко В. Д., Тупиков В. А. Сопоставление изображений видимого и инфракрасного диапазонов и трехмерных моделей через переход к единому пространству глубины // Аэрокосмическая техника и технологии. 2026. Т. 4, № 2. С. 372–388. https://doi.org/10.52467/2949-401X-2026-4-2-372-388; https://elibrary.ru/twyrky

Библиографический список

1. Патин М. В., Коробов Д. В. Сравнительный анализ методов поиска особых точек и дескрипторов при группировке изображений по схожему содержанию // Молодой ученый. 2016. Т. 115, № 11. С. 214–221. https://moluch.ru/archive/115/31188; https://elibrary.ru/WGGOBZ
2. Isola P., Zhu J.-Y., Zhou T., Efros A. A. Image-to-image translation with conditional adversarial networks // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA. 2017. Pp. 5967–5976. https://doi.org/10.1109/CVPR.2017.632
3. Нажимова Н. А., Киселев А. А. Сравнительный анализ методов определения опорных точек на изображениях // Научное обозрение. Технические науки. 2024. № 1. С. 23–28. https://doi.org/10.17513/srts.1454
4. Horn B. K. P., Schunck B. G. Determining optical flow // Artificial Intelligence. 1981. Vol. 17, Iss. 1–3, Pp. 185–203. https://doi.org/10.1016/0004-3702(81)90024-2
5. Goodfellow I., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative adversarial nets // Advances in Neural Information Processing Systems 27 (NIPS 2014) (8–11th December 2014, Montreal, Canada). NIPS. 2014, 9 p. https://papers.nips.cc/paper_files/paper/2014/hash/f033ed80deb0234979a61f95710dbe25-Abstract.html
6. Zhu J.-Y., Park T., Isola P., Efros A. A. Unpaired image-to-image translation using cycle-consistent adversarial networks // 2017 IEEE International Conference on Computer Vision (ICCV), (22–29 October 2017 Venice, Italy). IEEE. 2017, pp. 2242–2251, https://doi.org/10.1109/ICCV.2017.244
7. Liu M.-Y., Breuel T., Kautz J. Unsupervised image-to-image translation networks // Advances in Neural Information Processing Systems30 – Proceedings of the 2017 Conference (4^th–9^th December, 2017, Long Beach). NIPS. 2017, pp. 700–708. https://proceedings.neurips.cc/paper/2017/hash/dc6a6489640ca02b0d42dabeb8e46bb7-Abstract.html
8. Huang X., Liu M.-Y., Belongie S., Kautz J., Multimodal unsupervised image-to-image translation // Computer Vision – ECCV 2018. Lecture Notes in Computer Science, Springer, Cham. 2018. Vol. 11207. Pp. 172–189. https://doi.org/10.1007/978-3-030-01219-9_11
9. Hui L., Li X., Chen J., He H., Yang J. Unsupervised multi-domain image translation with domain-specific encoders/decoders // 2018 24th International Conference on Pattern Recognition (ICPR), Beijing, China. 2018. Pp. 2044–2049, https://doi.org/10.1109/ICPR.2018.8545169
10. Radford A., Kim J. W., Hallacy C., Ramesh A., Goh G., Agarwal S., Sastry G., Askell A., Mishkin P., Clark J., Krueger G., Sutskever I. Learning transferable visual models from natural language supervision // Proceedings of the 38th International Conference on Machine Learning, 18–24 July 2021. PMLR, 2021. Vol. 139. Pp. 8748–8763. https://proceedings.mlr.press/v139/
11. Eigen D., Puhrsch C., Fergus R. Depth map prediction from a single image using a multi-scale deep network // Advances in Neural Information Processing Systems 27 (NIPS 2014) 8–11th December 2014, Montreal, Canada. https://papers.nips.cc/paper_files/paper/2014/hash/91c56ce4a249fae5419b90cba831e303-Abstract.html
12. Yang L., Kang B., Huang Z., Zhao Z., Xu X., Feng J., Zhao H. Depth anything V2 // Advances in Neural Information Processing Systems 37 (NeurIPS 2024). https://doi.org/10.52202/079017-0688
13. Dosovitskiy A., Beyer L., Kolesnikov A., Weissenborn D., Zhai X., Unterthiner T., DehghaniM., Minderer M., Heigold G., Gelly S., Uszkoreit J., Houlsby N. An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale // International conference on learning representations, Vienna, Austria, May 03–07, 2021. ICLR, 2021. https://doi.org/10.48550/arXiv.2010.11929
14. Appel A. Some Techniques for shading machine renderings of solids // AFIPS ’68 (Spring): Proceedings of the joint computer conference (Atlantic City New Jersey, April 30–May 2, 1968). New York, Association for Computing Machinery, 1968. Pp. 37–45. https://doi.org/10.1145/1468075.1468082
15. DeTone D., Malisiewicz T., Rabinovich A. SuperPoint: Self-supervised interest point detection and description // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Salt Lake City, UT, USA, 2018, pp. 337–33712, https://doi.org/10.1109/CVPRW.2018.00060
16. Lindenberger P., Sarlin P.-É., Pollefeys M. LightGlue: Local Feature Matching at Light Speed // 2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France. 2023. Pp. 1234–1243. https://doi.org/10.1109/ICCV51070.2023.01616
17. Fischler M. A., Bolles R. C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography // Commun. ACM. 1981. Vol. 24, no. 6, pp. 381–395. https://doi.org/10.1145/358669.358692
18. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. Vol. 60, no. 2, pp. 91–110, https://doi.org/10.1023/B:VISI.0000029664.99615.94
19. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: An efficient alternative to SIFT or SURF // 2011 International Conference on Computer Vision, Barcelona, Spain. 2011.2564–2571, https://doi.org/10.1109/ICCV.2011.6126544
20. Sasaki Y. The truth of the F-measure. URL: https://www.researchgate.net/publication/268185911_The_truth_of_the_F-measure#fullTextFileContent (дата обращения: 07.04.2025)