Исследование методов автоматического сшивания панорамных изображений

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Актуальность панорамного сшивания объясняется тем, что в настоящее время доступны мощные компьютеры и алгоритмы обработки изображений, которые позволяют автоматически сшивать множество изображений в панораму с высокой степенью точности и качества. Это делает панорамное сшивание важным инструментом как для профессиональных фотографов, так и фотолюбителей, а также во многих других областях, связанных с обработкой изображений и компьютерным зрением. Ведущей тенденцией развития панорамного сшивания является улучшение точности и скорости алгоритмов, а также расширение возможностей для работы с большими объемами данных. Одним из направлений его развития является разработка инструментов для создания интерактивных панорамных изображений и виртуальных туров. В работе предлагается метод абсолютно автоматического сшивания панорамных изображений с применением методов инвариантных локальных функций поиска ключевых точек и их дескрипторов, проективного преобразования с использованием алгоритма RANSAC, выравнивания изображений на основе вычисления гомографических параметров камеры, многополосного смешивания изображений. Для апробации предлагаемого метода реализован программный прототип, в качестве экспериментальных данных взяты фотографии с выставки хуннов в Музее истории Республики Бурятия им. М.Н. Хангалова. Результатами работы программного прототипа являются панорамные изображения, полученные на основе обработки этих фотографий. Проведенные вычислительные эксперименты позволяют делать вывод, что полученные результаты показывают высокую точность при сравнении с реальным миром.

Об авторах

Светлана Сергеевна Михайлова

Финансовый университет при Правительстве Российской Федерации

Email: ssmihajlova@fa.ru

доктор экономических наук, профессор; профессор департамента анализа данных и машинного обучения Финансового университета при Правительстве Российской Федерации

Россия, Москва

Соелма Доржигушаевна Данилова

Восточно-Сибирского государственного университета технологий и управления

Email: dan-soelma@yandex.ru

кандидат технических наук, доцент; доцент кафедры программной инженерии и искусственного интеллекта Восточно-Сибирского государственного университета технологий и управления

Россия, Улан-Удэ

Наталья Владимировна Гринева

Финансовый университет при Правительстве Российской Федерации

Автор, ответственный за переписку.
Email: ngrineva@fa.ru

кандидат экономических наук, доцент; доцент департамента анализа данных и машинного обучения Финансового университета при Правительстве Российской Федерации

Россия, Москва

Список литературы

  1. Щелиски Р. Выравнивание и сшивание изображений: учеб. пособие // Основы и тенденции в области компьютерной графики и зрения. 2006. Т. 2. № 1. С. 1–104.
  2. Мильграм Д.Л. Компьютерные методы создания фотомозаики // IEEE Transactions on Computers. 1975 г. Т. 100. № 11. С. 1113–1119.
  3. Браун М., Лоу Д.Г. Автоматическая сшивка панорамных изображений с использованием инвариантных функций // Международный журнал компьютерного зрения. 2007. Т. 74. № 1. С. 59–73.
  4. Чен С.Е. Quicktime VR: основанный на изображениях подход к навигации в виртуальной среде // Материалы 22-й ежегодной конференции по компьютерной графике и интерактивным технологиям. 1995. С. 29–38.
  5. Microsoft Digital Image Pro. URL: http://www.microsoft.com/products/imaging (дата обращения: 25.01.2023).
  6. Хартли Р., Зиссерман А. Многоплановая геометрия в компьютерном зрении. Пресса Кембриджского университета, 2003. C. 655.
  7. Шелиски Р., Шум Х.Ю. Создание полноразмерных панорамных изображений мозаик и карт окружающей среды // Материалы 24-й ежегодной конференции по компьютерной графике и интерактивным методам. 1997. С. 251–258.
  8. Заславский А.А. Геометрические преобразования. М.: МЦНМО, 2004. 86 с.
  9. Щелиски Р., Канг С.Б. Прямые методы реконструкции визуальных сцен // Труды IEEE Workshop по представлению визуальных сцен (в сочетании с ICCV’95). IEEE, 1995. С. 26–33.
  10. Ирани М., Анандан П. О прямых методах // Международный семинар по алгоритмам зрения. Springer, Berlin, Heidelberg, 1999. С. 267–277.
  11. Шум Х., Щелиски Р. Построение мозаики панорамного изображения с глобальным и локальным выравниванием // Панорамное видение. Springer, New York, NY, 2001. С. 227–268.
  12. Зоглами И., Фожерас О., Дериче Р. Использование геометрических углов для построения двумерной мозаики из набора изображений // Материалы конференции IEEE Computer Society по компьютерному зрению и распознаванию образов. IEEE, 1997. С. 420–425.
  13. Капель Д., Зиссерман А. Автоматизированная мозаика с суперразрешением зума // Труды Конференции IEEE Computer Society 1998 года по компьютерному зрению и распознаванию образов (кат. № 98CB36231). IEEE, 1998. С. 885–891.
  14. МакЛоклен П.Ф., Дженике A. Мозаика изображений с помощью последовательной настройки пучка // Image and Vision computing. 2002. Т. 20. № 9-10. С. 751–759.
  15. Harris C. Geometry from visual motion // Active vision. MIT press, 1993. С. 263–284.
  16. Ши Дж. и соавт. Хорошие возможности для отслеживания // Матер. конф. IEEE по компьютерному зрению и распознаванию образов. IEEE, 1994. С. 593–600.
  17. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
  18. Patent SIFT. URL: https://www.google.com/patents/US6711293 (дата обращения: 21.12.2022).
  19. Patent SURF. URL: https://patents.google.com/patent/US20090238460 (дата обращения: 21.12.2022).
  20. Бэй Х., Туйтелаарс Т., Ван Гул Л. Сёрф: ускореные надежные функции // Европейская конференция по компьютерному зрению. Springer, Berlin, Heidelberg, 2006. С. 404–417.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Общая модель автоматического сшивания изображений

Скачать (49KB)
3. Рис. 2. Поиск и сопоставление ключевых точек

Скачать (150KB)
4. Рис. 3. Композиция изображений

Скачать (91KB)
5. Рис. 4. Считывание изображений

Скачать (70KB)
6. Рис. 5. Поиск ключевых точек и их дескрипторов

Скачать (61KB)
7. Рис. 6. Сопоставление дескрипторов

Скачать (82KB)
8. Рис. 7. Оценка гомографии изображений

Скачать (144KB)
9. Рис. 8. Компенсация движения

Скачать (192KB)
10. Рис. 9. Волновая коррекция

Скачать (82KB)
11. Рис. 10. Многополосное смешивание

Скачать (216KB)
12. Рис. 11. Процесс сшивания панорамы

Скачать (167KB)
13. Рис. 12. Фотографии выставочного зала

Скачать (249KB)
14. Рис. 13. Панорамное изображение выставочного зала

Скачать (73KB)
15. Рис. 14. Сравнительный график найденных ключевых точек (3872 × 2176)

Скачать (93KB)
16. Рис. 15. Сравнение найденных особенностей (448 × 252)

Скачать (87KB)


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».