Software implementation of the algorithm for automatic detection of lineaments and their properties on open-pit dumps

Толық мәтін

1. ВВЕДЕНИЕ

Современный этап развития технологии добычи полезных ископаемых открытым способом характеризуется значительными глубинами извлечения, которые могут составлять несколько сотен метров. В этих условиях возрастают требования к обеспечению устойчивости бортов карьеров. Оползневые деформации уступов приводят к большим финансовым затратам на устранение последствий аварийных ситуаций. Количественная характеристика неоднородностей (промывов, трещин и пр.) имеет основополагающее значение для определения механического поведения не сплошных массивов горных пород [1]. Следовательно, растет интерес к автоматизированному обнаружению неоднородностей на основе компьютерного зрения, чтобы заменить традиционные процедуры проверки человеком.

Методы обнаружения неоднородностей на основе машинного зрения широко применяются на протяжении последнего десятилетия из-за их преимуществ относительно хорошей точности и производительности алгоритмов в реальном времени [2] с учетом дистанционного наблюдения за объектами.

В основе этих алгоритмов лежат методы обработки цифровых данных (значений пикселов) RGB-изображения, включая методы обнаружения краев [3], преобразование Хафа [4], сегментацию изображения [5], идентификацию и детектирование характерных точек [6, 7], метод корреляции для цифровых изображений (Digital Image Correlation) [8, 9] и фотограмметрии [10] и прочее.

Однако общее ограничение этих подходов заключается в обнаружении линеаментов (трещин) путем поиска по всей области изображения. В результате возникают трудности в дифференциации истинных объектов от подобных им шумов, таких как границы структур (например, стрела экскаватора), крупные наземные коммуникации, провода и трубы темного цвета, тени от объектов линейной формы [11]. В то же время точное обнаружение формы линеамента, ответвлений, начального и конечного пикселов является ключевым фактором для измерения геометрических свойств (длины или площади) и остается сложной, нетривиальной задачей.

В последние годы машинное обучение и, в частности, сверточные нейронные сети продемонстрировали широкие возможности в области семантического обнаружения объектов и их признаковых классов в задачах дистанционного мониторинга состояния различных объектов. Так, в работе [12] рассматривается модель CNN для точной идентификации микросейсмических событий и взрывов. В статье [13] предложен метод, основанный на DCNN, для локализации повреждений строительных конструкций с высокой точностью на необработанных, зашумленных сигналах. Также встречается большое количество работ касательно процессов детектирования трещин на снимках, образованных на различных поверхностях. Авторы в [14] использовали обученную CNN и методы скользящего окна для обнаружения трещин на бетонных поверхностях. В исследовании [15] используется сверточная нейронная сеть типа R-CNN для обнаружения трещин на асфальтированных дорогах. В [16] продемонстрирована модель обнаружения повреждений на базе сквозного метода (end-to-end), основанного на глубоком обучении с использованием широкого набора данных о повреждениях дорог, их местоположении и типе повреждения. Также в работе [17] на основе сквозного метода предложена сверточная сеть для обнаружения трещин мостовых опор. В работе используется свертка с разделением, уменьшающая количество параметров и модуль объединения пространственных пирамид (ASPP). Представленная модель достигает точности обнаружения 96,37%.

Среди работ по обнаружению линеаментов выделяют исследования по практическому применению результатов детектирования, т.е. так называемый пост-процессинг. В частности, в работе [18] рассматривается задача определения длин трещин на шлифах бетонных срезов различных конструкций. Использована комбинация сверточной сети и методов определения вершин трещин на основе морфологических трансформаций графического объекта и функции пороговой сегментации.

В плане коммерческого программного обеспечения в основном на рынке присутствуют разработки для определения физических характеристик (например, определение величины кинетического сдвига и границ дилатации) трещин по их изображениям в динамике на основе алгоритмов машинного зрения. В работе [19] представлена полностью автоматизированная процедура обнаружения трещин и измерения их кинематики в лабораторных экспериментах с использованием цифровой корреляции изображений (DIC), которая позволяет извлекать гораздо более мелкие трещины с их местоположением в образце. Ширина трещины и подвижки измеряются с использованием поля смещения с учетом локальных поворотов образца.

Анализ представленной литературы показал, что подавляющее большинство работ, посвященных в той или иной степени детектированию линеаментов, используют в качестве исходных данных изображения с явно выделяющимися объектами на относительно равномерном по цветовой гамме фоне (асфальтированная дорога, бетонная стена, каменистая порода и т.п.). Авторам не удалось найти обучающих выборок с изображениями реальных бортов и отвалов на карьерах, где, например, на поверхности могут присутствовать камни, результаты рекультивации (молодая поросль), водные отстойники и прочее. Косвенно это подтверждается и отсутствием таких данных на ресурсе Kaggle (https://www.kaggle.com/).

Хотя методы машинного зрения, в том числе нейронные сети глубокого обучения, и обладают наибольшей точностью детектирования линеаментов, однако, остаются вопросы постпроцессинга результатов и имплементации предметного программного обеспечения. Например, расчета геометрических величин с использованием RGB-изображений аэрофотосъемки.

В этом исследовании представлен алгоритм обнаружения трещин и определения их длин и площадей на бортах и отвалах угольных разрезов. Приводится сравнение нейронных сетей для семантической классификации объектов, алгоритм линеаризации пиксельных данных на бинаризованных изображениях трещин. Решается задача группировки объектов, подсчета пикселов и расчета на их основе длины и площади с учетом разрешения исходного изображения. Полный алгоритм обработки реализован в виде программного модуля на языке Python (https://gitlab.ict.sbras.ru/popov/lineaments/-/tree/master/lineaments-cnn).

2. Подготовка данных

В качестве исходных данных использовались трехканальные RGB-изображения аэрофотосъемки высокого разрешения (10 × 10 см). Высота съемки 300 м. Снимки получены с беспилотного летательного аппарата с камерой SONY DSC-RX1R. Период съемки 07.2022–08.2022 гг. Полный размер входного изображения 6000 × 4000 пикселов.

Входное изображение разбивалось на базисные субизображения (в текущей версии 256 × 256 пикселов), которые брались за основу для предварительной обработки и процесса ручной разметки данных. Предобработка строилась на базе схемы последовательных преобразований RGB-изображения в бинарное (рис. 1).

 

Рис. 1. Схема преобразования RGB-изображения в бинарное изображение. Названия компонентов соответствуют программной библиотеке OpenCV API (https://docs.opencv.org/4.x/) и scikit-image (https://scikit-image.org/). Число по вертикали – размер изображения, по горизонтали – количество каналов.

 

В схеме используется преобразование цветного изображения к схеме “градации серого” (cvtColor) с последующим применением процедуры размытия по Гауссу (GaussianBlur) для сглаживания резких переходов (значений) соседних пикселов.

Бинаризация выполняется на основе адаптивного выделения контуров с дилатацией (adaptiveThreshold) из библиотеки OpenCV и выделением медианных пикселов (medial_axis) для линеаризации трещин из библиотеки scikit-image (рис. 3)

 

Рис. 3. Фрагмент кода предобработки субизображений обучающей выборки.

 

На выходе получаются нормализованные бинарные изображения, пригодные для последующей ручной корректировки в рамках формирования обучающей выборки (рис. 2в).

 

Рис. 2. Схема подготовки обучающей выборки на основе схемы преобразования (рис. 1).

 

Исходное и эталонное субизображения подвергались вертикальному, горизонтальному, симметричному отражению и случайному вращению (библиотека albumentation, https://albumentations.ai/).

Таким образом была сформирована обучающая выборка из более чем 2000 субизображений (с учетом аугментации), являющихся частями исходных изображений, содержащих как трещины, так и изображения с полным отсутствием таковых (фон). Принималось, что на субизображении трещины обозначены белым цветом (значение 1, класс “трещина”), а остальная часть фона - черным (0, класс “фон”).

Для процесса обучения, валидации и детектирования трещин датасет был поделен на части в пропорции 85% / 10% / 5%. Датасет доступен по ссылке https://www.kaggle.com/datasets/semionpopov/open-pit-cracks.

3. Обнаружение трещин

3.1 Конфигурация нейронной сети

Процесс обнаружения трещин на изображениях строился на базе сверточной нейронной сети типа U-Net. Архитектура сети представляет собой полносвязную сверточную сеть [20], работающую на меньшем количестве примеров (обучающих образов) с более точной сегментацией. Сеть содержит блок кодировщика (Encoder) и блок де-кодировщика (Decoder) (рис. 4а, б). Программная имплементация сети реализована на основе пакета TensorFlow v2.11 c модулем Keras (https://www.tensorflow.org/api_docs/python/tf/keras).

 

Рис. 4. Конфигурация нейронной сети

 

Блок Encoder состоит из модулей свертки, включающих два сверточных слоя (Conv2D) с параметром kernel_size 3×3 (класс tf.keras.layers.Conv2D), слой активации ReLU (класс tf.keras.layers.Activation) и слой нормализации входных данных BatchNorm (класс tf.keras.layers.BatchNormalization). Также используется дополнительный слой пулинга с функцией максимума (параметр pool_size = 2×2) с шагом 2 и слой регуляризации (Dropout) для уменьшения переобучения с 50% исключением (параметр rate). На каждом шаге количество каналов признаков удваивается (параметр filters).

Параметр “фильтр” является ключевым. Фильтры – это массивы заданного размера, которые инициализируются случайными значениями с использованием метода, указанного в аргументе kernel_initializer (класс tf.keras.initializers). Во время обучения сети фильтры обновляются таким образом, чтобы минимизировать потери. В ходе обучения фильтры учатся обнаруживать определенные особенности объектов (например, края и текстуры трещин). Блок Encoder действует как экстрактор признаков и изучает абстрактное представление входного изображения через последовательность фильтров.

Блок Decoder содержит слой обратной свертки (класс tf.keras.layers.Conv2DTranspose), который расширяет карту признаков. После идет конкатенация (слой concatenate) с соответствующим образом обрезанной картой признаков и последовательность слоев свертки, как в части Encoder. Обрезка проводится из-за потери пограничных пикселов в каждой свертке. Завершающий слой (Conv2D) – свертка 1×1 (kernel_size) – используется для приведения каждого 16-компонентного вектора признаков до требуемого количества классов (2 класса: трещина, фон).

Декодирование необходимо для повышения дискретизации нейронной сети за счет объединения карты признаков объектов с более высокими разрешениями из блока кодировщика (апсэмплинг) с целью улучшения априорной оценки более ранних этапов свертки. Это позволяет лучше представить локализацию искомых объектов (трещин). На рис. 5, 6 приведены фрагменты программного кода инициализации блоков Encoder и Decoder, компиляции и старта процесса обучения сети (класс tf.keras.Model).

 

Рис. 5. Программная реализация блоков Encoder и Decoder. Переменными “c1-c9” обозначены модули свертки.

 

Рис. 6. Фрагмент кода компиляции и старта процесса обучения сети.

 

3.2. Обучение нейронной сети

Сеть обучалась на датасете размером 2015 изображений. В качестве функции потерь использовалась бинарная кросс-энтропия (класс tf.keras.losses.BinaryCrossentropy). Для оценки качества работы моделей использовалась метрика Accuracy (класс tf.keras.metrics.Accuracy), показывающая процент пикселов в изображении, которые были правильно классифицированы. Количество эпох от 30 до 45. На выходе получалась полностью обученная сеть с оптимизированной матрицей весов. Сеть сохранялась в файл формата HDF (.h5) для последующей загрузки на этапе детектирования объектов.

Для оценки релевантности выбора конфигурации представленной сети проведено сравнение результатов обучения с похожей архитектурой нейронной сети DeepLabV3+ [21]. Обучение DeepLabV3+ проводилось на такой же обучающей выборке с аналогичной функцией потерь и метрикой. Ниже представлены сводные таблицы метрик (табл. 1.), матриц ошибок (confusion matrix, табл. 2) и скорости обучения (табл. 3.).

 

Таблица 1. Сравнение нейронных сетей U-Net и DeepLabV3+

Нейронная сеть	Метрика (Accuracy)
U-Net	0,9801
DeepLabV3+	0,9100

 

Таблица 2. Сравнение матриц ошибок

Реальные значения	Сеть U-Net		Сеть DeepLabV3+
Трещины	0,9544	0,0456	0,8103	0,1897
Фон	0,0413	0,9587	0,0533	0,9467
	Трещины	Фон	Трещины	Фон
	Предсказанные значения

 

Таблица 3. Скорость обучения сети

Нейронная сеть	Скорость обучения на эпоху* (batch_size = 4)
U-Net	52 мс
DeepLabV3+	103 мс

* На GPU Nvidia RTX 3060.

 

Метрики сети U-Net оказались значительно выше. Это объясняется тем, что сеть DeepLabV3+ использует в слое кодировщика так называемые расширенные свертки. Модель расширенных сверток (Atrous Convolutions) представляет способ комбинировать признаки с нескольких масштабов без значительного увеличения количества параметров.

Регулируя показатель расширения, один и тот же фильтр распределяет значение веса дальше в пространстве [21]. Это позволяет изучать более общий контекст. То есть данный метод более подходит для распознавания площадных объектов, за счет увеличения шага пространственных пирамид ASPP на каждом этапе свертки.

3.3. Тестирование нейронной сети

Для обнаружения трещин на тестовых субизображениях используется метод predict (класс tf.keras.Model) (рис. 7).

 

Рис. 7. Фрагмент кода для запуска процедуры обнаружения трещин.

 

На вход метода подаются исходные субизображения (параметр imgs_array) тестовой выборки (рис. 2а). На выходе получается массив значений, каждый элемент которого соответствует положению пиксела на исходном субизображении, а значение – вероятности того, что соответствующий пиксел принадлежит классу “трещина”.

Задается порог значений (например, 0.95), выше которого пиксел классифицируется, как принадлежащий трещине. Таким образом формируется карта вероятностей классификаций пикселов (рис. 8).

 

Рис. 8. Схема процесса детектирования трещин для тестового субизображения.

 

Далее всем пикселам со значениями выше порога присваиваются значения, равные 255, а ниже или равными порогу – 0. Формируется бинарное (черно-белое одноканальное изображение) трещин.

После прохождения процедурой predict по всем субизображениям полученные бинарные субизображения объединяются в единый массив данных согласно ширине и длине исходного изображения. Формируется полная бинарная карта. Именно такое изображение используется в постпроцессинге для определения длин и площадей трещин.

4. Постпроцессинг

4.1 Определение длин трещин

Будем рассматривать бинарное субизображение как двухмерный массив (img_bw). Аналогично этапу предобработки применяется метод medial_axis для выделения медианных пикселов. Данный метод уменьшает количество смежных пикселов для текущего медианного до минимального количества (по возможности до 2 пикселов), объекты подвергаются скелетизации (переменная, двухмерного массива img_skel) (рис. 3).

На следующем шаге запускается итерационная процедура формирования наборов точек для каждого объекта-линии. На каждой итерации используется метод label (scipy.ndimage), позволяющий назначить числовую метку (переменная key) пикселам каждой из обособленных трещин, где принадлежность пиксела однозначно определяется его меткой (переменные labeled_array, num_of_labels, рис. 9).

 

Рис. 9. Фрагмент программного кода получения набора координат пикселов для каждого объекта-трещины.

 

Формируется массив key_points, содержащий массивы координат пикселов (y, x – по вертикали, по горизонтали) для текущей метки объекта-трещины.

Измерение трещины по длине определяется по количеству последовательно-смежных (парных) пикселов между двумя краевыми. Пиксел называется краевым, если у него ровно один смежный пиксел. Если у трещины больше двух краевых пикселов (есть ответвления), то выбирается набор по максимальному количеству.

Таким образом, можно сформулировать задачу нахождения длины трещины, как поиск наибольшего пути в ациклическом графе между двумя заданными вершинами.

Для решения поставленной задачи использовались библиотеки SciPy (spatial.KDTree, https://docs.scipy.org/doc/scipy/) и NetworkX (объект Graph, https://networkx.org/documentation/stable/ reference/index.html). Поиск смежных пикселов осуществлялся при помощи метода query_ball_point с параметрами x, y – координаты текущего пиксела и длина радиуса (переменная r), в пределах которого ищутся все пикселы. Если длина получившегося массива (переменная neighbor_counter) равна 2, то текущий пиксел считается краевым (переменная edge_points).

Для поиска всех возможных пар пикселов для текущей метки применялся метод query_pairs с параметрами r и типом выходного массива output_type, равном “ndarray”. Метод возвращает массив пар (переменная labeled_point_pairs_index), где в паре указаны два индекса из массива key_points, являющихся смежными (рис. 9).

Далее для составления объекта-графа (рис. 10) используется конструктор объекта Graph() (переменная G) и G.add_edges_from, на вход которому передаются переменные labeled_point_pairs_index и weight равная 1. Здесь длина ребра берется равной единице. Вне зависимости от того, как расположены точки в паре по вертикали, горизонтали или по диагонали, важен факт количества точек в пути от одной краевой вершины графа до другой.

 

Рис. 10. Пример объекта-графа. Черным обозначены вершины, соответствующие краевым пикселам, стрелками – пути обхода графа между двумя краевыми точками. Штрихованные стрелки – наибольший путь по количеству пикселов на каждой итерации. Ребра графа имеют веса, равные 1.

 

Для всех возможных попарных комбинаций пикселов из edge_points в цикле формируются пути прохождения графа между ними, используя метод shortest_path. На вход ему подаются переменная G и переменные source (начальный краевой пиксел) и target (конечный краевой пиксел), на выходе получаем массив индексов элементов (переменная longest_path, рис. 9) из key_points. При этом в цикле ищется максимально возможный по длине массив path, а также удовлетворяющий проверке на пороговое значение длины (переменная SEGMENT_MIN_LENGTH = 5).

Пикселы, соответствующие массиву longest_path, сохраняются в переменной (point_sets), а в массиве img_skel им присваиваются значения 0. Итерация переходит к следующему значению переменной key.

Данный алгоритм также учитывает случай, когда некоторые пикселы образуют три и более пар (трещины имеют ответвления). Тогда после завершения итераций по всем значениям переменной key алгоритм строит новую серию меток и повторяет серию вышеуказанных процедур снова, затем останавливается пока на какой-то итерации, длина массива longest_path будет всегда меньше, чем пороговое значение SEGMENT_MIN_LENGTH.

В переменной point_sets сохраняются координаты пикселов для каждой трещины на бинаризованном изображении. Общая длина трещины складывается из элементарных длин между двумя попарно смежными пикселами, то есть между вертикально- и горизонтально-смежными расстояние равно 20 см, а по диагонали ~28 см (при разрешении 10×10 см).

4.2 Определение площадей трещин

Аналогично для вычисления площади трещины используется метод label. Далее для каждого ключа key подсчитывается общее количество пикселов в текущем объекте-трещине и умножается на 100 (при разрешении изображения 10×10 см).

На рис. 11а, б представлен результат расчета длин и площадей трещин на произвольном изображении аэрофотосъемки (на примере угольного карьера Восточный, Кемеровская область, Россия).

 

Рис. 11. Результаты расчета длин (слева) и площадей (справа) трещин.

 

Диаграмма потоков данных для полного алгоритма расчета длин и площадей трещин представлена на рис. 12.

 

Рис. 12. DFS-диаграмма потоков данных процесса обнаружения трещин и расчета их длин и площадей.

 

5. Заключение

Разработаны алгоритм и его программная реализация, позволяющие автоматизировать процесс детектирования трещин на изображениях, полученных с летательных аппаратов с фото/видео- оборудованием мониторинга геодинамического состояния объектов угледобычи.

Предложенный подход для распознавания трещин на базе аппарата сверточных нейронных сетей позволяет использовать в качестве входных датасетов различные изображения с соответствующей бинаризованной разметкой объектов семантической сегментации. Нейронная сеть поддерживает процесс дообучения. Гибкие параметрические настройки алгоритма дают возможность пропорционально (с шагом разбивки) обрабатывать большие входные изображения нейронной сетью. Сравнение с другими аналогичными нейронными сетями показали относительное превосходство предложенного выбора сети по скорости и точности метрик.

Постпроцессинг, расчет длин и площадей, строится на количественной оценки или подсчете пикселов объектов с пороговой вероятностью больше или равной предсказанной, использует только величину разрешения изображения и не зависит от RGB-значений. Это позволяет использовать алгоритм на других монохромных (черно-белых) изображениях.

Предложенный подход позволяет в процессе постобработки результатов вычислять количественные характеристики поверхностных неоднородностей (трещин), что имеет практическое значение для определения механического поведения не сплошных массивов горных пород.

Новизна предложенного подхода заключается в применении аппарата нейронных сверточных сетей для автоматизированного поиска характерных риск-объектов на открытых участках (отвалах) угольных разрезов, используя изображения аэрофотосъемки высокого разрешения. Результаты исследования могут быть применены в других предметных задачах многоуровневой адаптивной семантической классификации.

Авторлар туралы

S. Popov

Federal Research Center for Information and Computational Technologies

Хат алмасуға жауапты Автор.
Email: popov@ict.nsc.ru
ORCID iD: 0000-0001-9495-6561
Ресей, 6, Academician M.A. Lavrentiev av., Novosibirsk, 630090

V. Potapov

Federal Research Center for Information and Computational Technologies

Email: vadimptpv@gmail.com
ORCID iD: 0000-0002-1530-5902
Ресей, 6, Academician M.A. Lavrentiev av., Novosibirsk, 630090

R. Zamaraev

Federal Research Center for Information and Computational Technologies

Email: zamaraev@ict.nsc.ru
ORCID iD: 0000-0003-4822-4794
Ресей, 6, Academician M.A. Lavrentiev av., Novosibirsk, 630090

Әдебиет тізімі

Қосымша файлдар