Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Software systems and computational methods
Reference:

Segmentation of satellite images based on super pixels and sections on graphs

Zakharov Aleksei Aleksandrovich

PhD in Technical Science

Murom Institute of Vladimir State University

602264, Russia, Vladimirskaya oblast', g. Murom, ul. Orlovskaya, 23, aud. 402

aa-zaharov@ya.ru
Tuzhilkin Aleksei Yur'evich

PhD in Technical Science

Murom Institute of Vladimir State University

602264, Russia, Vladimirskaya oblast', g. Murom, ul. Orlovskaya, 23, kab. 403

ay-tuzhilkin@ya.ru

DOI:

10.7256/2454-0714.2018.1.25629

Received:

05-03-2018


Published:

20-03-2018


Abstract: The study is devoted tp algorithms of segmentation of satellite images for various systems of technical vision. For the segmentation of images authors use sections on graphs. Preliminary segmentation is performed based on the minimal spanning tree to improve performance. When describing the properties of super pixels, information about the height and color of the regions is taken into account. The height of the areas is calculated based on the stereo images. The color of segments is calculated on the basis of color invariants. All super pixels in accordance with their characteristics belong to the areas of buildings, grass cover, trees and shrubs, shaded areas, etc. The image is an undirected weighted graph, the nodes of which are segments of the image. The weights of the vertices of a graph are numbers that determine the membership of a certain class. To divide regions into clusters, the method of cuts on graphs is used. The novelty of the study is the algorithm for segmenting satellite imagery based on super pixels and graphs. The segmentation time on the basis of the developed algorithm decreases several times in comparison with the method of cuts on graphs. The developed algorithm is used to allocate buildings to images. Comparison of the developed algorithm with existing approaches of building allocation is shown, its advantages are shown. Examples of the operation of the algorithm are given by the authors of the article and the results of the research are described.


Keywords:

image segmentation, superpixels, spectral graph theory, graph cuts, satellite imagery, image processing, computer vision, pattern recognition, scene analysis, color invariants


Введение

Сегментация изображений – это процесс разбиения снимков на группы пикселей на основе определенных критериев. Сегментация является необходимым предварительным этапов для решения многих задач компьютерного зрения высокого уровня: поиск и распознавание объектов, интерпретация сцен, трехмерная реконструкция [1, 2, 3]. Часто при сегментации из-за большого количества возможных разбиений изображения получаются неоднозначные результаты. Несмотря на широкое использование, задача сегментации часто сопряжена со сложностями. Разработка надежных алгоритмов сегментации, позволяющих формировать значимые области, представляет актуальную задачу. Часто существующие алгоритмы требуют интенсивного ручного ввода и последующего редактирования результатов. Многие исследования в области обработки изображений направлены на то, чтобы улучшить результаты сегментации на основе использования априорной информации. Эти информационные приоритеты включаются в структуру алгоритмов сегментации, чтобы получить более осмысленные результаты.

Сегментация на основе теории графов предоставляет широкие возможности для решения практических задач. Подходы на основе графов представляют элементы изображений в виде структур и позволяют более гибко осуществлять вычисления. Подобные методы сегментации изображений основаны на разбиении графа на подграфы, которые описывают некоторый объект.

Наиболее известными методами сегментации на основе графов являются: метод на основе минимального покрывающего дерева [4]; методы, использующие разрезы графов с функциями стоимости [5, 6]; методы, использующие разрезы графов с использованием случайных полей Маркова (MRF – Markov Random Field) [7]; методы, основанные на поиске кратчайшего пути [8]; методы случайного поиска [9].

Преимуществом методов разрезов на графах является то, что для разных приложений могут быть использованы различные функции стоимости. Это позволяет задавать условия для выделения на изображениях объектов определенного типа. Существенным недостатком алгоритмов сегментации с использованием разрезов на графах является высокая трудоемкость. Для повышения производительности предлагается использовать суперпиксели [10]. Суперпиксели представляют собой сегменты изображения, которые значительно уменьшают сложность последующих задач обработки. Целью работы является разработка алгоритма сегментации спутниковых изображений местности для задач выделения зданий на изображениях.

Разработка алгоритма сегментации спутниковых изображений на основе суперпикселей и разрезов на графах

Для сегментации и последующего выделения объектов необходимо сгруппировать суперпиксели, имеющие определенные цветовые характеристики и значения высоты. Для формирования суперпикселей изображение сегментируется на основе алгоритма минимального покрывающего дерева [4] (рис. 1, б). Каждому сегменту были присвоены следующие атрибуты: значение высоты, принадлежность к области растительности, к затененной области или остальным объектам сцены. Значение каждого атрибута в суперпикселе усредняется. Значение высоты осуществляется на основе алгоритма минимизации энергии в пределах региона [11] (рис. 1, в).

gor_r

а)

gor1_50_10

б)

map

в)

Рисунок 1. Формирование суперпикселей изображения: а) исходное изображение, б) сегментация на основе минимального покрывающего дерева, в) вычисление карты высот

Следует отметить, что области растительности могут быть представлены деревьями, кустарниками и травяным покровом. При этом области травяного покрова имеют нулевую высоту. Здания имеют ненулевую высоту. Цветовые характеристики крыш зданий в большинстве случаев отличаются от цветовых характеристик растительности и теней. Разработанный алгоритм использует сегментацию на основе спектральной теории графов. Каждый регион имеет свой вес, определяемый цветовыми и трехмерными характеристиками. Изображение представляет собой неориентированный взвешенный граф, узлами которого являются сегменты (рис. 2.). Весами вершин графа являются числа, определяющие принадлежность к некоторому классу (табл. 1). Для разделения регионов на кластеры используется метод разрезов на графах. Преимуществом предлагаемого подхода по сравнению с известным методом нормализованных разрезов является высокая скорость обработки, так как в процессе сегментации участвуют не отдельные пиксели, а сегменты изображения.

а)

б)

Рисунок 2. Представление изображения в виде графа: а) исходное

сегментированное изображение, б) граф сегментированного изображения

Таблица 1. Характеристики сегментов изображения, используемые при группировке регионов

Объекты

Высота

Цвет

Условия

принадлежности региона

Мера

различия, x

Здания

h>0

Ψg (i, j)≤Tg,

ΨS (i, j)≤TS

(h>0)Λ

g(i, j)≤Tg

S(i, j)≤TS)

10

Деревья,

кустарники

h>0

Ψg (i, j)>Tg

(h>0) Λ (Ψg (i, j)>Tg)

20

Травяной

покров

h=0

Ψg (i, j)>Tg

(h=0) Λ (Ψg (i, j)>Tg)

30

Затененные

области

h≥0

ΨS (i, j)>TS

(h≥0) Λ (ΨS (i, j)>TS)

40

Другие

объекты

(дороги,

тротуары и т.д.)

h=0


Ψg (i, j)≤Tg,

ΨS (i, j)≤TS

(h=0) Λ

g (i, j)≤Tg) Λ

S (i, j)≤TS)

50

Для выделения растительности по цвету используется величина Ψg (i, j), называемая цветовым инвариантом. Цветовой инвариант использует значения пикселей в цветовых каналах системы RGB [12]:

Ψg (i, j)=4/π*arctan((I(i, j)g - I(i, j)b)/ (I(i, j)g + I(i, j)b)),

где I(i, j)g значения пикселей с координатами i, j в зеленом канале цветовой системы RGB; I(i, j)b значения пикселей с координатами i, j в синем канале цветовой системы RGB.

Все пиксели, имеющие значение выше порога Tg, относятся к области растительности V(i, j). Порог вычисляется на основе метода Оцу [13]. С использованием метода Оцу пиксели разделяются на два класса: растительность и остальные объекты. Метод использует гистограмму для разделения изображения на 2 класса.

Гистограмма изображения строится следующим образом:

Pi=ni/N,

i=1, 2, 3,..., L ,

где ni – количество пикселей, принадлежащих уровню i на всей области цветового инварианта; N – количество пикселей изображения; L – количество уровней цветового инварианта.

При этом находится такое значение порога t, чтобы дисперсия между классами была максимальной. Порог находится итеративно. Начальное значение порога устанавливается t=1. На каждом шаге дисперсия пересчитывается и запоминается ее максимальное значение и величина порога.

Таким образом, изображение можно представить в виде двух непересекающихся множеств пикселей (растительности и других объектов):

[V(i, j)=1 | Ψg(i, j)>Tg] v [V(i, j)=0 | Ψg(i, j)≤Tg],

где Tg – порог для выделения области растительности по методу Оцу; [V(I, j)=1 | Ψg(i, j)>Tg] – множество пикселей, относящихся к области растительности; [V(i, j)=0 | Ψg(i, j)≤Tg] – множество пикселей, не относящихся к области растительности.

Для обнаружения областей тени на изображении используется цветовой инвариант ΨS(i, j) [14]:

ΨS(i, j)= 4/π*((I(i, j)r –(I(i, j)r2 + I(i, j)g2 + I(i, j)b2)1/2)/(I(i, j)r +(I(i, j)r2 + I(i, j)g2 + I(i, j)b2)1/2)),

где I(i, j)r, I(i, j)g, I(i, j)b – значения пикселей с координатами i, j в красном, зеленом и синем каналах цветовой системы RGB соответственно.

При обнаружении затененных областей порог рассчитывается также на основе метода Оцу. В этом случае изображение можно представить в виде двух непересекающихся множеств пикселей (затененных и незатененных областей):

[V(i, j)=1 | ΨS(i, j)>TS] v [V(i, j)=0 | ΨS(i, j)≤Ts],

где Ts– порог для выделения области растительности по методу Оцу; [V(i, j)=1 | ΨS(i, j)>TS] – множество пикселей, относящихся к области теней; [V(i, j)=0 | ΨS(i, j)≤Ts] – множество пикселей, не относящихся к области теней.

Предлагается каждый регион, выделенный на основе алгоритма минимального покрывающего дерева, отнести к области растительности или теней.

Для отнесения региона к области растительности требуется выполнение условия:

SV/Sreg>0,6 ,

где SV – количество пикселей региона, относящихся к растительности; SV – общее количество пикселей региона.

Для отнесения региона к затененной области требуется выполнение условия:

SS/Sreg>0,6 ,

где SS – количество пикселей региона, относящихся к затененной области.

Результаты использования цветовых инвариантов приведены на рисунке 3.

gor_r 3_1

а)

gor_rast2 3_1_veget2

б)

gor_r_ten 3_1_shade

в)

Рисунок 3. Выделение областей растительности и теней с помощью цветовых инвариантов: а) исходные изображения, б) выделенные сегменты растительности, в) выделенные сегменты теней

Графы можно представить с помощью матрицы смежности, степенной матрицы и матрицы Лапласа. Матрица смежности взвешенного графа – это квадратная матрица W, в которой каждый элемент равен весу ребра, соединяющей ее вершины.

Также для задания графа используется матрица Лапласа, которая определяется следующим образом. Вначале строится степенная матрица D, диагональные элементы которой равны степеням вершин. Степень вершины dv равна сумме весов ребер w(u, v), инцидентных этой вершине. Ненормализованная матрица Лапласа L вычисляется по формуле: L=D-W [6].

Для сегментации изображений предлагается использовать разрезы на графах [6]. Алгоритм сегментации на основе спектрального разбиения графов имеет вид.

Шаг 1. Строится взвешенный граф на основе выделенных сегментов исходного изображения. Каждый регион на основе его отнесения к некоторому классу имеет меру различия xi.

Шаг 2. Рассчитывается матрица W:

W(u, v)=exp(-(||xi-xj||2)/2σ2), если u, v – смежные вершины, иначе W(u,v)=0,

где σ – коэффициент, который регулирует степень взаимодействия между регионами.

Рассчитывается матрица D:

Dii=nj=1 Wi,j.

Шаг 3. Из выражения (D-W)y=λDy находятся собственные векторы с наименьшими собственными значениями.

Шаг 4. На основе вектора со вторым наименьшим собственным значением вычисляется разрез графа.

Шаг 5. Выполняется рекурсивное разбиение сегментированных областей.

В разработанном алгоритме значение коэффициента σ было установлено равным 50, так как мера различия между регионами находится в пределах от 10 до 50.

Результаты исследований

Было проведено сравнение разработанного алгоритма с алгоритмом нормализованных разрезов на графах, в котором в качестве вершин использовались пиксели изображения (табл. 2). Алгоритмы сравнивались по времени работы. Вычисления проводились в среде MATLAB на компьютере c процессором Pentium T2390 и оперативной памятью 2 Гбайта.

Таблица 2. Исследование разработанного алгоритма на время работы

Номер сцены

Количество сегментов в сцене

Время

предварительной обработки, с

Время

группировки на основе

разработанного алгоритма, с

Время

сегментации с использованием алгоритма NCut, с

1

1116

10,7

4,3

126

2

983

9,3

3,2

105

3

1059

9,8

3,9

114

Выявлено, что время работы предложенного алгоритма в несколько раз меньше алгоритма сегментации, в котором узлами графа являются пиксели изображения. При этом также учитывалось время предварительной обработки регионов.

Для исследования алгоритма на точность выделения зданий были использованы 50 спутниковых стереоснимков (рис. 4). Количественная оценка результатов осуществлялась с использованием следующих показателей: процент правильно обнаруженных зданий и процент зданий, которые ошибочно идентифицированы.

Процент правильно обнаруженных зданий (DP - Detection Percentage):

DP=(100· TP)/(TP+TN),

где TP (True Positives) – количество зданий, обнаруженных оператором и программой; TN (True Negatives) – количество зданий, которые обнаружены оператором и не обнаружены автоматически.

Процент зданий, которые ошибочно идентифицированы (BF – BranchingFactor):

BF=(100· FP)/(TP+FP),

где FP (False Positives) – количество зданий, которые обнаружены автоматически и не обнаружены оператором.

gor_r karta2

а)

3_1 3_1_sel

б)

1_1 1_1_sel

в)

Рисунок 4. Выделение областей зданий на основе разработанного алгоритма:

а) Сцена №1, б) Сцена № 2, в) Сцена № 3

Было проведено сравнение с известными алгоритмами обнаружения зданий (табл. 3). Вычислялись процент правильно обнаруженных зданий DP и процент зданий, которые ошибочно идентифицированы BF. Выявлено, что процент правильно обнаруженных зданий выше по сравнению с рассматриваемыми алгоритмами за счет использования комплексной информации о высоте, цвете, форме и площади проекций объектов. Показатели были рассчитаны с учетом данных, полученных с помощью интерактивного выделения зданий на изображениях.

Таблица 3. Исследование разработанного алгоритма на точность выделения зданий

Алгоритмы

DP, %

BF, %

Lin C., 1998 [15]

71,9

6,7

Lee D. , 2003 [16]

72,1

2

Muller S., 2005 [17]

79,5

22,5

Song Z., 2008 [18]

88,8

3,4

Ok A., 2009 [19]

66,5

8,8

Abraham L., 2012 [20]

84,5

0,2

Kunte A., 2013 [21]

83,8

5,8

Разработанный алгоритм

89,7

3,1

Заключение

Предложен алгоритм сегментации спутниковых алгоритмов с использованием разрезов на графах и суперпикселей. Выявлено, что по скорости вычислений алгоритм превосходит в несколько раз алгоритм, в котором в качестве вершин графа используются точки изображений. Алгоритм позволяет на спутниковых снимках выделять до 89,7 % заданий, что превосходит известные подходы.

Работа выполнена при финансовой поддержке РФФИ (проект № 16-37-00236).

References
1. Szeliski R. Computer Vision: Algorithms and Applications. – Springer, 2010. – 957 p.
2. Zakharov A. A., Tuzhilkin A. Yu. Sintez trekhmernykh stsen po videoizobrazheniyam s ispol'zovaniem apriornoi informatsii// Nauchno-tekhnicheskii vestnik Povolzh'ya, 2013. – № 5. – S. 163-165.
3. Zakharov A. A. Avtomaticheskii sintez protyazhennykh trekhmernykh stsen s ispol'zovaniem sistemy komp'yuternogo zreniya// Izvestiya VUZOV. Priborostroenie, 2012. – T.55, № 2. – S. 24-27.
4. Felzenszwalb P. F., Huttenlocher D. P. Efficient graph based image segmentation // International Journal of Computer Vision, 2004. – № 59(2). – P. 167-181.
5. Wu Z., Leahy R. Tissue classification in MR images using hierarchical segmentation // In Proc. IEEE Int. Conf: Medical Imaging, 1990. – № 12(1). – P. 81-85.
6. Shi J., Malik J. Normalized Cuts and Image Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. – № 22(8). – P. 888-905.
7. Boykov Y., Funka-Lea G. Graph Cuts and Efficient N-D Image Segmentation // International Journal of Computer Vision, 2006. – № 70(2). – P. 109-131.
8. Falcao A. X., Udupa J. K., Samarasekara S., Sharma S. User-steered image segmentation paradigms: Live wire and live lane// Graphical Models and Image Processing, 1998. – № 60. – P. 233-260.
9. Grady L. Multilabel random walker segmentation using prior models// IEEE Conference of Computer Vision and Pattern Recognition, 2005. – vol. 1. – P. 763-770.
10. Achanta R., Shaji A., Smith K., Lucchi A., Fua P., Susstrunk S. SLIC Superpixels. – EPFL Technical Report, 2010.
11. Tuzhilkin A. Yu., Zakharov A. A., Yashkov V. S. Algoritm nakhozhdeniya sootvetstvii na izobrazheniyakh na osnove podkhoda minimizatsii energii [Elektronnyi resurs]// Sovremennye problemy nauki i obrazovaniya. – 2015. – № 1. – Rezhim dostupa: http://www.science-education.ru/121-17497.
12. Unsalan C., Boyer K. A system to detect houses and residential street networks in multispectral satellite images // Computer Vision and Image Understanding. – 2005. – Vol. 98. – P. 423–461.
13. Otsu N. A threshold selection method from gray-level histograms // Transactions on Systems, Man, and Cybernetics. – 1979. – Vol. 9, P. 62–66.
14. Sirmacek B., Unsalan C. Building detection from aerial images using invariant color features and shadow information // 23rd International Symposium on Computer and Information Sciences. – 2008. – P. 105.
15. Lin C., Nevatia R. Building detection and description from a single intensity image // Computer Vision and Image Understanding. – 1998, № 72(2). – P. 101–121.
16. Lee D. S., Shan J., Bethel J. S. Class-guided building extraction from Ikonos imagery // Photogrammetric engineering & remote sensing. – 2003. – № 69(2). – P. 143-150.
17. Muller S., Zaum D. W. Robust building detection in aerial images // CMRT05. IAPRS. – 2005. – Vol. XXXVI, Part 3/W24. – P.143-148.
18. Song Z., Pan C., Yang Q., Li F., Li W. Building roof detection from a single high-resolution satellite image in dense urban areas // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. – 2008. – Vol. XXXVII, Part B3a. – P. 271-277.
19. Ok A. Automated description of 2-D building boundaries from a single color aerial orthoimage / /Proc. of International Society for Photogrammetry and Remote Sensing, High-Resolution Earth Imaging for Geospatial Information. – 2009. – P. 1417–1420.
20. Abraham L., Sasikumar D. M. Unsupervised building extraction from high resolution satellite images irrespective of rooftop structures // International Journal of Image Processing. – 2012. – Vol. 6(4). – P. 219-232.
21. Kunte A., Shirodker S., Menaria R., Pate B. A Novel Approach for Object Detection in VHR Images // International Journal of Signal Processing, Image Processing and Pattern Recognition. – 2013. – Vol. 6, №. 4. – P. 355-365.