Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Cybernetics and programming
Reference:

Modeling of a virtual environment in cyber visualization and virtual presence technologies

Mezhenin Aleksandr Vladimirovich

PhD in Technical Science

Assosiate Professor of the Department of Engineering and Computer Graphics of the St. Petersburg State University of Information Technologies, Mechanics and Optics

197101, Russia, g. Saint Petersburg, ul. Kronverkskii Prospekt, 49

mejenin@mail.ru
Other publications by this author
 

 
Izvozchikova Vera Vasil'evna

PhD in Technical Science

Associate Professor, Department of Informatics, Orenburg State University

460040, Russia, Orenburgskaya oblast', g. Orenburg, ul. Prospekt Pobedy, 13

viza-8.11@mail.ru
Burlov Dmitrii Igorevich

Assistant, Department of Software Engineering and Computer Engineering, St. Petersburg National Research University of Information Technologies, Mechanics and Optics

197101, Russia, g. Saint Petersburg, ul. Kronverkskii Prospekt, 49

burlofff@mail.ru

DOI:

10.25136/2644-5522.2019.4.30231

Received:

07-07-2019


Published:

15-12-2019


Abstract: The subject of the research is the modeling and visualization methods of a virtual environment and the construction of a point cloud of three-dimensional space, both in 3D modeling systems and on the basis of video data. Particularly considered is the problem of incomplete data and the issues of maintaining information relevant to analysis.The task of modeling a virtual environment is relevant in areas such as: visualization and analysis of spatial data of large volume; visualization of graph-analytical models; monitoring of the infrastructure area of the space of intelligent security systems, control and prevention of emergency situations; building three-dimensional maps of cities and three-dimensional surrounding space in simulators; location of robots; in CAD and medicine. As methods of modeling a virtual environment, the mathematical apparatus of parametric and nonparametric reconstruction of the distribution density of point objects of space according to the available sample is used. The result of the study is a conceptual description of the methods of modeling a virtual environment. Visually, the simulation results are presented in the form of a cloud of points of uneven density. To improve visual perception, the points of the model are presented in the form of heat maps with an adaptive scale.The following are considered as examples: analysis of the distribution density of data obtained from the video stream, when the individual components of the normal distribution mixture are used to visualize the entire distribution mixture; modeling a point cloud of three-dimensional space based on video data obtained as a result of shooting with a single camera moving along an arbitrary trajectory.The proposed approach will improve the accuracy and visibility of the virtual environment for subsequent visualization and detailed analysis of the simulated space.


Keywords:

cyber visualization, virtual presence, virtual environment, virtual reality systems, augmented reality systems, modeling, point cloud, heat map, video surveillance systems, 3D visualization


Введение

Следующим этапом развития цифровых систем виртуальной реальности и 3D визуализации можно считать реализацию концепций технологии виртуального присутствия и кибервизуализации, рассматривая их как более широкое понятие мультимедийных систем виртуальной реальности и систем телеприсутствия. В работах по данной тематике можно встретить термин «индуцированная виртуальная среда» [1]. С точки зрения авторов, термины кибервизуализация и виртуальное присутствие дают более полное представление об объекте исследования в данной области. Области применения предлагаемых технологий: моделирование поведения виртуальных 3D объектов при проектировании [2]; управление сложными человеко-машинными системами; дистанционное управление и пилотирование; мониторинг и видеонаблюдение [3, 4]. Особое значение эти технологии приобретают в областях связанных с высоким риском, где использование оптических и телевизионных средств ограничено или просто невозможно. Комплексная информация, использование технологий виртуального присутствия и кибервизуализации позволят поднять на качественно новый уровень построение интеллектуальных систем безопасности, контроля и предупреждения чрезвычайных ситуаций.

В настоящее время для синтеза виртуальной среды используются различные подходы, среди которых наиболее распространенными являются моделирование в программах компьютерной графики и моделирование средствами фотограмметрии. Кроме этого, разрабатываются нейросетевые системы обработки информации для создания полностью искусственных интерактивных миров на основе видеозаписей реального мира [5]. В этих методах, в большинстве случаев, используются полигональные модели, для работы с которыми разработано множество алгоритмов [6], и существует аппаратная поддержка геометрических вычислений для ЗD-визуализации. К недостаткам их использования можно отнести большой объем исходных данных, необходимый для сложных 3D-сцен [6], трудности представления поверхностей сложной формы [7, 8] и получение должного ощущения эффекта глубины [9]. Эти недостатки становятся существенными при реализации систем реального времени.

Более прогрессивным можно считать метод представления объектов пространства в виде облаков точек различной плотности. Облако точек – это совокупность вершин в трёхмерном пространстве, представляющих поверхность моделируемых объектов. Данные для построения облака точек могут быть получены с помощью сканирования 3D-объектов специальными устройствами, или в результате обработки данных оптического сканирования [10]. Для повышения эффективности восприятия облако точек представляют в виде тепловых карт.

Задача построения облака точек трехмерного пространства

Построение облака точек является нетривиальной задачей. Обычно 3D реконструкция осуществляется на основе серии калиброванных изображений [11]. В данной работе рассматривается задача построения облака точек трехмерного пространства на основе видеоданных, получаемых в результате съемки одной камерой, движущейся по произвольной траектории. Особо рассматривается проблема неполных данных и вопросы сохранения значимой информации [12].

Для построения облака точек трехмерного пространства разработано большое число различных методов [13]. Несмотря на это, используемые в них типовые математические подходы оказываются неэффективными в задачах, исходные данные в которых представляют собой набор дискретных точек-вершин в пространстве точечных объектов. Представление данных в таком виде следует либо из самой специфики распределения в пространстве точечных объектов, либо, например, из недостаточности массива данных измерений в точках пространства. В таких случаях обычно для обозначения исходного набора точечных объектов используется специальный термин – облако точек (point cloud). В задаче анализа распределения подобного облака точек в первую очередь интересует вероятность нахождения точек в той или иной области, а вернее плотность их распределения. Такая задача решается обычно с помощью вокселей [14]. Однако практическая реализация этого метода требуют значительных вычислительных ресурсов. В случаях сильной разреженности точечных данных в пространстве методы реконструкции с помощью вокселей не позволяют выявить значимую для анализа информацию.

Алгоритмы оценки плотности распределения точек

Прямым подходом к решению задачи восстановления пространственной плотности распределения точек будем называть такой подход, при котором множество точек рассматривается как реализация выборки из одного неизвестного распределения с плотностью , и осуществляется поиск некоторого приближения плотности . Для решения этой задачи используют три алгоритма: непараметрический; параметрический и восстановление смесей распределений [15].

Непараметрическое восстановление плотности распределения. Базовым непараметрическим методом восстановления плотности распределения случайной величины принято считать метод Парзена-Розенблатта - ядерная оценка плотности (Kernel Density Estimation, KDE) – алгоритм байесовской классификации, основанный на непараметрическом восстановлении плотности по имеющейся выборке. В основе подхода лежит идея о том, что плотность выше в тех точках, рядом с которыми находится большое количество объектов выборки. Парзеновская оценка плотности имеет вид

где – ширина окна (полосы), а – ядро (произвольная четная, нормированная функция), задающее степень гладкости функции распределения. Термин «окно» происходит из классического вида функции

где – индикаторная функция, однако на практике обычно используются все же более гладкие функции, например, гауссова функция ядра

Ширина окна и вид ядра – структурные параметры метода, от которых зависит качество восстановления. При этом основное влияние на качество восстановления плотности распределения оказывает ширина окна, тогда как вид функции ядра не влияет на качество определяющим образом.

Данный метод широко применяется при машинном обучении для задач классификации в случаях, когда общий вид функции распределения неизвестен, а известны только некоторые свойства, например, гладкость и непрерывность. Для нахождения оптимальной ширины окна обычно используют принцип максимума правдоподобия с исключением объектов по одному -leave-one-out ( LOO).

Параметрическое восстановление плотности распределения. Параметрическое оценивание опирается на семейства функций плотности, которые задаются при помощи одного или нескольких числовых параметров: . Для лучшего выбора функции плотности из данного семейства можно использовать метод максимума правдоподобия

К примеру, для функции многомерного нормального распределения

оценки максимального правдоподобия записываются в явном виде

Параметрические методы восстановления используются в тех случаях, когда вид функции распределения известен с точностью до набора параметров, которые позволяют контролировать гибкость модели.

Восстановление смесей распределений. Третьим прямым подходом к поиску плотности распределения является способ восстановления смесей распределений.

Данный подход можно считать усложнением параметрического для случаев, когда распределение имеет сложный вид, недостаточно точно описывающийся одним распределением.

Плотность распределения в рамках этого подхода представляется в виде смеси, т.е. суммы распределений с определенными коэффициентами

где – плотности распределения компонент смеси, принадлежащие одному параметрическому семейству – ее априорная вероятность, вес – количество компонент в смеси. Функцию называют функцией правдоподобия.

Каждый из рассмотренных выше методов нахождения плотности распределений (непараметрический, параметрический и восстановление смесей распределений) применяется при определенных априорных знаниях о плотности распределения (о виде или свойствах функции). Несмотря на разные области применения этих подходов, можно выделить черты сходства между ними. Так непараметрический метод можно рассматривать как предельный частный случай смеси распределений, в которой каждому соответствует одна компонента с априорной вероятностью и выбранной функцией плотности (ядром) с центром в точке . Параметрический же подход – другой крайний случай смеси, состоящей из одной компоненты.

Таким образом, описанные три подхода отличаются, в первую очередь, количеством аддитивных компонент в модели распределения: . Поэтому, можно считать, что восстановление смеси из произвольного числа компонент является более общим случаем восстановления непрерывной плотности распределения по дискретной выборке.

Апробация

Визуализация распределений. Визуализация распределений требует значительных вычислительных ресурсов. На рис. 1. представлен результат работы интерактивного приложения, разработанного авторами для анализа плотности распределения данных, получаемых из видеопотока. Отдельные компоненты смеси нормальных распределений использованы для визуализации всей смеси распределений. В процессе работы приложения происходит отображение плотности распределения, как всей области данных, так и исследуемой.

Рис. 1. Визуализация и результат анализа плотности распределения

Кроме этого было разработано приложение, в котором было реализовано построение тепловой карты плотности распределения с адаптивной шкалой. Цветовая схема шкалы формируется на основе палитры цветов переходов от синего к красному. Чем цвет ближе к синему, тем различия между первым и вторым изображениями меньше, чем ближе к красному – тем различий больше. Шаг шкалы рассчитывается по следующей формуле

где S – величина шага, a – значение, соответствующее максимальной разнице b – значение, соответствующее минимальной разнице l – количество цветов в шкале.

Каждому цвету шкалы назначается числовое значение, рассчитываемое по формуле

где c – числовое значение на шкале.

Ниже приведены результаты работы данного приложения для оценки эффективности зон покрытия камерами наблюдения [16, 17]. В данном примере реализованы модели с двумя и тремя камерами наблюдения. На основе результатов оценки плотности распределения построена тепловая карта (рис. 2).

Рис. 2. Тепловая карта результатов сравнения моделей с двумя и тремя камерами наблюдения

Моделирование облака точек. Кроме рассмотренных приложений, была осуществлена практическая реализация алгоритма моделирования облака точек трехмерного пространства на основании видеопоследовательности, полученной камерой движущейся по произвольной траектории.

1. Разложение видео в набор последовательных изображений. Файлы, необходимые для реконструкции получаются из покадрового разложения видеопоследовательности на секвенцию.

2. Выбор на изображениях ключевых точек и их дескрипторов.

3. Путем сравнения дескрипторов находятся соответствующие друг другу ключевые точки на разных изображениях.

4. На основе набора совпавших ключевых точек строится модель преобразования изображений, с помощью которого из одного изображения можно получить другое.

5. Зная модель преобразования камеры и соответствия точек на различных кадрах, вычисляются трёхмерные координаты и строится облако точек.

На рис. 3 представлена схема конвейера моделирования облака точек.

Рис. 3. Общая схема конвейера моделирования облака точек

Практическая реализация предложенного алгоритма проводилась с использование совокупности программно-аппаратных средств. Съемка производилась видеокамерой мобильного телефона Blackberry Priv. Формат видео MOV Full HD 29.97 fps H-264 17 Mbps [18]. Файлы, необходимые для построения облака точек трехмерного пространства, были получены из покадрового разложения видеопоследовательности на секвенцию. Для сокращения времени просчета и обработки были использованы каждый третий кадр видеопоследовательности. Обработка производилась в пакете Adobe AE. На рис. 4. представлены кадры исходных видеоданных. Для повышения качества - дефокусировка и смаз [19, 20] была произведена обработка изображений в системе MATLAB.

Рис. 4. Кадры исходных видеоданных

Для получения стабилизации и определения ключевых точек использовалось программное обеспечение на основе рассмотренных алгоритмов и библиотеки Point Cloud Library [21] (рис. 5).

Рис. 5. Этапы построения облака точек с отображением траектории движения камеры

Итоговая визуализация выполнена в пакете Cloud Compare [22] (рис. 6).

Рис. 6. Результат анализа плотности распределения точек

Заключение

В статье рассмотрены вопросы моделирования виртуальной среды и представления ее в виде облака точек для различных информационных приложений. Обсуждаются термины кибервизуализация и виртуальное присутствие. Рассматривается математический аппарат, используемый для построения облака точек трехмерного пространства. Приведены примеры апробации разработанных алгоритмов: визуализация и анализ плотности распределения облака точек; построение тепловой карты с адаптивной шкалой; моделирование облака точек трехмерного пространства на основе видеопоследовательности и результаты анализа плотности распределения точек. Исходя из представленных выше материалов, можно сделать вывод, что предложенные концепции являются робастными (актуальными) и подлежат дальнейшей детализации и проработке.

References
1. Afanas'ev V.O. Sistemy 3D-vizualizatsii indutsirovannoi virtual'noi sredy. // Avtoreferat dissertatsii doktora fiziko-matematicheskikh nauk. Korolev-Moskva, 2007.
2. Mezhenin A.V. Virtual'nye 3D sredy kak sredstvo verifikatsii i testirovaniya pri proektirovanii // Prioritetnye nauchnye napravleniya: ot teorii k praktike. 2016. № 21. S. 105-110.
3. Bolodurina, I.P., Shardakov, V.M., Zaporozhko, V.V., Parfenov, D.I., Izvozchikova, V.V. Development of Prototype of Visualization Module for Virtual Reality Using Modern Digital Technologies // Proceedings-2018 Global Smart Industry Conference, GloSIC 2018.
4. Shardakov, V.M., Parfenov, D.I., Zaporozhko, V.V., Izvozchikova, V.V. Development of an Adaptive Module for Visualization of the Surrounding Space for Cloud Educational Environment // Proceedings of 2018 11th International Conference Management of Large-Scale System Development, MLSD 2018.
5. New NVIDIA Research Creates Interactive Worlds with AI. URL: https://nvidianews.nvidia.com/news/new-nvidia-research-creates-interactive-worlds-with-ai?utm_source=ixbtcom, 2018.
6. Paramonov, P.P. Metody predstavleniya slozhnykh poligonal'nykh modelei v graficheskikh sistemakh, rabotayushchikh v rezhime real'nogo vremeni / Paramonov P.P., Vidin B.V., Mezhenin A.V., Tozik V.T. // Izvestiya vysshikh uchebnykh zavedenii. Priborostroenie.-2006.-T.49.-№ 6. S. 17-19.
7. Izvozchikova V.V., Mezhenin A.V. Razmernost' Khausdorfa v zadachakh analiza podobiya poligonal'nykh ob''ektov // INTELLEKT. INNOVATsII. INVESTITsII-2016. № 2,-s. 109-112.
8. Mezhenin, A., Zhigalova, A. Similarity analysis using Hausdorff metrics // CEUR Workshop Proceedings, 2019. Vol-2344.
9. Mezhenin, A.V. Metody postroeniya vektorov normalei v zadachakh identifikatsii ob''ektov / Mezhenin A.V., Izvozchikova V.V. // Kibernetika i programmirovanie.-2013.-№ 4. S. 51-58.
10. Mezhenin, A.V. Rekonstruktsiya trekhmernykh modelei po rastrovym izobrazheniyam / A.V.Mezhenin, V.T.Tozik // Nauchno-tekhnicheskii vestnik informatsionnykh tekhnologii, mekhaniki i optiki.-2007.-№45. S.203-207.
11. Eisert, R. “Multi-Hypothesis, Volumetric Reconstruction of 3-D Objects From Multiple Calibrated Camera Views” / P. Eisert,. E. Steinbach, and B. Girod.-Proceedings of the International Conference on Acoustics, Speech, and Signal Processing.-1999. pp. 3509-3512.
12. Sveshnikova, N.V. Otsenka pogreshnostei vosstanovleniya trekhmernykh stsen algoritmami faktorizatsii / N.V. Sveshnikova, D.V.Yurin .-International Conference Graphicon 2006, Novosibirsk Akademgorodok, Russia.-URL: http://www.graphicon.ru/html/2006/proceedings/papers/ fr09_32_Sveshnikova_Yurin.pdf
13. Huang, J. “Automatic data segmentation for geometric feature extraction from unorganized 3-d coordinate points” / J. Huang and C.-H. Menq // IEEE Trans. Robot. Automat., vol. 17. – 2001. pp. 268–279.
14. Chmielewski, Sz., Tompalski, P. Estimating outdoor advertising media visibility with voxel-based approach. Applied Geography, 2017, 87:1-13
15. Horová I., Koláček J., Zelinka J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. — Singapore: World Scientific Publishing, 2012.
16. Izvozchikova V.V., Mezhenin A.V. 3D-modelirovanie metodov s''emki mobil'nymi videosistemami. Programmnye produkty i sistemy. 2016. № 3. S. 163-167.
17. Mezhenin, A., Izvozchikova, V., Ivanova, V. Use of point clouds for video surveillance system cover zone imitation // CEUR Workshop Proceedings, 2019. Vol-2344.
18. Burlov D.I., Mezhenin A.V., Nemolochnov O.F., Polyakov V.I. Avtomatizatsiya vybora metoda szhatiya tsifrovogo video v intellektual'nykh sistemakh zheleznodorozhnogo transporta, Pechatnyi, Vestnik RGUPS.-2014. –vyp.54, ISSN: 0201-727Kh, c. 5.
19. Sizikov V.S., Stepanov A.V., Mezhenin A.V., Burlov D.I., Ekzemplyarov R.A. Opredelenie parametrov iskazhenii izobrazhenii spektral'nym sposobom v zadache obrabotki snimkov poverkhnosti Zemli, poluchennykh so sputnikov i samoletov // Opticheskii zhurnal-2018.-T. 85.-№ 4.-S. 19-27
20. Sizikov, V.S., Stepanov, A.V., Mezhenin, A.V., Burlov, D.I., Eksemplyarov, R.A.: Determining image-distortion parameters by spectral means when processing pictures of the earth’s surface obtained from satellites and aircraft. Journal of Optical Technology, Vol. 85, No. 4, pp. 203–210 (2018).
21. PCL-Point Cloud Library (PCL)-URL: http://www.pointclouds.org/
22. CloudCompare-Open Source project-URL: https://www.danielgm.net/cc/