Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Historical informatics
Reference:

Virtual and Augmented Reality Technologies (VR/AR) to Reconstruct Historical City Building System (the Example of Moscow Strastnoy Convent

Borodkin Leonid

Doctor of History

Professor, the head of Historical Information Science Department, Faculty of History, Lomonosov Moscow State University,  corresponding member of the Russian Academy of Sciences 

119991, Russia, g. Moscow, ul. Gsp-1, lomonosovskii prospekt, 27 k.4, istoricheskii fakul'tet

borodkin-izh@mail.ru
Other publications by this author
 

 
Mironenko Maxim

Learning support specialist, Historical Information Science Department, History Faculty, interfaculty scientific and educational center Mathematical and software support for virtual and mixed reality technologies. Lomonosov Moscow State University 

119991, Russia, Moskva oblast', g. Moscow, ul. Gsp-1, lomonosovskii prospekt, 27 k.4, of. istoricheskii fakul'tet

mm@vrmsu.ru
Other publications by this author
 

 
Chertopolokhov Viktor

Researcher, Department of Applied Mechanics and Management, Faculty of Mechanics and Mathematics, Lomonosov Moscow State University  

119991, Russia, g. Moscow, ul. Gsp-1 leninskie gory, 1, mekhaniko-matematicheskii fakul'tet

psvr.msu@gmail.com
Other publications by this author
 

 
Belousova Margarita

Junior research worker, Department of Applied Mechanics and Management, Faculty of Mechanics and Mathematics, Lomonosov Moscow State University  

119991, Russia, g. Moscow, ul. Gsp-1, leninskie gory, 1, of. mekhaniko-matematicheskii fakul'tet

bmargaretd@yandex.ru
Other publications by this author
 

 
Khlopikov Vitalii

Engineer, Psychology Faculty, Lomonosov Moscow State University 

119991, Russia, g. Moscow, ul. Mokhovaya, 11, str. 9, fakul'tet psikhologii

ar-acros@yandex.ru

DOI:

10.7256/2585-7797.2018.3.27549

Received:

30-09-2018


Published:

16-10-2018


Abstract: The article puts forward a new approach to the development of virtual reconstruction of historical and cultural heritage objects that is based on the advanced 3D modeling technologies and addresses the issues of historical urban science. Along with sociocultural significance and architectural importance of the lost cultural heritage objects (convent complex in this case) for virtual reconstruction tasks, an important criterion for their selection is the preservation rate of the source base. The article focuses on the use of virtual and augmented reality technologies in historical reconstruction tasks. As an additional opportunity to “plunge” into the historical past, the authors propose the creation of historical panoramas to use them in pads or smartphones. The article also studies the technology associated with the use of VR HMD. 3D modeling, digital sculpting, photogrammetry of monuments, layer projection technologies form an important part of methods used in this work. The article is the first in Russian historiography to address the practical use of virtual and augmented reality technologies to reconstruct the lost objects of the historical building system (by the example of Strastnoy Convent). The authors test the software module that validates / verifies the results of virtual reconstruction as well as enhances representation and visualization opportunities of these results. The authors simulate the augmented reality within the virtual reality and thus overcome limitations of AR. 


Keywords:

virtual reconstruction, 3D modeling, Strastnoy convent, visualization, virtual reality, augmented reality, verification, VR HMD mount, historical and cultural heritage, urban history


Новые подходы к созданию виртуальной реконструкции объектов историко-культурного наследия, основанные на передовых технологиях 3D моделирования, открыли новые возможности в ряде областей гуманитарного знания, в частности – в исторической урбанистике [1]. В современных условиях динамичного развития городов, изменяющегося городского ландшафта возрастает интерес к возможностям 3D технологий, позволяющим создавать виртуальные реконструкции утраченной исторической городской застройки, ее эволюции, нередко изменяющей облик зданий, улиц и площадей в ходе радикальных перестроек или в результате войн, пожаров и т.д. Немаловажным аспектом такой работы является обеспечение верификации, валидации создаваемой виртуальной реконструкции на основе соответствующей оцифрованной документации.

Четверть века развитие 3D технологий сопровождалось созданием компьютерных программ и технологических средств, дающих возможности реалистично осуществлять виртуальные реконструкции. Эти технологии включают сегодня лазерное сканирование, развитое программное обеспечение – трехмерные редакторы и конверторы 3D моделей, 3D движки, фотограмметрию, технологии виртуальной и дополненной реальности и др. [2]

Среди объектов виртуальных реконструкций заметное место занимают монастырские комплексы. В XX веке в России была разрушена значительная часть монастырей, многие из которых представляют интерес для изучения не только с точки зрения архитектурных особенностей, но и с точки зрения их социокультурной роли и экономического значения. Ряд уничтоженных монастырей располагались в Москве. Важным критерием для выбора утраченного монастырского комплекса в качестве объекта виртуальной реконструкции является, наряду с его социокультурным значением и архитектурными достоинствами, степень сохранности источниковой базы.

Отметим, что число зарубежных проектов по виртуальной реконструкции монастырских комплексов рода пока невелико, хотя и имеет тенденцию к росту. Это, прежде всего, виртуальные реконструкции цистерианского монастыря Санта-Мария XVI в. (район Санзедаш, Португалия) [3], монастыря Санта-Мария XII в. (г. Риполь, Испания) [4] , монастыря Сент-Ави Сениер XII в. (департамент Дордонь, Франция) [5], аббатства Клюни X в. (департамент Сона и Луара, Франция; проект Cluny III) [6], цистерианского монастыря XII г. (г. Пилис, Венгрия) [7] , монастыря Христа Пантепопта XI в. (г. Стамбул, Турция) [8]. Что касается российских исследований в этой области, то можно отметить проект «Виртуальная реконструкция Спасо-Преображенского мужского монастыря г. Енисейска XIX в.» Гуманитарного института Сибирского федерального университета [9].

Широкий интерес вызвала работа французских исследователей, построивших виртуальную реконструкцию Собора Парижской Богоматери (Notre-Dame de Paris), восстановив его облик на 13-ти временных срезах, охватывающих соответствующие этапы расширения и перестройки собора за девять веков его истории [10]. В этой работе использовались передовые технологии трехмерного моделирования, основанные на лазерном сканировании, что позволило получить плотное облако точек поверхности всего собора (более миллиарда опорных точек).

Отметим здесь специфику задач виртуальной реконструкции в проектах, реализуемых историками и архитекторами. Так, дискуссия, состоявшаяся в ходе презентации нашего авторского проекта в МАРХИ (Московском архитектурном институте), выявила различия в подходах к созданию виртуальных реконструкций в исследованиях историков и архитекторов. Эти различия определяются, прежде всего, целеполаганием таких разработок, требованиями к используемому источниковому комплексу и к построенным 3D моделям. Так, в проектах архитекторов виртуальные реконструкции имеют обычно достаточно условный характер, в то же время поставленная задача может включать изучение строительной истории реконструируемого объекта, особенностей его архитектурных решений, характера естественного и искусственного освещения [11,12].

В данной статье впервые в отечественной историографии рассматривается опыт использования технологий виртуальной и дополненной реальности (VR/AR) в задачах разработки виртуальной реконструкции утраченных объектов исторической городской застройки (на примере московского Страстного монастыря конца XVII - начала ХХ вв.).

* * *

В течение последнего десятилетия на кафедре исторической информатики исторического факультета МГУ были реализованы три проекта по виртуальной реконструкции монастырских комплексов [2],[13],[14],[15],[16]. Речь идет о московских монастырях, утраченных в 1920-30-х гг. Один из них - Страстной монастырь (московский женский монастырь), основанный в 1654 г. и просуществовавший до 1937 г. В 2014-2016 гг. на кафедре при поддержке РНФ был реализован исследовательский проект по виртуальной реконструкции Московского Страстного монастыря и прилегавшей к нему исторической городской застройки конца XVII- начала ХХ вв. Важный принцип реализации этой задачи в нашем исследовании – опора на данные комплекса источников, характеризующих объекты реконструкции в их эволюции (см. http://www.hist.msu.ru/Strastnoy/).

На следующем этапе этой работы в 2017-2018 гг. в центре нашего внимания была адаптация технологий виртуальной и дополненной реальности (VR/AR) для создания новых возможностей валидации/верификации результатов построенной виртуальной реконструкции, углубления возможностей репрезентации и визуализации этих результатов. На этом этапе исследование проводилось кафедрой исторической информатики МГУ (в работе принимали участие также Д.И. Жеребятьев и В.В. Моор) совместно с лабораторией математического обеспечения имитационных динамических систем (МОИДС) механико-математического факультета МГУ, при поддержке фонда «История Отечества».

В качестве дополнительной возможности «погрузиться» в историческое прошлое, мы создали исторические панорамы для использования их в планшете или смартфоне. Подразумевается, что пользователь находится на месте утраченного объекта исторической застройки и, наведя планшет на любую точку сегодняшнего городского ландшафта, увидит с помощью AR, как выглядело это место 100 или 200 лет назад. Но здесь мы сталкиваемся как раз с ограничением имеющихся пока мобильных технологий - эти панорамы статичны и предлагают лишь ограниченные возможности для ознакомления с результатами реконструкции (см. рис. 1)

Рис. 1. Дополненная реальность: схематичное отображение в AR виртуальной реконструкции Страстного монастыря на существующую городскую застройку Пушкинской площади.

Для обновленной версии реконструкции были заново сделаны 3D модели зданий и текстуры ландшафта: графика была переделана на основе принципов PBS [17], а прорисовка изображений в реальном времени - быстрее (см. рис. 2, 3, 4, 5, 6, 7).

Рис. 2. Визуализация реконструкции колокольни Страстного монастыря на 1830 г. (вид с одноименной площади)

Рис. 3. Визуализация виртуальной реконструкции собора Страстного монастыря: вид с монастырского двора (1910 г.).

Рис. 4. Визуализация виртуальной реконструкции комплекса Страстного монастыря (1910 г.).

Рис. 5. Визуализация виртуальной реконструкции здания Строгановского училища, находившегося на Страстной площади (1910 г.)

Рис. 6. Визуализация виртуальной реконструкции храма Дмитрия Солунского (Страстная площадь, 1910 г.)

Рис. 7. Визуализация виртуальной реконструкции колокольни Страстного монастыря и окружающей городской застройки (1910 г.)

Для верификации/валидации результатов виртуальной реконструкции нами был написан программный модуль (на языке С#), отвечающий за предоставление в интерактивном режиме информации об источниках реконструкции каждого объекта.

Мы используем технологии VR не только как эффективный инструмент визуализации динамических процессов, но и для изучения реконструированных памятников, артефактов, событий в режиме реального времени и в масштабе 1:1. Для этих целей мы задействуем несколько инструментов, один из них - это панорамная система виртуальной реальности (далее ПСВР) лаборатории МОИДС, на основе которой в мультипользовательском режиме мы можем проверять содержательные гипотезы об архитектурной истории комплекса Страстного монастыря и окружавшей его городской застройки Страстной площади в конце XVII – начале ХХ вв.

Другая технология связана с использованием VR шлемов. В МГУ с 2013 г. ведётся активная работа с комплексом виртуальной реальности на базе шлема отечественного производства (см. рис. 8).

Рис. 8. Первый серийный шлем в России, созданный с использованием разработок специалистов Московского университета.

На настоящий момент выпущена уже 4-я версия компактной системы виртуальной реальности на основе шлема (см. рис. 9), которая, благодаря своим характеристикам, таким как высокое разрешение экрана, адаптированная под продолжительное использование оптическая схема, модульность - позволяет исследователям решать различные задачи интерактивной работы с построенной реконструкцией. [18]

Рис. 9. Компактная система виртуальной реальности на основе отечественного шлема 4 поколения.

В ходе работы нами был разработан специализированный VR интерфейс (см. рис. 10), дающий исследователю возможность лучше изучить объект, поделиться соображениями по возможным архитектурно-планировочным решениям или уточнить спорные моменты реконструкции. Этот интерфейс отличается от традиционных программных решений в русле Gamedev.

Рис. 10. Визуализация интерфейса VR-модуля верификации виртуальной реконструкции на примере Собора Страстной иконы Божией Матери (в кружках показаны логотипы видов источников).

Перед нами стояла задача не просто разработать интерфейс в VR, но и симулировать с его помощью возможности дополненной реальности (AR), с целью более системного и объемного изучения эволюции этой территории центра Москвы и монастыря. Историческую застройку Страстной площади и монастыря можно было осмотреть с помощью AR и первой версии реконструкции, когда ранее существовавшие элементы исторической застройки "вырастали" на месте сегодняшнего городского ландшафта. Но впечатление от увиденного всегда было как от "картины в рамке", расположенной напротив. Разработанные в МГУ шлем виртуальной реальности и специальный костюм отслеживания движений тела, работающие совместно с панорамной системой виртуальной реальности - позволяют получить совсем другие ощущения от виртуальной прогулки по центру исторической Москвы (см. рис. 11).

Рис. 11. Визуализация интерфейса VR-модуля верификации на панорамной системе виртуальной реальности (в кружках показаны логотипы видов источников).

Особенностью проекта является реализованная возможность не только перенестись в историческое прошлое Москвы, но и верифицировать степень достоверности объектов виртуальной реконструкции каждого конкретного строения, годах его постройки, его современном облике (если здание сохранилось). В процессе виртуального путешествия достаточно «кликнуть» интересующий пользователя объект виртуальной реконструкции, и специальный программный модуль, разработанный участниками проекта, обеспечит доступ к набору соответствующих источников: картин, планов и схем, текстов (см. рис. 12) Это отличает наш проект от целого ряда других проектов виртуальной реконструкции историко-культурного наследия, т.к. пользователю дается возможность провести верификацию (валидацию) построенной реконструкции самостоятельно, увидеть нереализованные планы по преображению объектов. Кроме того, ещё в процессе реконструкции модуль помогает отслеживать возможные нестыковки между источниками и воссозданными объектами и даже между источниками разных видов или временных срезов.

Рис. 12. VR-проекция плана строений 1820 г. на реконструированную модель (реализация модуля верификации).

Результаты данного проекта, характеризующего новый подход в исследованиях по исторической урбанистике, представлены на федеральном историко-документальном просветительском портале

http://portal.historyrussia.org.

В результате использования VR/AR технологий источниковая база виртуальной реконструкции используется не только в целях репрезентации, но и приобретает новую функцию, обеспечивая эффективным инструментом работу пользователя, получающего онлайн-доступ к исходным данным построенной 3D-модели. Как всякое научное исследование, создание виртуальной реконструкции должно отвечать важному критерию – возможности научной верификации результата, которая достигается в рассматриваемых нами задачах только при построении открытой информационной среды.

Дополнительной опцией, которая появилась благодаря современным VR технологиям, является возможность обозреть виртуальную реконструкцию городской застройки с высоты птичьего полета и сравнить виды утраченного сто или двести лет назад центра Москвы с современной территорией этого района города (см. рис. 13)

Рис. 13. Визуализация виртуальной реконструкции Страстного монастыря и окружающей городской застройки с высоты птичьего полета (1910 г.).

References
1. Borodkin L.I. Komp'yuternoe 3D-modelirovanie v issledovaniyakh po istoricheskoi urbanistike: novye istochnikovedcheskie podkhody // Vestnik Kostromskogo gosudarstvennogo universiteta imeni N.A.Nekrasova, tom 21, № 1. S. 57-63.
2. Zherebyat'ev D.I. Metody trekhmernogo komp'yuternogo modelirovaniya v zadachakh istoricheskoi rekonstruktsii monastyrskikh kompleksov Moskvy. – M.: Maks Press, 2014. – 224 s.
3. P.B. Lourenço, F. Peña, M. Amado A Document Management System for the Conservation of Cultural Heritage Buildings, 2011, 32 pp. (http://repositorium.sdum.uminho.pt/ bitstrea
4. I. Besora, P. Brunet, M. Callieri, A. Chica, M. Corsini, M. Dellepiane, D. Morales, J. Moyes, G. Ranzuglia, R. Scopigno V Proc. 3DPVT08: Fourth International Symposium on 3D Data Processing, Visualization and Transmission (USA, GA, Atlanta, 18-20 June, 2008), USA, GA, Atlanta, 2008, pp. 89–96.
5. T. Sharpe, I. Pickering The St Avit Project, 2011 (http://www.chart.ac.uk/chart1999/papers/ sharpe-pickering.html).
6. C. Père, J. Landrieuet, J. Rollier-Hanselmann V Actes du Colloque Virtual Retrospect 2009 (France, Pessac, 18-20 Novembre, 2009), Coll. Archéovision, Vol. 4, Eds R. Vergnieux, C. Delevoie, Bordeaux, Editions Ausonius, 2010, pp. 151–159.
7. F. Traser Diss. Master Thesis in Architecture Sci., University of Cincinnati, USA, OH, Cincinnati, 2005, 118 pp. (https://etd.ohiolink.edu/!etd.send_file?a ccession=ucin1123768098&disposition=inline).
8. Z. Duran, G. Toz V Proc. The ICOMOS & ISPRS Committee for Documentation of Cultural Heritage XIXth CIPA International Symposium (Turkey, Antalya, 30 September – 4 October 2003), Turkey, Antalya, 2003, pp. 523–528 (http://cipa.icomos.org/fileadmin/template/doc/antalya/138.pdf).
9. Istoriko-kul'turnoe nasledie goroda Eniseiska (http://www. yeniseisk-heritage.ru).
10. Sandron, D. et Tallon, A. Notre-Dam de Paris. Neuf sieècles d’histoire. Paris, 2013. – 190 p.
11. Karelin D.A. Znachenie 3D-rekonstruktsii pamyatnikov antichnosti dlya sovremennoi arkhitekturnoi praktiki // Sovremennyi arkhitektor i klassicheskaya traditsiya: materialy kruglogo stola, proshedshego 8 aprelya 2015 goda v ramkakh mezhdunarodnoi konferentsii «Nauka, obrazovanie i eksperimental'noe proektirovanie» v Moskovskom arkhitekturnom institute / Pod red. D.O. Shvidkovskogo, Yu.E. Revzinoi i D.A. Karelina – M., MARKhI, 2016. S. 27-38.
12. Karelin D.A. Trekhmernaya komp'yuternaya rekonstruktsiya khrama kul'ta rimskogo imperatora v pozdnerimskoi kreposti v Luksore // Sovremennyi arkhitektor i klassicheskaya traditsiya: materialy kruglogo stola, proshedshego 8 aprelya 2015 goda v ramkakh mezhdunarodnoi konferentsii «Nauka, obrazovanie i eksperimental'noe proektirovanie» v Moskovskom arkhitekturnom institute / Pod red. D.O. Shvidkovskogo, Yu.E. Revzinoi i D.A. Karelina – M., MARKhI, 2016. S. 49-82.
13. Borodkin L.I., Zherebyat'ev D.I. Tekhnologii 3D-modelirovaniya v izuchenii prostranstvennykh aspektov gorodskoi istorii: virtual'naya rekonstruktsiya monastyrskogo kompleksa XIX – nachala KhKh vv. // Vestnik RFFI, 2016, №3 (91), s. 47-60.
14. Mironenko M.S. Sovremennye podkhody k 3d-rekonstruktsii ob''ektov kul'turnogo naslediya: problemy vizualizatsii i vospriyatiya (na primere Moskovskogo Strastnogo monastyrya i Chudova monastyrya Moskovskogo Kremlya) // Elektronnyi nauchno-obrazovatel'nyi zhurnal «Istoriya», 2015. T.6. Vypusk 8 (41).
15. Borodkin L.I., Zherebyat'ev D.I, Mironenko M.S., Moor V.V. Kompleksnye proekty po virtual'noi rekonstruktsii istoriko-kul'turnogo naslediya: logistika, metody i tekhnologii // Istoricheskaya informatika, 2014, №4. S. 15-30.
16. Zherebyat'ev D.I., Kim O.G. Osobennosti virtual'noi rekonstruktsii moskovskogo Strastnogo monastyrya i prilegayushchei ploshchadi XVII — nachala XVIII vv. // Elektronnyi nauchno-obrazovatel'nyi zhurnal «Istoriya», 2015. T.6. Vypusk 8 (41).
17. en.wikipedia.org/wiki/Physically_based_rendering
18. Erichev V.P., Ermolaev A.P., Antonov A.A., Grigoryan G.L., Kosova D.V. Novye vozmozhnosti issledovaniya polya zreniya (predvaritel'noe soobshchenie). Vestnik oftal'mologii. 2018;134(2):66-72. https://doi.org/10.17116/oftalma2018134266-72