研究前沿

信息交互理念下的建筑遗产保护与展示应用——以故宫养心殿东暖阁XR展陈项目为例

摘要: 全文刊登于《中国文化遗产》2024年 第2期 P43-52向上滑动阅览信息交互理念下的建筑遗产保护与展示应用——以故宫养心殿东暖阁XR展陈项目为例苑思楠 孙悦 何蓓洁 刘宇博 程春艳 申烁志摘要:新信息技术的快速迭代与普及为遗产展陈带来全新的发展前景。扩展现实(XR)技术在建筑遗产展陈中的应用,为用户提供了“信息交互”的可能性,从而极大丰富了遗产本体 ...

全文刊登于《中国文化遗产》2024年 第2期 P43-52


向上滑动阅览


信息交互理念下的建筑遗产保护与展示应用——以故宫养心殿东暖阁XR展陈项目为例

苑思楠 孙悦 何蓓洁 刘宇博 程春艳 申烁志


摘要:新信息技术的快速迭代与普及为遗产展陈带来全新的发展前景。扩展现实(XR)技术在建筑遗产展陈中的应用,为用户提供了“信息交互”的可能性,从而极大丰富了遗产本体面向公众传达的信息容量与获取方式。本文以明清官式建筑北京故宫养心殿东暖阁XR展陈开发项目为例,展示了如何利用XR技术中的虚拟现实(VR)和增强现实(AR)两种具体技术方案,实现针对建筑本体以及附加其上的多元历史文化信息的交互式展示。VR和AR技术方案在公众体验建筑遗产时提供了以建筑本体为索引探寻其背后丰富知识的交互接口,此外还可在未来进一步拓展至服务建筑遗产保护从业者,实现对建筑遗产管理、监测与修缮的支持。

关键词:信息技术;建筑遗产;遗产展示;扩展现实;虚拟现实;增强现实;信息交互


建筑遗产的价值不仅在于建筑物本身。漫长历史过程中建筑作为人类行为发生的场景容器,其价值涉及与其相关的历史、文化、艺术、科学等诸多方面。而经由历代学者挖掘与阐释,任何一项建筑遗产的价值信息都是以数据、文本、影像等多类型媒介记录承载,这也必然带来部分遗产价值信息的分散性、非现场性与非物质性。传统的建筑遗产展示是一种典型的“主导受众型”传播模式[1],体现为单向的信息传播,导致受众的信息获取是被动且固定统一的,信息量是受限的。而大量由研究者挖掘阐释的建筑遗产本体及其背后的多元价值信息被固化在专业领域之中,公众难以触及。

在这一背景下,新信息技术的涌现不仅带来了信息量的爆炸,更重要的是彻底改变了大众获取信息的方式,因此也为建筑遗产的展示带来变革的契机。在当前诸多扩展现实(以下简称XR)类技术中,虚拟现实(以下简称VR)与增强现实(以下简称AR)应用最为广泛,并在不断地迭代进步。XR类技术基于现实,但能够超越现实中时间、空间等客观因素限制创造重新构想的“超现场”,实现大量信息的呈现,并在此基础上建立身体参与的“远程在场”(telepresence)[2]。同时该类技术提供的交互式信息接口使得一种具备往复“信息呈现—自主检索”路径的双向传播模式变得可行,进而在遗产展示中实现由“主导受众型”向“受众主导型”媒体传播转变,为观众提供了自主检索获取海量专业知识的方式。这在一定程度上弥补了建筑遗产科普展陈与专业遗产知识生产信息容量不匹配的传播痛点,进而在信息化时代将建筑遗产展示推向一个互动式传播新阶段。

本文从信息交互的视角探索XR技术与建筑遗产的展示与保护工作相结合的革新交互应用,以明清官式建筑的典例北京故宫养心殿东暖阁为对象,进行了基于VR与AR两种技术方案的通用展陈平台开发。围绕上述两种XR技术的特点与适用场景,从空间、时间、身份三个不同维度探讨其在建筑遗产展示领域应用的革新潜能,从而形成一套基于XR技术的建筑遗产展陈应用方案,以适用于立体、多元、多维的建筑遗产信息体系。同时本文还进一步探讨了这种信息容量的扩充以及交互方式的引入,为基于XR技术开发的建筑遗产展陈系统面向建筑遗产研究、管理、保护修缮等专业应用场景拓展带来的可能性。


一、XR技术在建筑遗产保护展示中的应用发展


VR是XR类技术中出现最早、并在建筑遗产展示中最先得以应用的技术。早期该技术应用于建筑遗产保护与展示时,主要通过三维建模提供实时立体的可进入式虚拟环境。如日本厚朴电视台于1990年推出了东京城堡江户虚拟模型动画之旅[3],故宫博物院于2000年开展了在VR领域的研究探索,先后制作了《紫禁城·天子的宫殿》《三大殿》等6部基于剧场环境的VR节目[4];敦煌研究院则在同期与外方合作完成了5个洞窟的虚拟漫游制作。彼时虚拟技术多止于建筑遗产本体的复现,观众仍为被动的信息接收方,沉浸式三维环境的新奇特性并未改变传统遗产展示的方式,而仅作为一种建筑实物展示的附加内容,未形成独立的展示价值。

而后,计算机技术的发展带来了信息储存容量扩大以及传输效率的提高,国内外对建筑本体的再现在建模准确性、建模效率、场景塑造以及贴图质量等方面都在不断精进,因而带来综合仿真能力的质变。东方传统建筑中的梁架、檩、椽、屋脊等细部结构以及西方柱式中的形式结构细节均得以生动地复现给观众[5][6]。除此之外,建筑本体背后大量的多媒介历史信息逐渐得到关注,走向更广泛的物质与非物质数据兼存的可视化表达。例如在清华大学郭黛姮教授及其团队的“数字圆明园”项目中,通过表现圆明园相关山水利用变化情况、文献档案、具体建筑造型以及园林配置,将圆明园持续生长的鲜活历史呈现给公众[7](图1)。

图1 “数字圆明园”项目中的虚拟展示(图片来源:万园之园 虚拟中重生[EB/OL].http://www.xinhuanet.com/politics/2017-04/19/c_129549021.htm)


近年来,面向个人用户的XR设备如雨后春笋般涌现,公众的多样需求也使得行业应用出现了各种可能性。一方面人们对其“具身性”[8]的期待愈来愈高,因而出现了将XR环境作为叙事媒介的实践尝试。在高迪的巴特罗之家(Casa Batlló Museum)中,游客可以在AR技术的支持下使用iPad观看室内使用场景的复原与花纹图样联想,参与感和情感共鸣得以激发(图2);“数字圆明园”团队也致力于从观众五感的体验入手创建身临其境的数字圆明园“混合现实”和“感映现实”项目。另一方面,相关建筑遗产保护从业人员开始关注XR环境中回收数据针对虚拟修复的应用[9]。这两类启发性应用分别对XR技术场景“沉浸性”与信息“交互性”进行阐释,并在当下与技术的进步共生发展。

图2 巴特罗之家(Casa Batlló Museum)再造虚拟场景以及花纹图样联想(图片来源:巴特罗之家官网https://www.casabatllo.es/en/experience/)


总体来说,XR技术与建筑遗产保护展示结合的应用发轫于满足建筑遗产“本体再现”的需求,在技术迭代更新中逐渐拓展其信息储存与表达的广度及深度,当前正处于着力发展场景“沉浸性”与信息“交互性”的时间节点上。从上述案例中可见,当前建筑遗产展陈领域虽对XR“沉浸性”与“交互性”应用的探索已经起步,但该类技术应用的独立价值尚未在实践中被凸显出来。如何围绕中国传统建筑自身价值特性及相关历史文化信息,应用具体XR技术构建“受众主导型”的信息化展示方案,尚有待形成系统性的方法论与具体的应用框架。


二、建筑遗产保护展示中的VR与AR技术应用特性


VR与AR作为当前XR类技术应用于建筑遗产保护与展示的主流,可以利用各自的技术特点在展示过程中实现跨时间和空间的信息融合。VR能够创造一个完全虚拟的世界,并将用户带入其中;而AR侧重于将虚拟内容与现实世界叠加,使用户可以在现实环境中与虚拟信息交互。不同的技术特点使得两者在算法技术、应用场景及用户体验等方面均有所差异(图3)。

图3 VR、AR与虚拟场、现实场的关系(作者自绘)


建筑遗产的VR展示基于创造一个远程虚拟在场环境,它提供高沉浸度环境,因而使得使用者的体验完全不受物理条件的限制,使用者可以通过穿戴设备来体验完全虚拟的建筑遗产场景。VR技术所具备的沉浸性、交互性和想象性三种特征[10]使其更加适用于自由开放的展示空间。展示场景的核心创建工作是对建筑遗产进行建模,并通过流程关卡的设置,完成对虚拟空间中历史场景及补充信息的图形计算渲染,这使得VR场景中配景放置、光影效果、纹理贴图等场景设计工作能够相对自由灵活,因而多应用于建筑遗产展陈中的基础信息介绍、建筑历史更迭解读、不同地点的情境体验等多种场景。近年来云端技术逐渐渗透进人们生活,VR技术所提供的远程虚拟在场逐渐在应用中推广,HTC Vive、PICO等国内外VR设备品牌进入市场下沉阶段,各类“云游”系列的VR作品吸引了人们参与体验的兴趣,对遗产普及工作产生了可观的贡献。

建筑遗产的AR展示则旨在创造一个现实在场的信息环境,对真实场景进行遗产数字信息图层的设计与叠加,从而使得用户在现实世界中直观地接收这些由计算机生成的信息并对遗产的实地访问体验形成增益。增强信息内容可包括建筑相关的历史情境、建造技艺知识等真实时空场景下无法体验到的遗产信息。通过透明度或是局部显示的信息叠加模式,实现与现实环境互补;同时依赖SLAM(同时定位与地图构建)、碰撞传感与映射技术,完成对建筑遗产实体空间的捕捉定位;通过姿势和手势追踪、空间声音反馈等实现与现场观众的交互。在AR环境中,建筑遗产的局部构造及附属物件能够被自由放缩查看;能够针对消失或损坏的遗址提供原位复现,并在此之上进行特定场景的人、物叠加设计。相较VR而言,AR现实在场的应用特点强调技术实施的便携性和通用性,使用智能手机、平板电脑等便携设备便可以随时实现与建筑遗产虚拟模型的交互,从而实现现场的信息融合。

VR和AR技术在过去几年中逐渐走出了早期的概念验证阶段,走向更广泛的商业市场。VR技术在纯虚拟世界中提供无限制的多维感知体验,而AR技术则桥接了虚拟世界与真实世界,二者结合互补能够满足包括线上与线下、现场与云端在内的广泛应用场景(见表1)。


表1 VR、AR区别对比


在本文涉及的故宫养心殿展陈开发案例中,VR部分通过虚拟空间搭建来复现养心殿建筑群,面向公众实现可跨越时空的漫游与信息交互功能,并通过收集反馈数据,为遗产保护领域的专业人士提供服务支持;AR部分则侧重于提供支持观众现场访问的叠加信息呈现与交互式检索。共享基础数据模型的两种XR技术最终构建起面向不同应用场景的建筑遗产展示整体框架。


三、迈进“受众主导”阶段的XR+建筑遗产展示开发案例


具备“受众主导”特性的建筑遗产展示,信息输出需要突破各维度的限制,通过感官知觉与真实的人发生互动。故宫养心殿XR展陈项目在数字化测绘基础上,结合养心殿东暖阁相关的清代历朝《实录》《起居注》、内务府档案、《养心殿造办处各作成做活计清档》、样式雷图档相应文献研究成果等资料进行遗产展陈开发,搭建起数据通用的VR、AR展示场景,并利用两种技术的信息传播与交互特点,层层递进地突破传统展览模式(图5、6),探索构建XR技术支撑下的中国传统建筑遗产展示新理念及其方法路径。

图5 传统实体展示空间与XR环境下的展示空间对比(作者自绘)

图6 观众在XR环境中的信息感知流程(作者自绘)


(一)在XR展示环境中拓展可感信息的容量

养心殿东暖阁作为典型的明清官式建筑,除了建筑本体外,也承载着古代中国的社会秩序和生活方式,以及可世代传承的完整科学知识与经验体系等。这些信息在XR展陈开发中分为四大类:①包括位置、年代以及功能在内的基本信息;②包括相关人物及历史事件在内的历史信息;③包括建筑结构、历代格局在内的结构信息;④包括现存的家具、字画和贴落等陈设文物的其他信息。其中VR项目用于线上、异地等非在场应用的养心殿遗产信息展陈,侧重于通过虚拟空间主体搭建及相应流程节点脚本设计提供身临其境的体验;相应地,AR项目开发面向与养心殿实景相结合的遗产信息展陈,其重点在于基于现场既存实物主体,空间对位展示时间与空间维度下的隐藏信息。两者分别从不同的技术侧重点传递上述四类知识信息主体(见表2)。除此之外,在观众与信息双向互动的过程中,收集观众对XR情境作出感知选择的反馈信息,以改变传统展示空间中单向传递的信息模式。


表2 XR环境中的信息分类


(二)通过信息交互拓展空间维度:空间切换

在信息容量拓展的基础上,XR技术从空间层面开始逐层突破展览中各个维度的限制,使得大容量的信息与观众发生交互。在XR环境中,物质实体因不受物理环境的限制而不再存在绝对尺寸的概念,并同时打破传统意义上“馆”与“间”的概念。空间维度拓展一方面可体现在允许人们进入基于图纸信息、文字信息构成的虚拟场景,并且在不同的场景切换;另一方面也实现了突破传统展览空间对人流量及场地的限制,能够同时对几乎无数量上限的参观者批量开放。

针对养心殿东暖阁相关的以文本、图纸为呈现模式的历史资料信息,XR技术的融入打破了玻璃展橱与观众间的物理距离与观看限制。VR、AR技术分别差异化地应用于不同场景的空间切换。对于同样的空间缩放操作,VR项目能够将原本扁平的样式雷图档放缩、立体化呈现,观众能够“进入”东暖阁室内空间,并在其中与图档相关的重要历史人物雷思起进行对话(图7);相反地,在AR项目中观众可以对小比例模型进行全局把控,并以此为“桥梁”引出真实比例的前室空间模型(图8)。针对建筑的结构构造,观众能在VR项目的虚拟室内查看“生成”或是“炸开”的大木结构部件(图9),并通过AR项目中的X光模式穿透屋顶天花获取建筑中被隐藏起来的天花(两层木顶槅)、屋顶构架、具体的斗栱构件、山面结构和榫卯节点等结构信息,突破建筑实体原有的顶界面空间限制(图10)。其中,VR项目主要依赖系统传送功能和基于Omni万向跑步机实现的仿生运动在内的两种突破限制的运动交互功能,前者通过传送门功能完成从随安室至寿寓春晖室间不连贯空间的切换,后者则使观众仅在跑步机的咫尺空间内即可完成对东暖阁整个建筑的漫游游览。而AR部分则通过Kinect Fusion算法的深度图进行三维建模,通过空间锚点(Spatial Anchors)高精度地实现真实环境下场景信息的位置配准与定位。

图7 VR环境中观众可以进入样式雷图档的世界(作者制图)

图8 引出真实比例前室空间的小尺度模型(作者制图)

图9 VR环境中的养心殿大木结构展示(作者制图)

图10 AR环境中X光场景展示大木屋构架信息标注(作者制图)


空间维度的延展也体现于跨地域限制的观展中,VR技术使得观众能够距建筑遗产本体千里之外直接置身于建筑内部空间中,更加简便地获取相应的体验与知识。

(三)通过信息交互拓展时间维度:历史事件再现

通过在XR环境中设置关卡、剧情,不同时期的相关事件及主体在该环境中达到跨时空并存,实现动态交织的信息表达,由此拓展展陈的时间维度。

VR在应用于多时期事件呈现时,展现出更高的自由度。其开发引擎UE4中的流关卡(Stream Level)能够实现流畅的多场景数据无感加载,使得观众能够在样式雷家族自明嘉靖年间以来在不同时期所设计的东暖阁室内格局中自由切换。相反,AR技术由于其虚实结合的本质、客观存在的空间实体基础,而无法如VR中一般对空间格局进行任意更改,仅通过其叠加层中的人、物、景的变换强调对情境的复原。因此在AR“时空转换场景”主题中,观众能够通过感知不同年代的标志细部,穿梭回乾隆时期、道光三十年和同治前期的东暖阁,与不同年代的空间使用者对话。通过VR与AR差异化的虚实体验,观众能够具身地参与到元旦开笔仪式、“垂帘听政”等历史情境中(图11),据此打破当下的时间限制。

图11 AR与VR环境中对“垂帘听政”的展示效果(作者制图)


(四)通过信息交互拓展身份维度:由“使用者”到“创造者”

XR环境的高交互性能给予观众自主调用信息、探索信息的权利,因而在其中创造自己的展览空间并选择自己的观展流线,由“被动式观展”变为“主动式参与”,其身份也由纯粹的“使用者”变为“创造者”。除此之外,通过设备采集观众的交互以及视线数据,设计者可以获知大众对空间的真实使用意向,并应用于整个系统的后续优化与构架完善过程中。

在VR项目中,体验者能够自由地在宝座所在的入口处、随安室、寿寓春晖室穿行并选择自己感兴趣的故事节点,形成不一样的故事线。系统通过手持控制器对观众发出的空间位置运动信息进行及时捕捉,完成交互并将其反馈给系统(图12)。在AR项目的X光场景中,观众能够通过根据“梁&檩”“垫板&枋”“椽”等构件名称按钮来控制信息的显示与隐藏状态,创造属于自己的X光效果(图13)。

图12 VR环境中进行功能选择(作者制图)

图13 AR环境X光模式下进行构件选择(作者制图)


在观众被赋予了剧情选择权的基础之上,历史人物不再仅局限于文本和图像中,而是在XR环境中融入整体叙述系统。在AR项目的乾隆时期剧情展示中,观众有机会与乾隆帝和样式雷家族的雷景修进行互动:乾隆帝以第一人称身份讲述他曾经生活过的东暖阁;雷景修则以“引导者”的身份介绍东暖阁的结构和平面功能。在这个过程中,观众与两位角色分别进行交互对话,突破了原有的观众、剧情人物以及策展人、展览设计者之间的身份边界。因而,观众不再只是旁观者,而是成为了创造这个互动剧情的主要参与者。

(五)拓宽技术的受众范围:服务于建筑遗产保护专业领域从业人员

沉浸式的信息交互不止为当下的大众传播带来利好,也能够通过提供可视端与HBIM信息模型的数据对接接口,为建筑遗产保护专业领域的从业人员提供在线与在场结合的建筑遗产管理与监测平台(图14、15)。

图14 从业人员、HBIM信息库及VR环境中建筑模型的交互关系(作者自绘)

图15 从业人员所使用的硬件、软件操作流程(作者自绘)


该平台可实现VR、AR的通用化应用,旨在满足建筑遗产保护从业者(例如明清官式建筑研究人员)在沉浸于遗产现场的同时以便捷交互的方式查看古建筑HBIM系统中的“知识图谱数据”,并对这些历史信息、形制特征信息、病害信息、干预设计信息作出修改和标注,用于决策的需求。以养心殿正殿(主殿、抱厦、梅坞)为对象,通过UE4引擎中的空间移动类、菜单类、标注类、手柄(手势)类共计4种VR交互模块库搭建结构性UI系统,分层级、分类型向建筑遗产保护从业者呈现与之相关的“知识图谱数据”,从业者在此基础上遵循专业判断反馈相应的干预批注。例如针对知识图谱中“灰缝65%脱落,砖面层中度碱1块”的墙体现状描述,从业者能够在“打点修补”与“重做灰缝”的问题后给出“是”的标注,以此表示“脱灰城砖重新勾缝,城砖抹灰修补1块”的干预描述信息。系统将决策判断信息通过数据接口实现对明清官式建筑信息模型与数据平台信息的反向映射,将UE4中的交互标注信息存储至外部数据表单,并实时回传至HBIM遗产信息数据库,最终形成完整遗产管理、监测信息流,实现XR可视化遗产信息终端应用(图16)。

图16 程序架构示意图(作者自绘)


四、结语


知识的传播是建筑遗产展示与保护过程的核心环节,也是现阶段相关研究的主要任务,XR技术的发展与革新为寻觅行之有效的传播途径提供新可能性。本文面向当今建筑遗产展示与保护领域的切实需求及发展趋势,总结当前XR技术发展过程中多样化的新可能性与新思路,通过对明清官式建筑养心殿东暖阁及其建筑群的实例应用提出基于VR、AR技术的XR系统性展示方案。该方案通过利用XR技术的独特交互潜能来实现受众主导型的展示模式,通过突破传统展览的物理和时间限制,允许观众在虚拟环境中自由探索,成为信息的创造者和传播者,表现出其在传播知识、促进文化遗产保护方面的巨大潜力;细致探讨了VR与AR技术在不同展陈场景下的应用及其通过提高信息感知容量对建筑遗产保护专业领域从业人员的贡献,为其提供了在线和实地结合的管理与监测平台,进一步证明了XR技术的通用性和高效性。

该方案的核心特点在于利用XR技术创造的高交互性环境,突破传统展览中实体的空间限制、当下的时间限制以及观众的信息被动方角色限制,将XR遗产展陈导向全新的“信息交互”时代,为多样化的遗产信息提供行之有效的表达途径,从而带来了相对于在真实环境中的实物展陈所不可替代的信息传播方式,积极促进当下建筑遗产保护工作。

[本文由国家重点研发计划课题“明清官式建筑保护全过程记录的科学化管理与展示平台研发”(项目编号:2020YFC1522405),国家自然科学基金项目“太行八陉线路传统村落类型谱系量化研究”(项目编号:51978441)共同资助]








作者简介

苑思楠,天津大学建筑学院副教授,建筑学系副系主任,中国民族建筑研究会民居建筑专业委员会理事。

孙悦,天津大学建筑学院硕士研究生。

何蓓洁,天津大学建筑学院副教授,中国紫禁城学会理事。

刘宇博,中国建筑第五工程局现代木结构与装配式建筑研究中心研究员,数字化虚拟现实方向负责人。

程春艳,山东省威海市文登区建筑工程事务服务中心助理工程师。

申烁志,美国卡内基梅隆大学娱乐技术中心硕士研究生。


(文章参考文献和注释略)


责任编辑:孙秀丽

微信编辑:刘瑛楠

微信审核:孙秀丽


分类: 中文 研究 研究前沿
关键词:

img

地址:陕西省西安市碑林区友谊西路68号小雁塔历史文化公园
邮件:secretariat#iicc.org.cn
电话:(+86)029-85246378