姜吉安
北京信息科技大学 机电工程学院 工业设计系教师
摘要：当代新媒体技术是艺术与科学技术的大融合，其不断升级的新形态，已成为现代展示设计研究的重要课题。在当代展示设计中新媒体技术已成为不可缺少的技术手段。新媒体的沉浸式动态交互，在使观众获得全新的观展体验的同时，也大大促进了企业产品的展示效率与推广目标的实现。新技术也大大缩减了传统静态展示空间对物理材料消耗，节约了大量资源。本文主要通过对新媒体技术在展示设计中的运用案例，以及技术应用分析，来促进数码影像技术、多媒体交互技术、虚拟现实技术的创新与实验开发。
关键词：新媒体技术 展示设计、应用研究
引言
新媒体技术的不断开发迭代，使展示设计对价值观念传播、商业活动的促进发挥了巨大的作用。当代新媒体技术已进入爆发期，各行业领域软硬件技术的交叉与相互促进，衍生出了无限可能性。参与其中的艺术家、设计师、研究机构、公司企业不断增加，同时带来了展示设计的新技术与新模式。
一、展示设计新媒体技术的特征
1.1 虚拟化
3D虚拟技术的进步, 使一些展品本身不必以实物形式展出，如大型航空母舰、或微观的生物基因序列，3D技术也可使许多非现实的事物和创意得以呈现, 而且展示的建筑空间也可以是虚拟的。当代展示设计的这种虚拟化特征, 使设计师可以在有限的空间里展示无限的可能性。例如, 通过新媒体技术可以使人在几分钟的时间里体验春去夏来、秋收冬藏的过程；体验喜马拉雅山的白雪和夕照；在空间结构方面，3D投影技术也将构造出虚拟空间格局，极大减少了物理空间的材料消耗。由于新媒体具有的这种虚拟化技术, 可使设计师摆脱物理空间限制，使信息传达方式衍生出无限的可能性。
1.2互动性
在新媒体技术条件下, 观众的观展体验和
效率已经是展示设计核心要素。而互动性成
为强化观展体验和实现信息传达的重要手段。在当前与未来，新媒体交互设计将随着技术的进步与迭代，将越来越向服务观众体验的方向推进。并借此更好地达成信息与价值观念传播的目的。例如, 通过为观众佩戴数字化手套、头盔和VR眼镜等装置，可使参观者进入设定的交互环境中，如月球漫步、水中激浪、飞跃高山、微观探秘, 将参观者融入展示空间、展示内容之中，使展览本身实现更佳的展示效果。
1.3 沉浸感
新媒体技术展示应用的另一个显著特征就是沉浸感, 通过对数字设备、3D软件、数据的运用能够使参观者仿佛置身其中, 沉浸在整体、全方位的情境之中。也可通过环境、人物、故事将观众带如设定的情境之中, 以达到更完美的展示信息传播目的。沉
浸感是新媒体技术展示应用的重要设计方向，并可极大提升展示活动的感染力,为观
众带来感官刺激和意外惊喜。
?
二、展示新媒体技术现状与架构
VR、AR、MR技术是当代信息科技发展的重要成就, 其主要通过计算机模拟三维空间, 实现虚拟空间的现实感，达到观众置身其中的效果。VR技术运用是展示设计中的一个重要发展方向, 其可协助设计师实现很多令人惊奇的想法和设计。VR技术运用范围十分广泛, 不仅可应用在展示设计上, 还可以运用于桥梁设计、机器人研发等诸多方面。
2.1 桌面互动投影
采用的技术包含：红外感应系统、互动采集系统、雷达交互系统、投影设备、远程控制系统等。
2.2 空气成像
空气投影成像是一种空中成像设备，该设备在空气中存在的颗粒的帮助下显示光影图像。或使用薄薄的水墙代替传统的投影屏幕，以便使公众可以自由地在屏幕图像中穿行，以获得奇异的体验。空气投影使用雾化设备生成大量气流的原理，可以生成虚拟的屏幕。通过投影设备投影到雾化屏幕上，在空间中形成虚像，给人一种特别的感官体验。
2.3 物体识别
物体识别是一款针对展馆展厅交互展示的新型互动产品。对象识别是一个通用术
语，用于描述相关的计算机视觉任务的集合，这些任务涉及识别数码照片中的对象。
图像分类涉及预测图像中一个对象的类别。对象本地化是指识别图像中一个或多个对象的位置，并在其范围内绘制大框架。对象检测将这两个任务结合在一起，并对图像中的一个或多个对象进行定位和分类。
2.4 VR虚拟现实沙盘
虚拟仿真沙盘系统，通过全息投影技术形成3D虚拟物体，参观者可以多角度观看全局与细节。VR头显结合手势操作功能，为展示现场带来更好的观看效果。
3D全息技术，建构出的漂浮在桌面上的微型真实世界，军事指挥官可以使用它考虑战略并向其部队发布作战计划，亦可运用于商业展示项目。
2.5. VR虚拟汽车驾驶
VR模拟器配备大型计算机显示器，方向盘和汽车座椅，可再现分神（例如电话，饮食等）造成的驾驶危险体验。参与者可以通过模拟更好地理解在驾驶时分心的含义，并了解在不全神贯注于道路的情况下会发生撞车的风险。VR驾驶模拟器，可以给人一种真正的驾驶感觉，通过虚拟现实中的驾驶安全学习，将有助于驾驶新手学习交通规则。模拟器操纵部分使用蓝牙游戏杆+旋转椅。
2.6 VR虚拟飞行
与需要操纵杆，鼠标和/或多个按钮的普通飞行模拟器不同，Birdly操作员可用手臂和手来指挥他们的VR飞行体验，高度关连的运动和导航，使每个动作输入都反映在虚拟飞行处理器中，并通过滑翔，横滚和升沉运动作为物理反馈返回。飞行器通过头戴式VR显示器视觉浸入，被包围在充满互动和娱乐惊喜的高分辨率虚拟景观中。Birdly的精确感官与运动的耦合（包括逆风模拟，3D音频和视觉冲击）其结果令人振奋，令人叹为观止。
2.7 VR虚拟滑雪运动
戴上内含全景图像的VR护目镜，可立即进入另一个世界。当在虚拟环境中移动时，环境的反应具有真实的现场感，戴上VR护目镜后，就会被大雪包围，滑雪板指向山下，随时可以出发！像真正滑雪一样，通过移动身体来躲避障碍物，并每只手握住一个控制器来模拟滑雪杖。实现方式：VR设备配合滑雪模拟器场景，在虚拟场景中令用户可以模拟滑雪时的各种动作。特点：①. 全时动感平台、②. 深入沉浸体验、③. 实时互动、④.自助暂停按钮。
2.8 穹幕影院
360°圆顶剧院是一种观看和展示事物的新样式，其中360°VR沉浸式体验并不是个性化的，而是一种共享的社交活动。可以舒适地将一百人安置在一个12米直径的圆顶中，该圆顶可以由小型货车运输，并由一个小团队半天安装。借助360°圆顶剧院，您可以随时随地旅行，并带来令人难以置信的大规模360°的VR沉浸式体验。
其倾斜的穹顶将观众的水平视角和垂直视角，都包含在银幕画面之中，可以使人产生身临其境的真实感觉，尤其适于表现宇宙、大地、海洋等大场面的影像。
2.9 VR虚拟现实
虚拟现实（VR）是利用计算机技术来创建模拟真实环境。虚拟现实最容易识别的组件是头戴式显示器（HMD）。人类是视觉生物，VR显示技术通常是沉浸式的，这也是虚拟现实系统与传统用户界面之间的最大区别。
如今，虚拟现实已运用在医学，文化，教育和建筑等领域。从博物馆参观导览到肌肉解剖，VR使我们能够跨越原本无法想像的界限。
图1.虚拟现实的初步创新应用范围及模式
虚拟现实和增强现实是同一枚硬币的两个方面。您可以将增强现实看作是一只脚在现实世界中的VR，增强现实可模拟现实环境中的人造物体；虚拟现实创造了一个人为环境。
在虚拟现实中，计算机使用类似的传感器和数学运算。但是，用户的眼睛位置不是在物理环境中真实定位的摄像头，而是在模拟环境中定位。如果用户转动头部，图形将做出相应反应。 VR技术无需合成虚拟对象和真实场景，而是为用户创建了一个令人信服的交互式世界。
随着各种新兴的硬件和软件出现，可穿戴设备的未来正在来临，但前景仍是未知和不确定的。 Google、Apple、Samsung、Lenovo等公司也可能以全新的沉浸度和可用性使业界感到惊讶。无论领先者是谁，VR头盔大小的设备的简便性已经使HMD成为虚拟现实技术舞台的中心。VR尤其在大型产品设计改进方面有着巨大的应用潜力。在其他领域亦然。
2.10.VR工作原理
虚拟现实的关键主题是模拟视觉。每款头戴设备都旨在完善其创建沉浸式3D环境的方法。每个VR头戴式显示器都在眼睛前面架上一个屏幕，从而消除了与现实世界的任何交互。通常在屏幕和眼睛之间放置两个自动对焦镜头，它们会根据单个眼睛的移动和位置进行调整。屏幕上的视觉效果是通过使用手机或连接到PC的HDMI电缆渲染的。
要创建真正的身临其境的虚拟现实，需要满足一些先决条件：最低60fps的帧频，等效的刷新率和最低100度的视野（FOV）。帧速率是GPU每秒处理图像的速率，屏幕刷新速率是显示器渲染图像的速度，而FOV是显示器可以支持眼睛和头部运动的范围。
如果上述任何一项都不符合标准，则用户可能会遇到延迟，即操作与屏幕响应之间的时间间隔过长。我们需要以小于20毫秒的速度，这是通过将上述所有因素按适当比例组合而实现的。这里需要解决的另一个问题是防止由于帧速率和刷新速率之间的不一致而导致的网络卡顿。如果GPU的fps大于屏幕刷新率，则图像可能会失真。为了解决此问题，将帧速率限制为使用垂直同步（VSync）的技术完成显示器刷新速率。
在当今可用的主要头戴式设备中，Vive和Rift都具有110°FOV，Google Cardboard只有90度，GearVR只有96度，而新的Google Daydream提供高达120°的FOV。至于帧频，HTC Vive和Oculus Rift都配备90hz的显示屏，而PlayStation VR提供60hz的显示屏。
2.11 VR虚拟现实的必要技术条件?
1）动态环境建模技术?
2）实时三维图形生成技术?
3）立体显示和传感器技术?
4)应用系统开发工具
5)系统集成技术【1】
集成技术包括：信息的同步技术、模型的标定技术、数据转换技术、数据管理模型、识别和合成技术等。
2.12 VR主观实验平台的基本构成【2】
1） VR内容服务模块。该模块实现向VR HMD分发VR内容功能。
2） 终端服务及技术参数统计模块。该模块由VR HMD组成，根据不同实验目的，向测试人员呈现不同质量和自由度的测试场景。同时，该模块还向用户数据云主机反馈相关技术参数。
3） 主观体验统计模块。该模块部署于云主机，负责记录并统计测试人员给出的主观体验评分数据。
2.13 主观实验平台涉及的软硬件【3】
① HTC Vive Pro；② Pico G2；③Pico Neo；④创维V901；⑤2K显示器（刷新率144Hz）；⑥4K显示器（刷新率90Hz）；⑦高性能GPU云主机；⑧VR播放器；⑨VR打分软件；⑩6DOF HMD、6DOF手柄及其测试与控制软件。
2.14 AR增强现实
增强现实（AR）是目前最大的技术趋势之一，随着支持AR的智能手机和其他设备在全球范围内的普及，它会变得越来越强大。 AR可以让我们看到增强的现实环境，例如，可以看到一条狗可能与它的卡通同伴混杂在一起。随着增强现实技术的进步，实际上增强现实已经很容易获得，并且可以多种方式使用，包括用Snapchat镜头可以帮助我们在拥挤的停车场找到汽车。以及应用在各种购物程序中。 AR技术最著名的例子也许是移动应用程序Pokemon Go，该应用程序于2016年发布，并迅速成为一种不可避免的趋势。
在增强现实中，计算机使用传感器和算法来确定相机的位置和方向。然后，AR技术渲染3D图形，就像它们从相机的视点出现的那样，将计算机生成的图像叠加在用户对真实世界的观看上。
增强现实（AR）是人眼前世界的虚拟层，正处在发展和创新的新时代。尽管早期的AR应用程序依赖于智能手机或平板电脑，但它们很快就会扩展到可穿戴设备，例如需要不同类型的UX和设计过程智能眼镜。
虽然关于AR、VR、MR的争论仍在进行，但增强现实为设计师提供了使用图像、对象和颜色识别并创建应用程序的独特机会。就像AI利用数据做出决策一样，AR利用了给定空间中关键“锚点对象”和点的识别。
未来的可穿戴硬件设备可以根据语音命令或手势进行操作，AR体验日益扩展的趋势，预示着鼠标或键盘之类的物理控制器的终结。在增强现实中，运用自然手势将是体验的主要驱动力。例如，用我们的手指模仿点击按钮，将触发与虚拟现实的链接交互。谷歌的Soli项目，更向前迈进了一步，他们创建了专注于非接触式交互的传感技术。为了保持友好的用户体验，尽量使用最少的界面，极力减少不必要的视觉元素累赘。另外一些增强现实设计的开发资源也值得关注，如：Facebook Frame和AR Studio等。Apple的Animoji（iPhone X的动画表情符号）就是AI和AR完美结合的一个好例子。
2.15 AR kit增强现实生活案例
作为概念厨房的一部分，宜家正在开发一种智能桌面，该桌面根据放置其上的食材来建议食谱搭配。这是AR技术在现实世界中运用的一个好例子。交互式桌面带有摄像头与投影仪，可在桌面上显示食谱并识别成分，从而了解如何使用手边的食材。
2.16 AR的未来
增强现实也可以用于知识传递，例如在工业环境中进行培训。想像一下如何通过上下文视频向工人展示如何执行特定任务。这为电子学习领域的设计师打开了创建下一代AR接口的大门。波音公司使用Skylight驱动的AR眼镜来指导技术人员为数百架飞机接线。
可穿戴式显示器可帮助技术人员用视力和声音来控制应用程序，并准确识别和连接数百条电线。波音公司因此将生产时间减少了25％，并将错误率降低到几乎为零。 一个简单的语音控制系统，降低了操作AR应用程序时的交互成本。增强现实技术可以改变员工培训方式。
2.17 混合现实
虚拟现实（VR）完全使您沉浸在虚拟世界中，而混合现实（MR）是现实世界与虚拟世界的融合。VR可以用于虚拟办公空间，设计师借助VR可以使客户在生产阶段之前，就可以预览以真实大小呈现的设计，当然也可以缩放尺寸。混合现实将3D全息内容与物理世界融合在一起，为全息图像提供了拟真世界的上下文关系和比例关系。使用这种MR技术，我们可以与数字内容以及我们周围的世界互动，也可以与3D全息投影互动。
图2.混合现实（MR）的结构
MR和VR应用程序提供了新的创作自由，设计师可以与用户及产品进行远程虚拟交互和访问、探讨历史事件、共同欣赏音乐会等。在设计师创造的虚拟现实或混合现实中，有无限的可能性来改变物理定律，并以前所未有的方式体验世界。在MR\VR\AR工作中，设计师需要有深思熟虑的创意策略、最佳的可用性、强大的叙事和讲故事能力、人体工学的介入、引人注目的设计感染力。可用性的关键在于环境的舒适度，其要点包括：充分考虑参与者身高、小空间、大空间、体重、速度、物体碰撞、用户疲劳、人体工程学等舒适度要素。
2.18 AI，AR，VR、MR融合的未来
人工智能深度学习的最新发展促进了实时图像生成和语音识别的创新应用，这有助于将VR和AI结合起来开发新的应用程序。设计的未来将需要考虑所有这些技术的结合。比如Virtualitics通过AI机器学习为VR和AR环境提供数据可视化。这些技术是帮助我们讲故事和共享信息的工具，可以用于情感互动，建立同情心并与受众建立联系。这是使用这些技术时令人兴奋的时刻，大多数问题都是新问题，旧准则通常不适用。像MIT这样的机构正在通过对新思想进行的激进实验来引领潮流。
例如，麻省理工学院已经创建游戏实验室，以加速AR，VR和AI中的创业。这将激发许多创新者。未来可能被打造成超现实的AI，AR，VR和MR的结合。而国内的研发进展较为缓慢。近年来，技术一直在快速变化，各种创新正在投放市场。虽然其中一些来来去去并没有产生太大影响，但仍有一些继续取得了成果。突出的两个是增强现实 (AR) 和虚拟现实 (VR)，它们在过去五年左右的时间里一直流行。这些已经对各个行业以及娱乐产生了相当多的重大影响。因此，在整个2021年及以后，这些趋势将继续变得越来越具影响力。
AR和VR开发人员已开始将机器学习和人工智能 (AI)应用到他们的许多应用程序中。这可以通过 Instagram 的过滤功能突显出来。这也导致了所谓的计算机视觉，它允许设备看到和理解相机范围内的一切。预计这将在未来几年变得越来越复杂。
通过谷歌的机器学习显微镜可以看到，它越来越能够识别组织样本中的癌细胞。结合虚拟现实和增强现实，这可以使医疗技术越来越精确，并能够使用更复杂的治疗和诊断工具。
人工智能的快速进展，在其它各行业中也可以看到，例如视频游戏，游戏玩家面临着越来越聪明的人工智能驱动的对手。
AR/VR这两种技术对教学和培训都有明显的好处，这在学校和专业发展课程中都有体现。例如，学习建筑等任何有危险或复杂工作领域的人，可以在没有任何现实风险的情况下进行培训。通过虚拟现实，这些行业的新兴专业人士将能够在模拟环境中进行培训，在提供高度准确性的同时避免犯错的风险。
虽然AR和VR在消费娱乐的大部分历史中一直存在，但它在未来几年有望得到显著改善。随着近年来硬件和软件的不断优化改进，AR\VR这两种技术开始变得更易被消费者使用和接受，这意味着AR/VR会在未来取得更大的成功。
在交通领域，完全自动驾驶汽车可能还需要数年时间，但这并不意味着制造商无法利用各种新技术，AR增强现实已经在汽车驾驶导航中开始实施，技术重点主要集中在安全方面。该技术借助人工智能和机器学习来指出道路上可能存在的任何危险，以及准确导航。通过使用摄像头和安装在仪表板上的显示器来完成，而不会过多地分散驾驶员的注意力。
随着AR/VR设备的普及，虚拟现实正在对旅行和旅游业产生影响。这是因为许多用户现在无需离开家就可以虚拟游览一个景点。或者在旅行者出发前，预先虚拟观摩一个目的地的是否有吸引力。360度观看，最初仅限于图片和图像。 然而，随着视频、AR和VR 技术的最新进展，360度视频观看已经很成熟。这使越来越多的品牌开始投资该技术，以便他们可以将其用于各种营销。
在过去几年中，人们开始寻求越来越多的沉浸式技术，尤其是VR和AR。由于硬件和软件的改进，大多数开发人员已经开始广泛使用。这意味着越来越多公司开始专注于创建3D 虚拟环境和体验，随着消费者期待更多这样的体验，也将在未来短时间内或出台行业规范。
AR/VR尽管是一项年轻的技术，但兴起速度却是惊人的，约80%的18-30岁的青年人表示他们在未来三个月内会使用VR或AR。
三、适用的新媒体设计软硬件
3.1.《Processing》
Processing是一种开源程式语言，专门为电子艺术和视觉互动设计而创建。
3.2.《Touch DesignerMAX/MSP》软件
一款基于节点的可视化编程软件，可实现多种且极为丰富的功能，包括：3D实时渲染、立体声音实时生成等。
3.3.Arduio
Arduio多媒体硬件：可以收集传感器数据作为互动媒体的输入端，例如：声音分贝、亮度、温度、颜色等；也可以控制物理“输出端”，例如：舵机、马达、LED矩阵、扬声器等。
四、结语
当代新媒体技术，已成热门多年，其拥有的巨大潜力和无限可能性，依然令很多艺术家、设计师着迷。新媒体艺术家、新媒体设计师也层出不穷。由于新媒体技术本身涵盖的范围极广，也没有传统学科的明确边界，因此将逐步形成一个巨大的实验场。从官方到民间，各领域的广泛交叉互鉴，将使新媒体技术成为探索者的乐园。随着科学技术的不断迭代和升级以及大量展示展览活动的不断举办，新媒体开发机构将快速发展并形成良性循环，并逐步成为一个极具魅力和无限可能性的领域，新媒体领域也将不断涌现出耀眼的技术明星。
注：
【1】“系统集成技术”来源于“《虚拟现实（VR）体验标准技术白皮书》
【2】“VR主观实验平台的基本构成”来源于《虚拟现实（VR）体验标准技术白皮书》
【3】“主观实验平台涉及的软硬件”来源于《虚拟现实（VR）体验标准技术白皮书》
（北京信息科技大学2009年校科研基金资助项目）
作者简介: 姜吉安，性别 男，北京信息科技大学机电工程学院工业设计系 讲师， 手机:13511084706 E-mail:415714399@qq.com
参考文献：
[1]许微，虚拟现实技术的国内外研究现状与发展[J].现代商贸工业, 2019（2）：279-280
[2]李敏,虚拟现实技术综述[J].软件导刊，2010（6）：143-144
[3]CONTRIBUTOR,The 5th Industrial Revolution: When It Will Happen and how,Devops.com
[4]Sa Wang,Zhengli Mao,Changhai Zeng,Huili Gong,A new Method of Virtual Based.
on Unity 3D.International Conference on Geoinformatics,2010:1-5
[5]王阳阳.基于虚拟现实的三维建模技术探析[J].数字技术与应用, 2017(7) :209-210
[6]林业胜.基于3DMax的虚拟现实的建立过程的探讨[J].信息与电脑(理论版）2018
（08）：27-29.
[7]乔林，费广正等.OpenGI程序设计[M].北京科学出版社，2002:130-134.
[8]张啸，浅谈基于Web3D的交互式工业产品三维虚拟场景的设计[J].科技传播，2010，
（13）：214-218.
[9]黄涛.VRML虚拟建筑-原理.工具.方法.北京：中国建筑工业出版社.2008
[10]李国松, 杨柳青. 虚拟现实技术在风景园林规划与设计中的应用研究——几种常见
虚拟现实技术的应用评价分析[J]. 中国园林, 2008, 24(2): 32-36.
[11]詹梦军, 唐卫东, 李雯昕, 罗嗣根, 李诗敏, 刘灵辉, 陈雨霏. 基于VR技术的3D
可视化智能家装系统设计与实现[J]. 计算机科学与应用, 2021, 11(4): 814-820
[12]范丽亚, 马介渊, 周建龙, 张克发. 虚拟现实产业的发展现状与展望[J]. 软件工
程与应用, 2017, 6(6): 199-204.
[13]魏来. 带有注意力机制的人脸草图识别方法[J]. 计算机科学与应用, 2020, 10(4):
682-690.
[14]邱航, 杨珂, 陈瑜, 陈雷霆. 云的真实感模拟技术综述[J]. 计算机科学, 2011,
38(6): 14-19.
[15]李聪, 郭大波, 刘小文. 基于GPU加速的一种新图像特征匹配算法[J]. 计算机科
学与应用, 2019, 9(1): 148-156.
[16]行长印, 张堪杰, 刘旋. 基于云计算的分布式实时渲染研究[J]. 计算机科学与应
用, 2018, 8(1): 16-20.
[17]潘卫华, 符佳慧, 陈曾研. 分布式虚拟现实系统的研究[J]. 计算机科学与应用,
2016, 6(8): 498-504.
[18]吴潇. 虚拟现实技术发展研究[J]. 经营管理者, 2016, 6(17): 12-13.
[19]斯琴, 侯建峰. 基于Unity3D的体感游戏设计与实现[J]. 计算机科学与应用, 2016,
6(8): 492-497.
[20]刘绍南, 刘亚辉. 网络三维虚拟展馆发展探讨[J]. 计算机科学与应用, 2015, 5(6):
225-230.
[21]黎宇帆, 邢鸿雁, 陈静旋, 杨敏之. 基于Gabor理论的山水画皴法分类[J]. 计算
机科学与应用, 2014, 4(3): 59-65.
[22]王辉柏, 侯建峰. 多媒体在数字沙盘系统中应用的研究[J]. 计算机科学与应用,
2013, 3(2): 139-144.
[23]滕秀花, 陈敏, 林志强. 图像色彩传递技术的发展与展望[J]. 计算机科学与应用,
2013, 3(2): 91-95.
[24]魏新亮, 孙伟. 三维图形引擎综述[J]. 计算机科学与应用, 2015, 5(8): 297-312.