桌面投影游戏中的实物交互道具设计与检测算法实现文献综述

一、文献综述

（一）国内外研究现状

随着计算机软、硬件技术的不断发展，人机交互的方式也不断地进行变革，早在20世纪后半期游戏的交互方式就出现了交互界面的第二次范式转型，玩家在游戏过程中与游戏手柄或计算机的键盘、鼠标进行交互，史无前例地引入了触觉-反馈机制，从而超越了技术层面上的“单向交流”^[16]。

游戏的交互方式发展史首先是一部游戏手柄的发展历史，最早的游戏手柄是来源于飞机的操作杆，在游戏厅内的大型街机游戏主要的游戏交互方式就是控制杆， 1984年的《空手道》推出了用两支摇杆进行控制游戏交互方式，但是只能控制游戏角色的运动方向，而半年后出现的《功夫》则首次出现了由摇杆加上P、K两个按键组合的方式，此后游戏的交互方式主要以控制杆与按键的组合方式为主。然而这种控制杆与按键的组合方式手柄需要用户双手持握，限制了用户的操作能力，交互方式不自然。之后，随着电脑的不断普及，电脑最为常用的输入设备鼠标和键盘就变成了主要的游戏交互方式，键盘上按键数量和排列相比手柄更为密集，使得用户可以进行更多地交互操作，同时由于键盘按键的敲击和鼠标的点击比起操纵杆的摇动更为精细准确，也更容易实现游戏交互的细微动作，交互方式更加流畅^[16]。

新的交互技术的研发带来了新的交互方式，这些都在悄然改变着人们的日常生活，在新型技术应用的支持下，商家们开发了越来越多的更具互动性和强烈动感的游戏。2004年索尼公司推出了一款风靡一时的《Eyeboy》棒球游戏，通过摄像头将游戏用户投射到游戏中，通过动作感应控制器来控制游戏中的肢体动作来完成游戏操作的游戏。电子游戏的发展已经从手柄控制交互转为肢体操作交互，为了追求更好的用户体验感，逐渐出现了基于触控的游戏交互、基于手势或姿势的体感交互、基于控制器的游戏交互、实物交互及多模态交互等等多种交互方式。基于触控交互的游戏，通过用户直接点击屏幕来进行游戏交互，配合音乐效果操作简单，容易上手，但只有单纯的触觉感受，没有更加真实的体验反馈。任天堂的Wii游戏机是最早通过手柄感应来实现人机交互性的体感技术游戏机，感应手柄外形设计和电视遥控器十分相似，并且设置有功能按键、感应及指向定位等主要功能。不仅可以侦测到玩家在三维空间中的运动轨迹，还可以在同一时间在屏幕上呈现光标指导。内置陀螺感应器可以精准地感应到用户运动过程中的微小摇摆和身体的倾斜并配合以手柄震动，让玩家更真切地体验到游戏的真实感和自身在游戏中的代入感，但是美中不足的是无法解放用户的双手，双手不能完全进入到游戏中^[18]。

围绕沉浸体验伴随和视觉交互的全新游戏开发内容要求，游戏的交互方式开始融合VR和AR的交互技术，VR设备搭载的游戏和传统的游戏相比，在视觉角度提升了沉浸感的要求，实现场景贴合人眼视角的全景化，消除视框边界，在沉浸感的满足上有了质的飞跃，但是长期佩戴交互设备会给玩家带来疲惫感，而且这种游戏交互方式会使玩家与外界真实环境隔离，玩家无法再通过感官来辨识自身与游戏内容的界限^[17]。AR游戏交互虽然不会隔离现实世界，但是通过将现实世界和虚拟信息两个通道的画面叠加显示在屏幕上，而有限的屏幕会使得视场范围较小，同时手持AR设备会限制用户活动的自由度。

实物交互与AR、VR交互方式相比，不需要用户一直佩戴交互设备，不会限制用户的对于外界环境的感知能力，使数字信息可以直接被用户的双手操纵,充分运用了用户在与现实世界进行交互时所依赖的自然运动技能, 使用户在一个互动环境中实现环境中自由运动并与实物场景进行交互^[8]，在磁感线交互实验游戏中，用户可以直接移动作为交互道具的实物“磁铁”从而进行与游戏内容的交互，无须佩戴额外的交互设备。

在桌面投影游戏中通过智能互动系统将提供互动感应和影像显示的实时组合，所有特殊程序都将使影像生成与互动感应同步变化，桌面投影最初应用在创新式的广告文化中，与传统静态的广告媒介画面相比，动态的投影影像画面更加吸引用户的互动，因此将桌面投影与游戏交互结合实现了桌面投影游戏。在典型的桌面投影游戏中，通过投影仪将游戏画面投影到桌面上，利用相机拍摄检测用户的操作，当用户产生交互时，游戏内容也会发生改变然后通过投影实时展现出来。

（二）研究主要成果

随着研究人员的不断研究与发展，目前众多游戏已经实现了对多通道、多媒体智能人工交互技术的应用，如红外感应、智能语音、VR技术、跟踪体验、虚拟现实技术等，这些新的人机交互技术和交互方式都在人们常见的游戏中被实际运用^[18]。任天堂的Switch的体感游戏手柄通过追踪用户身体的位置变化并配合以手柄震动，从而提供一种不同于以往传统主机手柄的游戏体验。1999年开发的电脑游戏《反恐精英》通过键盘和鼠标进行模拟、类比控制，鼠标的移动和点击提升了游戏交互过程中游戏角色操作动作的精确度和流畅度。2016年发行的《Pokeacute;mon GO》掀起了AR游戏交互的热潮，让人们体验到了AR游戏交互方式的新颖和乐趣，从那以后如《My Country》、《AR Dragon》和《PaintSpaceAR》等越来越多的AR游戏开始出现在人们的视野中，AR游戏交互方式让人们感受到了交互的实时性。还有VR设备交互和多模态的交互和游戏的结合，提高了游戏交互的自然性和高效性，一款叫《节奏光剑》的VR游戏，通过佩戴VR头盔和手持传感器进行游戏交互操作，给用户一种完全身临其境的体验。