基于Blender与Unity的AR互动式多媒体3D绘本设计与开发文献综述

一、文献综述

（一）国内外研究现状

儿童绘本诞生于十七世纪的欧洲，是依靠图画和文字的相互关系共同推动故事情节的艺术类型。它能激发儿童的阅读兴趣，激活他们的想象力和创造力。这种不仅能讲故事、学知识，还能帮助孩子构筑精神世界，培养多元智能的图书类型已成为全世界儿童和父母的阅读潮流。近年来，由于虚拟现实、增强现实、数字孪生等为代表的视觉沉浸技术，正不断从叙事结构、内容生产、交互界面和系统平台等方面重塑数字儿童绘本生态。数字技术的赋能也让儿童绘本的媒介产生了变化或融合^[5]。回顾国内外的过往文献，可以发现AR等多媒体技术正在不断冲击、改变甚至重构绘本行业生态。

一方面，增强现实技术作为虚拟现实技术的延伸，正在不断发展。其将抽象内容可视化、形象化的特点具有重大意义^[1]。另一方面，随着教育技术的发展，研究人员继续致力于探索新技术，如交互式电子故事书，通过阅读帮助学生学习。然而，传统的纸质书不太可能被电子书所取代，因为他们的有形性，使人们可以物理地拥有和触摸他们。增强现实书籍，类似于印刷书籍，只是在页面上叠加了计算机生成的图形或信息，从而创造了一个机会，丰富用户的学习体验，超越了电子书籍阅读。这种物理的交互方式可以利用用户从现实世界获得的知识，从而在AR的帮助下自然或直观地使用纸质书籍。对于计算机经验有限的学习者来说，AR环境中的虚拟元素和物理元素之间的无缝感知创造了独特的教育效益和新的教学可能性。AR技术通过与合成视听内容的交互，可以增强儿童对书籍内容的理解。因此，研究“增强现实”书本阅读对学生学习的影响可能是一个值得探索的有趣问题^[2]。

一本好的AR绘本应该能够激发儿童的学习动机，促进儿童的智力发育。因此移动AR在幼儿领域的应用必须符合幼儿的学习特征。有学者提出AR学习资源的设计应考虑到幼儿的认知能力，尽量使用小粒度的设计策略，不应使用过于复杂和过长的学习内容^[6]。

学术研究表明，在学前阶段，绘本阅读对于语言和读写能力的发展是一种很有前途的学习活动。为了帮助儿童进行绘本阅读，父母、儿童和绘本这三个要素构成了实施有效绘本阅读的基础。Fletcher和Reese提出的概念暗示了父母在孩子的阅读中扮演的重要角色，过去的研究结果也支持这一观点。例如，与《英国教育技术杂志》中儿童与老师一起阅读的学校条件相比，家长参与家庭环境中的共享阅读对儿童在语言发展方面的成就有更显著的影响^[3]。这也意味着，阅读意义建构过程并非完全来自儿童与图书的互动，还有成人与儿童在阅读过程中的相互作用是实现的^[7]。通过共享阅读，能够进一步激发儿童主动阅读的兴趣，从而将阅读的主导权由家长转移到孩子手中。

一般地，AR绘本的设计都会拆分为纸质识别图的美学设计、纸质识别图的技术要点、三维模型设计以及多通道感官设计。其中，三维角色建模与AR环境搭建是关键的一步。Blender作为一款开源三维软件，在三维角色建模以及虚拟现实领域占据明显优势。通过Blender自带的Python API函数调用Blender建模引擎，能够实现虚拟场景三维模型的自动生成^[8]。当前，国内外许多学者正在研发基于Blender技术的虚拟现实平台。例如，防灾科技学院联合武汉安全环保研究院共同开发了基于Blender的矿山虚拟现实平台搭建。利用Blender开源软件提供的建模平台，生成矿体等三维实体模型^[9]。

高通公司在2012年发布了增强现实技术的开发资源，这种在移动端通过摄像头进行识别，实现AR效果。AR环境的搭建主要是靠Unity3D软件的支持。Unity3D是一款跨平台游戏开发及虚拟现实引擎。通过为用户搭建一个接近完美的跨平台程序开发生态链，用户可以借此轻松的进行各种丰富精彩的游戏创作与三维立体开发。由吉林师范大学计算机学院开发的儿童生活百科学习助手主要就是采用Unity3D与Vuforia开发工具实现的^[10]。北京信息科技大学也曾开发过一款基于Unity3D与Vuforia的AR导览系统，其识别率高，并且克服了跟踪失败问题，快速实现场景、视频等增强现实技术的叠加效果^[11]。

近两年，AR绘本的发展迅速。AR儿童绘本的游戏形式与互动种类成为了首先需要考虑的因素。侯文君等学者试用和研究了59款移动AR游戏并分类，使用Delphi法选择了一些合适的游戏类型，将其迁移到儿童绘本上，并让儿童试玩。最终收获了三个维度的框架DPC（developer、parents/teachers、children），且每个维度被细分，使用该框架对AR绘本游戏进行了改进^[12]。

同时，AR绘本也应充分考虑到用户群体的范围。不仅仅是感官正常的儿童，增强现实技术也有益于残疾儿童的教育成长。国外有研究探索了一种将先进显示科技融入不同残疾儿童教育活动的新方法。一个免费的交互式移动增强现实(AR)应用程序被开发，以促进几何的学习。21名小学生参加了一项实验。结果表明，AR系统可以帮助学校儿童独立完成益智游戏活动。使用增强现实显示技术后，与使用传统纸质方法相比，参与者完成益智游戏任务的能力有所提高。研究结果显示，使用增强现实技术可提高特殊需要儿童的学习动机和挫折耐受性^[4]。