随着虚拟现实、人工智能等数字技术的快速发展，现代人机交互方式正逐步从以键盘、鼠标为主的单一输入范式，转向融合多感知通道的沉浸式交互形态。公共交互装置作为现代城市空间与博物展览中的新兴艺术表达媒介，致力于构建人与作品之间的深度对话，而上述技术进步为其体验深度与表现形式拓展了新的可能。 从当今的实体展览的现状来看，实体展览逐渐从藏品陈列和静态信息呈现的展示模式，向强调观众参与和体验感受的方向演进。博物馆等机构持续致力于优化其与观众的互动方式，特别是在观众与文物、当代博物馆与艺术展厅致力于打破“请勿触摸”的传统禁锢，转而追求更具实践性、叙事性与沉浸感的互动体验。 然而，当前展览中的公共交互装置在交互体验上仍存在明显不足。一方面，部分系统仅简单引入数字屏幕与触控交互，使参观者的体验与操作普通电子设备无异，未能充分发挥实体展览特有的现场感与空间优势。另一方面，由于设计范式趋同，许多装置的交互方式、反馈逻辑与视觉表现呈现同质化倾向，难以有效促进参与者的情感投入与持续探索，导致可互动但不耐体验的现象。这使得互动装置未能充分实现其作为展览媒介应有的情感沟通与意义建构价值，观众与作品之间难以建立稳定而深入的联系。 针对上述问题，本课题引入游戏引擎技术作为核心开发平台。Unity等现代游戏引擎凭借其卓越的实时渲染、场景管理与高效图形渲染能力，使得高性能、高复杂度的三维空间表现和实时反馈成为可能，这为交互式视觉内容的构建提供了绝佳的平台支持。通过借鉴成熟的电子游戏交互机制与空间叙事方法，可以有效反哺现实展览系统，增强其趣味性与深度。 在多模态情感识别技术方面，随着深度学习在计算机视觉与运动捕捉领域的广泛应用，系统能够精准捕捉用户的身体姿态、手势及面部表情。相较于传统控制器，这种具身化的交互方式能更自然地映射用户的心理状态，从而实现更高维度的情感化沉浸体验。 在此背景下，围绕实体展览场景，开展多模态沉浸式交互系统的设计研究，对于重构用户体验、创新情感反馈机制、探索技术融合应用具有重要的现实意义。
敬请期待……
此仓库是 Unity 工程。
如想查看项目内容，请首先满足以下条件：
- 安装了 Unity 6000.2.12f1 版本
- 启用了 git LFS 功能
此游戏未来展示时预计会采用屏幕+实体装置交互的方式，预计通过 TCP Socket 与树莓派实时通信。见子项目：echoesphere-communication。
如您对此项目感兴趣，欢迎邮件联系：[email protected]