学习一门语言的最佳方法，通常是让自己沉浸在说这门语言的人所处的环境中。持续沉浸在这种语言环境中，加上沟通交流的压力，能帮你很快学会和练习新词汇。但并不是每个人都有机会在国外生活或学习。
位于美国纽约州特洛伊市的一所大学伦斯勒理工学院（Rensselaer Polytechnic Institute ，RPI）与IBM研究院（IBM Research）进行了一项新的合作，为学生们提供了另一种选择：360度虚拟环境。
通过它将学生们“传送”到北京的繁忙街道或拥挤的中餐馆，学生们将有机会与街头小贩讨价还价或购买食物，环境中配有不同的人工智能功能，以便对其作出实时响应。
尽管该课堂很大程度上是实验性的，但今年夏天它将首次被应用于这所大学一门为期六周的学分课程中。
该项目的灵感来自RPI的两位教师，他们经常利用角色扮演游戏来帮助学生学习汉语。与此同时，在过去几年中，一些研究发现互动式学习环境可以提高语言的理解和记忆。
2018年发表的一项研究还发现，在3D虚拟环境中学日语使学生更容易通过模拟仿真学会他们偶然遇到的词汇。两位教授与IBM Research基于这些认识展开了合作，探讨他们是否能为自己的学生复制这些好处。
除了让场景的数字投影环绕在学生周围，该环境还使用多种类型的传感器来动态适应学生的话语和动作。参与者佩戴的麦克风将他们的音频直接提供给语音识别算法。
当他们指向不同对象或走向不同的虚拟代理时，摄像头会跟踪他们的动作和手势，并在虚拟场景中显示出来。例如，如果学生指向餐厅场景中的一道菜并询问它是什么，虚拟代理可以用名称和描述来响应。
“叙事生成”技术还能利用维基百科的知识，让每个虚拟代理为即兴提问（“这道菜的历史是什么？”）构建更复杂的答案。（然而，对话主题仍然有点局限于学生试图完成的任务。）
该环境中的许多技术都是已投入商用的产品，它们编织在一起，便形成了一个整体体验。但有些技术必须为该项目而专门开发。例如，普通话有五声，对许多新学习者来说这是个挑战，但它对传达意义至关重要。说“卖”这个词时稍有出入，你可能会说成“买”。
因此，研究人员发明了一种算法来分析学生发音的声调。它将其与母语为汉语者的声调进行比较，显示两者的不同之处，然后在环境中直接提供音频和视觉反馈。它使学生能向虚拟代理询问有些东西该怎么表达，并立即开始练习新词汇。
领导这项计划的IBM研究院认知与沉浸式系统实验室主任苏辉说，他的团队仍处于了解实验效果的早期阶段。但在2017年底的一个试点项目中，研究人员有了定性方面的发现，发现它提高了学生在语言学习中的参与度和乐趣，并帮助他们迅速学会新的词汇。
例如，在餐馆点菜前，学生们并没有学支付餐费该怎么表达，但通过观察同龄人和虚拟代理交谈，许多人学会了支付餐费的必要词汇。苏说：“这有点出乎意料。其中一个学生评论说，语言教学就该这样。”
第一年新课程将在近一半时间里使用虚拟环境，其余时间里使用传统课堂，但这种安排未来可能有变化。
如果该课程能提供学生学习成绩明显改善的强有力证据，它就能为其它课程树立榜样。最直接的想法是将其经验扩展到其他语言上，但它也可以用到大学以外的地方，指导公司高管，培训政府工作人员，或进行其它可能从情景模拟和角色扮演中获益的准备活动。
苏辉说，这项计划最终将为研究人员的长期任务提供帮助，使他们能够理解认知与沉浸式环境是如何影响学习、协作和感知能力的。
