项目介绍

人机语音交互是人机交互最重要和最基础的技术。本课题通过仿生机器人与人的交互设计和试验，让学生生动的理解和学习人机交互技术。通过云端编程或机器人本地编程了解语音识别和语音合成及交互过程，学习交互设计，学习人机交互内容的设计，学习如何有效的完成人机交互，如何和谐的完成人机交互，如何实现自然人机交流，学习到电机控制、深度学习、人工智能等内容，了解到语音识别和图像识别的相关内容。

招生对象和要求

大二以上优秀本科生和部分优秀高中生，计划申请语音交互，自然语言处理，图像识别等相关专业，要求对主流编程语言 python，C++有一定了解，掌握常用神经网络如 CNN、RNN 等的基本知识。

为了更好的完成科研项目，项目组会以笔试和面试的形式对学生进行筛选。

项目背景

自上世纪 90 年代以来，随着手写识别、语音识别、网络通信技术的发展，人机交互已发生了巨变，一个完全不懂编程以及网络通信原理的普通小孩，可能会比计算机科学家和网络工程师更好地使用计算机。方式的变革使得人机交互变得简单，而这个变革，就发生在短短不到 30 年内。可预见的是，未来计算机会更加智能，人类使用它会更加自然和简单。多模态自然人机交互是下一代人机交互的发展趋势。融合视觉、听觉、触觉、嗅觉甚至味觉的多模态交互方式，其表达效率和表达的信息都优于单一的视觉或者听觉模式。多模态自然人机交互主要分为 3 个模块，分别是信息多模态交互信息输入、多模态交互信息融合和处理、多模态交互信息反馈。其中，信息输入模块主要接收来自人的“视听触嗅味”五感信息，然后借助多模态信息融合和理解模块，形成“感”觉和认知，并根据专家知识库系统和检索技术形成对用户的信息反馈，构建出多模态自然人机交互系统。从自然人机交互的未来趋势看，高度便利的多模态自然人机口语对话模式是最为自然和最理想人机交互方式。比如，利用中科院自动化所构建的一个多模态自然人机交互系统，用户可以自由地和两个设置有不同聊天主题的数字虚拟人交互，对话主题包括咖啡、天气、科普、娱乐等主题。这种新型的多通道融合的人机对话模式，是下一代新型人机界面操作模式的有效探索。

实习结束后，导师会根据学生表现，出具推荐信。

项目日程

常见问题