郑州大学生设计出专门为听障人服务的机器人
让听障人也能享受科技带来的便利
1995年出生的毕成,是郑州大学服务机器人代表队的队长。他从小对机器人有兴趣,2015年还在读大二的时候,就选择了为听障人服务的机器人作为研究方向。他说:“这一选择主要是基于对现在公共服务机器人产业现状的认识。一方面,大家都一个劲地研究语音交互,因为产品硬件成本低,容易赚钱;另一方面是slam,因为ros有很多效果不错还免费的现成功能,整个产业都有一种拿来主义倾向。我们最初的希望,是通过这个项目,帮助听力及语言残障人士也享受到科技带来的便利,另外还能对整个机器人产业的发展提出一个不同的思路。”
“手语交互技术出现的时间比较早,但长期处于试验阶段,有的要带手套实现手的动作跟踪,有的是用体感摄像机,但识别率比较低。”谈及自己的发明,毕成说:“我们的技术使用了手的模板信息,能够靠三维信息知道每个手指的弯曲度,并基于深度学习算法实现人的四肢动作的稳定跟踪。”
Slam技术是一种能够让机器人在未知环境中定位、构建地图的功能,是一个非常有潜力的技术,但现在主要应用在扫地机器人上。毕成说,造成这种现象的原因,主要是机器人要完成刚才说的功能,空间里就不能有移动的物体,比如人、宠物,机器人在构建地图时会把你当作墙来看待。而他们基于三维信息提出的人物跟随功能,能够把人物和场景分离,机器人知道人在哪,还知道周边环境,两种信息互不干扰。在此基础上,过滤掉高度比较低的物体,比如宠物,就能让机器人和用户自然地存在于一个空间,还能让人带着机器人走,教会它做一些事情。
这款机器人是针对具有人工接待的场景进行设计的,比如银行柜台、购物中心、餐厅、酒店、医院、机场、火车站等。。
手语交互技术和人物跟随技术,是郑州大学这款机器人的两大亮点。为了实现自然的交互距离,他们采用一个远距离摄像机(Kinect V2)与一个近距离摄像机(Realsense SR300),实现RGBD摄像机的视距范围扩展。对于机器人的移动功能,他们以3D点云作为数据输入,开发了抗光照变化的人物跟随技术。
一个专门为在校大学生设立的实验室
“你想不到吧,学校专门为我们设立一个实验室。除了指导老师,我们团队都是本科生啊!” 毕成说:“2015年7月实验室成立的时候,我才读大二。后来进来的三个成员,都是我学弟,读大一。我们的指导老师张大伟讲师年龄大点,也才33岁。”
郑州大学大学生就业创业指导服务中心副主任张红英介绍,郑州大学有一整套鼓励学生创新创业的政策,包括大学生创新创业的资金扶持和管理办法等。学校不仅建有大学科技园(众创空间)、北校区大学生创新创业基地,还在10个院系依托重点实验室和工作室建立了11个大学生创新创业基地。学校还建立了创业导师库,学生有问题都可以找到相关导师咨询。
毕成就读的信息工程学院,专门开辟了1000平方米的大学生创新训练基地,设立了智能机器人、电子设计创新等多个学生创新实验室,同时设立专项经费,支持学生创新实验室,资助学生参加创新和竞赛活动。
2015年7月,在张大伟老师帮助下,毕成他们几个同学成立的这个实验室,当年暑假就完成了一台公共场所讲解服务机器人“米粒”,受到不少关注。“加上指导老师,我们团队5名成员,可以说是一个完美的组合。”科技日报记者采访时,大家争相表达这样的认识。
在这个团队里,作为学兄,毕成是发起人和负责人,多次参加中国机器人大赛暨RoboCup公开赛、河南省大学生课外学术科技作品竞赛、中航工业全国大学生课外学术科技作品竞赛等大赛。他最拿手的是计算机视觉研究,主要负责机器人硬件制作组装和图像识别处理等机器人视觉方面的工作。其他三名成员,包括信息工程学院计算机科学与技术专业的谢永威、信息工程学院软件工程专业的蒋帅,物理工程学院电子科学与技术专业的赵金华,在编程方面知识储备都非常好。而指导老师张大伟,是郑州大学信息工程学院讲师,郑州大学产业技术研究院有限公司机器人应用研究所的负责人,多次指导学生参加机器人大赛并获奖,在激发、调动团队成员研究潜力方面驾轻就熟。
团队一开始是完全偏向科研的,侧重点是服务机器人关键技术,就是想紧跟业界最新的科技进展。毕成说:“现在技术发展的速度动不动就把一个研究领域给终结了,我们必须不断地研究新的文献和技术报告!”
一定要拿完美的技术进行产业化
“手语交互机器人”获奖后,有企业找到团队,想开发转化它。但他们没同意,毕成说目前这个技术还有一定欠缺,虽然深度神经网络的跟踪效果非常好,能达到和人一样的水平,但非常依赖显卡的计算能力,总不能让每个机器人都搭载一个发烧级游戏显卡吧?这显然是比较荒谬的。这一帮追求完美的大学生自豪地说:“但语言障碍者站在机器人面前自然交流的一天,已经离我们很近了!”
毕成还说,对于未来的产业化,他们其实没有单一地围绕这一作品考虑。“因为关键技术的突破,可以促成很多产业机会。就拿我们研究的基于深度神经网络的肢体姿态设计,可以摆脱以前三位摄像机的束缚,能够在任何视频中得到人的骨架,这就有很多应用前景,比如说自闭症儿童的行为匿名分析,不良视频内容的分析,安防领域的分析等。”