不懂手语也能与聋人沟通?“心语机器人”帮助你

  •  
  • 浏览次数: 155
  •  
  • 发表时间:2015-01-15
  • 来源:网络
  • 字体大小:[ ]

如果不懂手语,怎么才能与聋人“交谈”?有这么一款应用软件,你对着它说出你想说的话,这些话就会被转换成手语图片显示出来。近日,江科大计算机学院5名大学生在该院老师王卫民的指导下,成功开发出一款手语翻译软件“心语机器人”。有了它,不懂手语的人也能和聋哑人方便快捷地沟通了。这个软件真的有翻译手语的功能吗?前日,记者来到江科大一探究竟。

■实验时间:2015年1月6日

■实验地点:江科大东校区计算机学院4楼

■实验器材:一部智能手机

■实验人员:江科大计算机学院老师、学生、本报记者

实验过程:

软件显示对应手语图片

前日上午10点,在江科大计算机学院4楼的一间教室里,该院老师王卫民正在和软件开发团队的5名学生商量接下来的软件开发计划。他们所说的软件,能将人说话的内容转换成手语图片,便于不懂手语的人和聋人直接交流。只要是智能手机、电脑、平板电脑都可以安装,但由于目前还没有成熟,并没有对外推广。当记者询问该软件如何使用时,王卫民拿出他的智能手机,教记者使用这个应用软件。

手机页面上有一个机器人模样的应用图标。记者用手点击图标后打开软件,软件页面弹出一个对话框。一个名为“ko”的卡通人物头像后面显示出了“心语机器人欢迎您!”的字样(图1)。软件成功打开。

页面最下方,有个“语音输入”的按键。记者点击按键后,页面弹出了一个“请说出内容”的提示框(图2)。王卫民说,只要对着这个提示框说出想说的话,再点击“说完了”的按键,软件就会显示出手语图片来。

记者对着提示框说了一句“你好”。软件立刻显示出两张手语图片(图3),反应之快让记者感觉有些神奇。

当记者询问是否能翻译出有些难度或者是字数更多的话语时,王卫民笑着表示没什么问题。随后,他对着“请说出内容”的提示框,说出了一句“我肚子饿了,今天中午吃什么”。随即,软件页面就立刻显示出了6张手语图片(图4)。王卫民说,这几张手语图片正是他所表达的意思。

应用前景:

成为基础平台服务社会

王卫民介绍,原本他们打算研究一款智能饮水机项目。这个饮水机可以通过识别人的语音而自动提供热水、冷水和调节温度。

 饮水机的语言识别系统做好后,由于某种原因,项目无法继续。可是语音识别系统已经做好,就此放弃有些可惜。“为什么不把语言识别系统运用到交流上呢?”学院另一名老师的提醒,让王卫民的团队看到了新的方向。

随即他们将语言识别系统运用到正常人与聋人的日常交流沟通上。王卫民说,当创新不再仅仅局限于技术的改进,而更加注重社会公益性时,创新也变得更有意义。

“心语机器人”的诞生,无论是程序的编写,系统的设定,还是手语图片库的收集整合,过程很不容易。目前系统的图片库里已经有了5000余张手语图片,基本能满足日常的手语交流。这些都是团队成员从网上下载的。

目前“心语机器人”翻译出来的手语还只是由一张张独立的图片。王卫民称,他们正在逐步完善其性能,下一步准备将翻译出来的手语以3d动画或者是视频的形式展示出来,从而使语言的表达更加连贯。王卫民表示,目前在国际和国内,还没有出现手语翻译等相关应用软件,虽然国际上也出现过类似手语翻译机器设备,但由于是翻译机器,携带很不方便,所以很难真正得到推广与应用。王卫民说,他们团队希望以“心语机器人”软件为起点,让今后更多类似相关软件能以他们的资源库为基础,不断进行扩充整合改进,最终让他们的软件成为一个基础平台,为整个社会所共有。



  来源:京江晚报
 


版权声明:中国聋人网原创内容,转载请注明出处;非原创内容来源于网络,仅作为帮助听障网友了解资讯之用,若不同意发布,请及时与我们联系,我们会尽快处理,谢谢!


相关关键字: 聋人 手语 心语机器人