• 内容部分

作者:admin 2022-05-08 12:24 浏览

Esther|编辑

为了探索自然的人机交互方式,市面上出现了各种各样无需手柄、键鼠的方案,比如手势、注视点、脑机接口等等。一些AR/VR头显也在探索用眼球输入的方式,其原理是利用眼球控制虚拟光标,来选择屏幕上的字母。不过,眼球追踪对于检测角度、距离的要求比较高,而且光线暗的环境下运行效果不准确。尽管目前这些生物信号输入的效率比不过键盘鼠标,但人们依然希望有朝一日动动脑、眨眨眼就能打字聊天。

近期,一位叫Everything Is Hacked的博主设计了另一种有趣的人机交互方式,该方案名为CheekyKeys,功能是通过做鬼脸来输入文字,甚至可以用来敲代码。与脑机接口方案相比,做鬼脸打字成本更低,只需要利用移动设备的面部识别/追踪功能。而与手势识别方案相比,该方案可以解放双手,允许你一边用脸打字一边操作其他任务。

虽然听起来有点奇葩,但该方案的一些细节足够有创意,也许能为现有的人机接口技术带来启发。

研发背景

据了解,这位开发者实际上也是一名新晋奶爸,他有一天带孩子的时候发现,自己没办法一边哄孩子睡觉一边工作,因为抱孩子要用上双手,这样就没办法在电脑上编程了。作为一名程序员,他决定利用科技的手段解决这一问题。

起初,他尝试语音转文字,这个方法简单直接,但是在孩子睡觉的时候,没办法大声说话。于是,便开始尝试面部追踪的方式,将眨眼动作与字母建立联系,从而实现打字的目的。常规的键盘有很多按键,而眨眼动作却没有足够多的变化,因此他决定用摩斯电码来代表26个字母,如此一来便可以根据眨眼次数和时长来组合字母,实现文字输入。

我们知道,摩斯电码是一种早期的数字化通信形式,其特点是只使用0(点)和1(横)两种状态的二进制代码,通过不同的排列顺序可以组合成不同的英文字母、数字甚至标点符号。摩斯电码比起其他通信方式更加简单、隐秘,因此你们可能会在一些谍战、侦探、解谜影片中,看到有人用声音、光线来编辑摩斯电码。

为了将摩斯电码与字母匹配,Everything Is Hacked开发者为26个字母分别开发了巧妙的助记符,并训练算法学习字母、助记符、摩斯电码之间的关系。

不过他发现,这种方式虽然简单,但长时间眨眼的体验感不好。于是,决定利用嘴唇开合来代替眨眼。并且,还用上全脸动作来触发其他案件,比如通过闭眼来触发Shift或Command键,通过抬眉毛、噘嘴来移动鼠标/光标,用瞪眼、眯眼来控制放大和缩小。

特色与优势

这项设计的初衷是,希望在你不方便说语音或是用手打字时,可以直接做鬼脸来输入文字。这是一个基于摄像头的人机交互界面,它为多任务同时操作带来可能。比如可以一边哄婴儿睡觉,一边用表情在电脑上打字,或是在开车时用表情操控车上的信息娱乐系统。而对于双手能力不便的人来讲,CheekyKeys也是一种有价值的辅助工具。

利用摄像头新来来输入、操控界面的技术已经存在,史蒂芬金就利用眼球追踪技术来输入信息、控制屏幕上的光标。然而,利用眼球追踪来逐字输入非常耗时。开发者发现,如果将计算机视觉识别到的面部表情与摩斯电码结合,打字的速度可能会超过眼球输入。

另外与眼球输入相比,CheekyKeys的效率可以更高、成本更低,不仅支持26个字母输入,也可以通过特定的面部表情来输入Ctrl、Shift、空格等按键。原理是计算面部特定节点之间的相对距离,当距离到达一定阈值,便会触发对应的按键。空格键可以通过快速噘嘴来触发。

细节方面,训练CheekyKeys算法采用了计算机视觉库OpenCV,以及面部追踪工具包Dlib。为了提升面部追踪的准确性,开发者采用了谷歌的开源模型MediaPipe,比Dlib更细节、精准。MediaPipe可识别近500个3D面部节点,可更准确识别眉毛和嘴部的细微动作,触发上下左右功能。

有趣的是,为了验证CheekyKeys的效果,Everything Is Hacked尝试用表情来输入代码,测试自己能否完成求职面试的编程测试。经过二十多分钟挤眉弄眼,他完成了简单的一段代码,尽管面试结果不理想,但经验证他编写的代码可以跑通(笑哭)。

总之,尽管CheekyKeys更像是一个无厘头的小发明,但也许可以为未来的人机交互带来启发,当AR/VR头显开始支持高效的全脸面部识别,AR/VR社交将迎来更丰富的交互方式,比如做表情来打字,或是触发预设的对话文字等等。

参考:

https://gizmodo.com/cheekykeys-is-a-face-activated-keyboard-for-typing-in-s-1848782172

( END)

    推荐阅读    

 每天五分钟,轻松了解前沿科技。             —— 青亭网  


糖果彩平台,糖果彩官网,糖果彩网址,糖果彩下载,糖果彩app,糖果彩开户,糖果彩投注,糖果彩购彩,糖果彩注册,糖果彩登录,糖果彩邀请码,糖果彩技巧,糖果彩手机版,糖果彩靠谱吗,糖果彩走势图,糖果彩开奖结果

Powered by 糖果彩 @2018 RSS地图 HTML地图