家用机器人分析

任何事情在做成之前,看起来总是不可完成的。

人们通常提出的第二个关于temi的问题是:为什么这种产品现在还没出现?我给他们的答案很简单:temi已经存在很多年了。

个人机器人助手在我们的梦想、电影和想象中已然存在数百年 ,而唯一阻碍其成为现实的是技术和价格。

打造一台适用于家庭的机器人可能是目前最复杂和困难的挑战之一。创造像temi这样的智能自主机器人系统需要战胜每一个科技领域的困难——比如电气工程、软件、算法、IOS/Linux/安卓、光学、人工智能、机械、语言处理、机器视觉、用户体验等等,所有你能想到的各个方面。

我想与大家分享temi的工作原理,希望越来越多的工程师和初创公司能够进入个人机器人领域。我们由衷地相信这个领域将会成为继智能手机之后的下一代科技浪潮前沿。

所以,如果你想了解个人机器人,那么我的一些看法可能会有助于你涉足这个领域。

我在哪里?

 

当我们探索未知区域的时候,想要了解的第一件事就是我们现在在哪里。通常,我们会在脑海中绘制一张地图,然后确定我们的位置。随着我们更深入开拓该未知区域,这张地图和我们的周边环境也会随时更新。
Temi Slamtemi的道理也是一样的。专业术语来说叫做SLAM,就是“即时定位与地图构建”。这也许是机器人系统必须解决的最基本、但也最困难的问题之一。举个例子,在一个没有太多宽敞空间的客厅里,temi需要知道自己可以走动的路径,包括非常窄的区域。多数机器人在SLAM进程中用了单一传感器,但这根本不够,因为每个传感器有自己的盲点。而temi可以智能融合大量传感器的数据,每秒速度高达几百次!这些传感器包括激光探测与测量、3D摄像头、2D摄像头、测量轮子运动的编码器、惯性测量单元等等,以此消弭每个传感器及其所传输数据的不确定性,从而构成一个准确且实时的亚厘米级地图和定位系统。

构建地图之后的第二部分就是从语义上理解我们身在何处。

我们人类会本能地理解眼前发生的事情:一张椭圆形大桌子,周围摆放着八把椅子,窗户很大,但是没有什么其他家具,这说明我们进入一间会议室。但是,当我们看到:一张椭圆形大桌子,周围摆放着八把椅子,墙上挂着图片,没有能通往其他房间的门,这说明我们进入了一间餐厅。TEMI 则通过运行成熟先进的一套深度学习算法,来识别物体、区域、情况和它们之间的关系,从而理解自己所看到的东西。TEMI 将这些信息保存在一种结构化知识构图中,来理解自己所看到的事情,并随着时间不断改善自己对环境的感知。

如何去到其他地方?

 

为了从房间的一边到达另一边,我们人类本能地选择最简单的路径,无需费劲地越过小障碍,绕过大障碍。这对于机器人而言则相当复杂。更准确地说,单纯地从A点到达B点的最佳方式所涉及的时间复杂度会因为能沿着前行的边线数量成指数级增长。TEMI 不仅能够在几分之一秒内选择高效的路径,还能选择最自然的路径。一台机器人能很有技巧地在很奇怪的区域穿行。最短的路径不一定是最快的。比如,当你从厨房到客厅时,你可以穿过沙发,穿过厨房的椅子,或者也可以绕着它们走较长的路径,而后者可能是更快和更自然的方式。TEMI 学习人们所采用的自然路径,从而能够在这种情况下以自然的方式移动,且随时自我改进。

dog sleeping

另外一方面是要低耗能移动。举个例子,在厚地毯上跑要比在光地板上跑困难得多。TEMI能动态分析自己所处的地面,从而适应自己的控制系统并选择最低能耗和最快的路径。

上述每一件事都需要在移动的同时完成。如果突然有一条狗跑到temi面前,会发生什么呢?TEMI 需要作出迅速响应。这也是为什么temi会监控所选择的路径,以检测新障碍物,更新自己对世界的认知,然后修改自己的路径以避免这些动态障碍物。

单单是让机器人完成进入一个房间,并从一侧走到另一侧这样的简单工作,就需要运用我们多年的经验,几百万条代码,几十个传感器和最好的工程师。得益于这些年来在计算能力和成本方面的突破性进展,我所说的才成为可能。

Temi Tech

TEMI 技术

TEMI 如何服务于你?

 

要让一台机器人协助你,这台机器人必须得理解你想要什么,你在哪里,以及你是谁。

TEMI 具备几十项功能。它的构造如此复杂,但却跟开关灯一样易于操作。TEMI 只设置了两个选项:“有你”或者“没有你”。你只需拍拍它的脑袋,或者说:“嘿temi”,temi就会转移到交互模式,准备为你服务。要实现上述功能以及其他所有功能,比如打电话,你只需简单说一句“嘿temi,给妈妈打个电话”,temi就会锁定你的位置,计算出走到你身边的一条高效而自然的路径,然后跟随你的脚步保证视频连通的稳定性,决定最优的通讯层和质量,接着开始启动视频通话。

当然,temi还能辨认出主人是谁,是给你的妈妈打电话,而不是给你的婆婆或岳母打电话。TEMI使用一种多模式人员识别算法,生成高可信度身份;利用来自语音数据的扬声器识别和来自摄像头的面部识别来生成高可信度识别结果。

Call Grandpa

TEMI 提供了一种简单直观的方式与用户互动,这就是语音。当我们叫temi过来或者交待它什么事情时,temi能理解我们所说的内容,并能分析我们的实际意图。TEMI 始终以低耗电模式运行,随时恭候我们的指令。我们称之为“唤醒词检测”,直接应用于硬件即可保持低功率。一旦检测开启,temi就会释放ASR(自动语音识别)和NUL(自然语言理解)层,理解对方所说所想。TEMI 利用RGBD算法检测和理解用户实际在做什么——坐着、站着、与他人讲话等等,从而全面理解用户的意图,并提供满足其真实需要的答案。这叫做“活动识别”,仅仅使用语音传感器是无法实现这个功能的。

即使你不在temi身边,它也能为你服务。我们开发了基于iOS操作系统和安卓平台的应用,实现对temi的远程控制。在一对一配对时用户必须实地在temi旁边,才能保证高的安全水平。这款移动应用可以让temi的主人将自己的联系人清单同步到temi上,然后在世界上任何地方与temi连接。远程连接可以让主人自由的在家里“穿梭”导航,实现“实时在家”。和以前不同,无需操纵杆的temi也可以实现导航功能。你不需要成为做一个深度核心玩家才能让指挥temi去厨房。你只需要点击移动应用上的厨房图标,temi就能自动导航到厨房。你还可以点击摄像头,temi就能移动到你告诉它的方向,同时利用避障算法确保不会打碎打算你为婚礼准备的花瓶。TEMI temi运用一种实时MQTT(消息队列遥测传输)技术,确保在低带宽、高延迟或不稳定网络中与移动应用保持连接。

新智慧心连接

 

与我们所爱之人联系连接的最佳方式就是陪伴他们。而仅次于此的方式就是通过temi陪伴他们。

目前的视频聊天应用和设备不能提供我们所想要的东西。我们想免手持,想要自然地移动;我们不想总是要担心自己的脸不在摄像头中心,对方看不到怎么办。TEMI temi提供了一种超乎想象的远程现场体验。

Hands free

第一,temi能够通过语音检测到对方在哪。它利用一种全向麦克风阵列来捕获声音。声波到达每个麦克风会有一点延迟,这样temi可以计算出发声人的准确方向和估计的距离。凭借回音消除(消除背景噪音的能力),temi可以确保良好的声音体验,并关注对方的声音。

第二,temi能调整自己的位置,通过智能融合RGB摄像头、3D摄像头和激光探测与测量技术,捕获对方的最佳图像。接着,它能在之前融合的数据上运行我们自主开发的个人检测和追踪算法,当对方在房间里自由移动时,能生成准确的轨迹。此外,temi利用机器学习算法,随着用户的移动,识别用户所穿的衣服;然后持续高效追踪用户,不会将用户与周围的家人或同事混淆。

为了确保良好的视频体验,temi团队利用适应性比特率机制实施P2P(对等)通信,该机制可对捕获的各种质量视频和音频进行编码。接着,temi根据通讯线的质量、带宽和负载利用最优的编码。在一次视频通话中,这些工作都能实时完成。

我们使用temi的时候,可以从一个房间走到另一个房间。我们已经受够了不同房间互联网连接质量的巨大差异。为了保证在整个家里都能很好地工作,temi采用了一种与LTE(4G)蜂窝网络连接结合的802.11ac Wi-Fi连接(最新一代双频无线技术),这样就绝对不会断网,还将提供更好的体验。集成4G LLE的绝妙之处在于无需设置,你可以在打开包装盒的那一刻直接享受temi。

开放平台,无限可能

 

我们人类有一种绝佳的能力,可以通过观察实现学习,并学以致用立即运用所学的知识。这种能力叫做“智能”。严格意义上的智能定义为一种获取新知识和技能,并将其用于真实世界情境的能力。TEMI。Temi持续学习有关我们日常生活的知识,从而为向我们提供更好的服务。TEMI Temi自主学习如何更好地移动,谁是家庭成员,人们通常都坐在家中哪里等等。所有这些能让temi改善服务我们的我们的方式,以及与我们交互的方式。更好的语音识别、更好的理解、更多关于世界的知识、以及根据temi所处家庭特点做出的适应性改善等等。

改善同时也意味着带来新体验。TEMI 的操作系统对第三方开发人员(安卓系统)开放,提供了一个新平台,可承载任何可移动、聊天和与你交互的应用或游戏。自主导航、移动性、音视频捕获、语音交互和先进的人工智能提供了一种新型超创意和独特的平台,开发人员可以用前所未有的新体验触及和影响人们。举个例子,可以有能与你交互并随着你移动的游戏应用,比如捉迷藏、那种让你在实践中学习并趣味学习的教育应用、电子医疗、安全等等。TEMI 可以提供无限的可能。

play guitar

弹吉他

 

创新人员和开发人员会把temi变成一款不可或缺的产品。因此,temi的开发工具包括一套简单的基于安卓系统的软件开发工具包,和一套应用程序编程接口,这个借口易于使用,功能多样,无论开发人员在做什么都能保证安全交互。人们可以在安卓Studio上开发temi的技能,因为这个开发环境能尽可能缩短技术准备期。

 

安全第一

没有人愿意看见一台机器人摔倒或者踩到别人的脚。为此,temi具备多个有安全功能。TEMI 利用一个深度摄像头和多个监控面前空间的激光距离传感器来检测地板上的物体,从而能完美绕过它们。TEMI 可以检测到表面边缘(比如地毯),如果遇到台阶或者洞,则可以减速或者停止。TEMI 还实施一套严格的直接与安全传感器连接的安全控制机制。通过这套机制,只有当空间无阻碍时,机器人才会前进。因此即使在指令错误的情况下,temi也不会冲到你脚上或者摔下楼梯。

你可不会希望你或者你的三岁孩子一推temi它就会倒。我们在设计过程设计了非常低的质心(COM),避免了这个问题。所有比较重的部件都位于temi下部,而所有顶部部件都非常轻