>

小觅智能:有了这双“眼睛”,机器人和无人车

- 编辑:新葡京官网 -

小觅智能:有了这双“眼睛”,机器人和无人车

原标题:小觅智能:有了这双“眼睛”,机器人和无人车在任何环境中都不会迷路 | 创业

避障是指移动机器人在行走过程中,通过传感器感知到在其规划路线上存在静态或动态障碍物时,按照 一定的算法实时更新路径,绕过障碍物,最后达到目标点。

原标题:小觅智能:如何用双目视觉赋能AI移动新需求? | 直播预告

澳门新葡亰平台官网 1

澳门新葡亰平台官网 2

澳门新葡亰平台官网 3

图片来源:pixabay

避障常用哪些传感器?

《机器人大家说》第27期直播上线

如何给机器人打造一双在任何环境下自主定位导航的“眼睛”?

不管是要进行导航规划还是避障,感知周边环境信息是第一步。就避障来说,移动机器人需要通过传感器 实时获取自身周围障碍物信息,包括尺寸、形状和位置等信息。避障使用的传感器多种多样,各有不同的原理和特点,目前常见的主要有视觉传感器、激光传感器、红外传感器、超声波传感器等。下面我简单介绍一下这几种传感器的基本工作原理。

9月17日20:00准时开讲

基础创新是一个漫长的赛道, 不过对于硅谷连续创业家庞琳勇博士(Leo)来说,他早已习惯。“小觅智能是我的第三家创业公司,我的第二家公司从成立到最后被收购做了10年。这没什么奇怪的,赚快钱的公司很难有壁垒的。”庞琳勇以很自然的语气回答。

超声波

千万不要错过!

毕业于美国斯坦福大学,拥有机械工程博士和计算机科学硕士(机器人视觉专业)的双学位,并曾在中国科技大学师从光学测量泰斗伍小平院士,庞琳勇在立体视觉领域深耕多年并有多项研究成果。AI 时代的到来,让他在自己擅长的领域看到了一个前所未有的刚需市场。

超声波传感器的基本原理是测量超声波的飞行时间,通过d=vt/2测量距离,其中d是距离,v是声速,t是 飞行时间。由于超声波在空气中的速度与温湿度有关,在比较精确的测量中,需把温湿度的变化和其它因素考虑进去。

视频预告

“每一次技术浪潮都会产生新的基础建设需求。PC 时代,英特尔和微软垄断了 CPU 和操作系统;移动互联网时代,ARM 揽括芯片,iOS 和安卓承包了操作系统;AI 时代的来临,你会发现无论是机器人还是自动驾驶汽车,甚至 VR 和 AR 的应用,其共性特点是动起来了。”在琳勇看来,AI 时代高度强调“动”,而事物要运动,必须要有一双认路和看得出距离的“人眼”——这便是他的专长。

澳门新葡亰平台官网 4

分 享 简 介

2014 年,旨在让机器人动起来的小觅智能(MYNT AI)在硅谷成立了。其成员主要来自百度、三星、诺基亚、摩托罗拉等。

上面这个图就是超声波传感器信号的一个示意。通过压电或静电变送器产生一个频率在几十kHz的超声波脉冲组成波包,系统检测高于某阈值的反向声波,检测到后使用测量到的飞行时间计算距离。超声波传感器一般作用距离较短,普通的有效探测距离都在几米,但是会有一个几十毫米左右的最小探测盲区。由于超声传感器的成本低、实现方法简单、技术成熟,是移动机器人中常用的传感器。超声波传感器也有一些缺点,首先看下面这个图。

在人工智能时代,基本所有的产品都需要动起来,或者说需要移动,需要做移动感知、定位导航和避障,机器人需要,无人车需要,VR/AR眼镜也需要,那么哪些移动感知方案会成为未来的研究和应用趋势呢?

小觅智能专注立体视觉技术整体解决方案,是行业领先的视觉定位导航 VPS(Visual Positioning System)核心技术提供商。VPS 核心技术包括自主研发的双目结构光深度惯导相机、 视觉里程计 VIO(Visual-Inertial Odometry)技术、 VSLAM(Visual Simultaneous Localization And Mapping) 技术、自动驾驶、3D 识别/测量技术等。据庞琳勇介绍,小觅智能提供三个维度的产品,一是基础层:各种各样的双目深度摄像头硬件;二是自动导航的底座,也就是双目摄像头加上 SLAM 的算法,企业可以在上面开发自己的机器人;第三层是针对不同的行业做的定位导航定制方案,如服务机器人,扫地机机器人、汽车辅助驾驶 ADAS 等。

澳门新葡亰平台官网 5

澳门新葡亰平台官网 6

简单来说,小觅智能想给机器人和无人车(机)一双灵敏的眼睛,帮助其自主行走。

因为声音是锥形传播的,所以我们实际测到的距离并不是 一个点,而是某个锥形角度范围内最近物体的距离。

小觅智能作为一家主要做双目立体视觉技术的AI公司,主要业务是双目摄像头硬件和视觉定位导航的技术解决方案,因为我们特地邀请到了 小觅智能运营负责人 刘祁缘David,他将为大家解析如何用双目视觉赋能AI移动新需求。

说起机器视觉,目前最热门、最主要的两大类应用无非是识别和导航定位。小觅智能则是后者。和用于手机等的二维传感器不同,深度传感器能够把物体的距离测量出来。目前市面上的深度相机主要分为三种:时间飞行法 TOF(Time Of Flight)、双目、结构光。这三种方法皆有优势和局限性。

另外,超声波的测量周期较长,比如3米左右的物体,声波传输这么远的距离需要约20ms的时间。再者,不同材料对声波的反射或者吸引是不相同的,还有多个超声传感器之间有可能会互相干扰,这都是实际应用的过程中需要考虑的。

分 享 嘉 宾

  • 结构光:属于主动光类,算法容易在芯片上实现,较为成熟,图像分辨率比较高,但测量距离较短(1~2米),容易受光照影响,不适用于室外环境;
  • TOF:属于主动光类,算法容易在芯片上实现,抗干扰性能较机构光要好, 深度精度高,不过其图像分辨率较低(测的点少), 测量距离在5米左右,成本高;
  • 双目:属于被动光类,室内外都工作,研究历史较久,成本较低, 算法精度高,鲁棒性强,测量距离可以达到100米,但计算量大,算法复杂。 因为非常依赖自然图像特征匹配,所以不适用于昏暗环境或者过度曝光环境,另外如果被测场景本身缺乏纹理,也很难进行特征提取和匹配,如白墙。

红外

澳门新葡亰平台官网 7

众所周知,机器人面临的环境各色各异,所以,机器人需要一双适应任何环境的“眼睛”。而上述三个方案单一的来看都有明显的不足。那么,如何打造一款较为完美的定位导航和避障方案呢?这正是庞琳勇的初衷。小觅智能以双目为基础,加入结构光,采用双目的算法,再加上位移加速传感器,形成了一套全新的完整的软硬件一体化传感器方案。

一般的红外测距都是采用三角测距的原理。红外发射器按照一定角度发射红外光束,遇到物体之后,光会反向回来,检测到反射光之后,通过结构上的几何三角关系,就可以计算出物体距离D。

刘祁缘David

“测量距离几十米,深度精度达到厘米级,同时反应速度又很快,可以适应室内室外工作,在三种传感器中,只有应用自然光的双目比较理想。但是双目也有自身的局限,它遇到室内白墙,无法找到特征点,所以也就没法匹配左右目的相同的特征点,其精度就会下降。而利用结构光打红外斑点到白墙上,相当于形成了图案,即可辅助双目分辨。”庞琳勇非常专业地解释了结构光和双目的结合点。

澳门新葡亰平台官网 8

小觅智能运营负责人

“我们的定位导航方案就像人眼,看了周围就可以知道自己的相对位置。”庞琳勇解释道, “小觅智能其实在赋予机器人三维度空间感知的能力。这主要体现在两个方面:定位导航和立体避障。首先,双目摄像头硬件需要测量机器人和各参照物的距离,然后用算法算出具体位置,这是定位导航。至于避障,以前的机器人,基本是靠超声避障。但超声只知道前面有东西,却不知道这个东西离你有多远,宽度多少,高度多少。”庞琳勇解释道,“机器人避障一定要知道障碍物的精确位置以及大小,而传统超声方案无法解决这些问题,视觉深度传感器则完美地解决了这一问题,所以很快成为机器人立体避障的标配。”除此之外,小觅智能利用视觉传感和位移加速传感互补形成了一个更加全面的深度传感器。“视觉对转动不太敏感,但是加速度传感器可以测出转动的加速度,相当于是将不同渠道收集到的信号融合在一起,保证了信息精确。”他说。

当D的距离足够近的时候,上图中L值会相当大,如果超过CCD的探测范围,这时,虽然物体很近,但是传感器反而看不到了。当物体距离D很大时,L值就会很小,测量量精度会变差。因此,常见的红外传感器 测量距离都比较近,小于超声波,同时远距离测量也有最小距离的限制。另外,对于透明的或者近似黑体的物体,红外传感器是无法检测距离的。但相对于超声来说,红外传感器具有更高的带宽。

2015年加入小觅智能,现负责小觅智能品牌、市场和产品的运营工作,主导公司品牌、产品和项目的运营计划和落地执行。成功将小觅双目摄像头、小觅智能机器人等产品推向市场。曾供职于SMG、申通地铁等公司从事媒体公关和品牌运营工作。具有丰富的10W 爆款文章创作经验和百万级用户平台的运营经验。

关于机器人自主导航定位的方案,我们比较熟悉的有思岚科技,其利用了视觉传感 激光雷达的方式。多传感融合会增加其鲁棒性,但激光雷达的使用大大增加了成本。庞琳勇希望仅视觉传感就可以让机器人实现定位导航和避障, 实现低成本,易量产。而关于机器人的双目软硬件一体的研究,此前都主要存在于大学实验室里,真正应用到工业级场景的还没有。值得一提的是,小觅智能强实力的团队一直致力于将这个技术应用带出象牙塔。

激光

澳门新葡亰平台官网 9

针对不同行业机器人的不同需求,小觅已经推出了两版双目结构光深度惯导摄像头:标准版和深度版。据庞琳勇介绍,标准版是双目 结构光 位移加速传感器,后面的算法是在主机上的 CPU 或 GPU 进行的。深度版本则是在标准版的基础上加了专有芯片模块,可以直接运算,不用耗费主机上的运算资源。

常见的激光雷达是基于飞行时间的(ToF,time of flight),通过测量激光的飞行时间来进行测距d=ct/2,类似于前面提到的超声测距公式,其中d是距离,c是光速,t是从发射到接收的时间间隔。激光雷达包括发射器和接收器 ,发射器用激光照射目标,接收器接收反向回的光波。机械式的激光雷达包括一个带有镜子的机械机构,镜子的旋转使得光束可以覆盖 一个平面,这样我们就可以测量到一个平面上的距离信息。

分 享 提 纲

“我们现在的商业模式主要是从深度摄像头、到导航模块、再到针对不同行业和场景的机器人定位导航和避障的解决方案。小觅摄像头有标杆型客户,定位导航底盘得到了合作伙伴英伟达的推荐,业界的第一个双目扫地机方案完成,至于服务机器人方案,我们现在正和一家公司在合作一个很特殊的场景,而且已经拿到几千台的这个场景的机器人的订单了。”庞琳勇透露。

对飞行时间的测量也有不同的方法,比如使用脉冲激光,然后类似前面讲的超声方案,直接测量占用的时间,但因为光速远高于声速,需要非常高精度的时间测量元件,所以非常昂贵;另一种发射调频后的连续激光波,通过测量接收到的反射波之间的差频来测量时间。

1. 移动感知之于AI的重要性

接下来,庞琳勇透露,小觅智能在汽车辅助驾驶 ADAS 领域还可以大展拳脚。ADAS 辅助驾驶市场目前以单目摄像头居多,以色列公司 Mobileye 占据了市场份额的半壁江山。不过,庞琳勇表示单目摄像头有一个缺点:无法直接测距离,首先它要判断出来前面是辆车,然后根据车牌的大小来反推距离。这两个过程都容易出问题,如假如它没有识别出车就无法测距离。“而双目不需要做判断,可以直接算出来距离,减少失误,所以双目肯定是一个趋势。”他说。

澳门新葡亰平台官网 10

2. AI时代和PC时代的核心技术

作为一个在底层创新深耕较久的人,庞琳勇已经有自己的一套创业看法。他认为,一些基础的创新需要团队做好多年,这些时间与精力铸就了一个企业的壁垒。”就像我们做的这个事情,别人不是想做就能做,他也需要花很多年的时间。而且很有可能做的产品和客户想要的差的很远。”他表示,找准需求市场也是必备课程。

图一

3. 移动感知的现有方案和通点

“机器人移动和无人车肯定需要知道自己在什么地方,在走过程中别撞上东西,这是一个普遍的需求,而且这个需求是以前没有的。所以做这个肯定不会错。”庞琳勇一直对机器人自主导航的市场充满了信心。小觅智能,2014 年刚成立时时只有 5 个人的创始团队,在冬天没有暖气的无锡哆嗦着编程,2016 年 1 月其推出的搭载小觅双目的小觅机器人在 CES 上获得高度关注,而后,其将战略转变为提供解决方案。这一路,小觅智能的每个脚印都非常清晰。

澳门新葡亰平台官网 11

4. 双目技术的优势和可靠性

目前,小觅智能已经完成了来自乐搏资本的天使轮融资、以及真格基金的 Pre-A 轮和来自成识资本、申通董事长陈德军、触控科技、优客工场和中关村国际控股的 A 轮融资,累计融资近亿元。

图二

5. 双目技术如何赋能不同产业

小觅智能:有了这双“眼睛”,机器人和无人车在任何环境中都不会迷路 | 创业动点科技。返回搜狐,查看更多

比较简单的方案是测量反射光的相移,传感器以已知的频率发射一定幅度的调制光,并测量发射和反向信号之间的相移,如上图一。调制信号的波长为lamda=c/f,其中c是光速,f是调制频率,测量到发射和反射光束之间的相移差theta之后,距离可由lamda*theta/4pi计算得到,如上图二。

6. 小觅智能概况

责任编辑:

激光雷达的测量距离可以达到几十米甚至上百米,角度分辨率高,通常可以达到零点几度,测距的精度也高。但测量距离的置信度会反比于接收信号幅度的平方,因此,黑体或者远距离的物体距离测量不会像光亮的、近距离的物体那么好的估计。并且,对于透明材料,比如玻璃,激光雷达就无能为力了。还有,由于结构的复杂、器件成本高,激光雷达的成本也很高。

7. 小觅智能给大家提供的福利

一些低端的激光雷达会采用三角测距的方案进行测距。但这时它们的量程会受到限制,一般几米以内,并且精度相对低一些,但用于室内低速环境的SLAM或者在室外环境只用于避障的话,效果还是不错的。

分 享 时 间

视觉

2018年9月17日 20:00

常用的计算机视觉方案也有很多种, 比如双目视觉,基于TOF的深度相机,基于结构光的深度相机等。深度相机可以同时获得RGB图和深度图,不管是基于TOF还是结构光,在室外强光环境下效果都并不太理想,因为它们都是需要主动发光的。

视频直播互动

像基于结构光的深度相机,发射出的光会生成相对随机但又固定的斑点图样,这些光斑打在物体上后,因为与摄像头距离不同,被摄像头捕捉到的位置也不相同,之后先计算拍到的图的斑点与标定的标准图案在不同位置的偏移,利用摄像头位置、传感器大小等参数就可以计算出物体与摄像头的距离。而我们目前的E巡机器人主要是工作在室外环境,主动光源会受到太阳光等条件的很大影响,所以双目视觉这种被动视觉方案更适合,因此我们采用的视觉方案是基于双目视觉的。

适 合 人 群

澳门新葡亰平台官网 12

人工智能机器人领域从业者、创客等

双目视觉的测距本质上也是三角测距法,由于两个摄像头的位置不同,就像我们人的两只眼睛一样,看到的物体不一样。两个摄像头看到的同一个点P,在成像的时候会有不同的像素位置,此时通过三角测距就可以测出这个点的距离。与结构光方法不同的是,结构光计算的点是主动发出的、已知确定的,而双目算法计算的点一般是利用算法抓取到的图像特征,如SIFT或SURF特征等,这样通过特征计算出来的是稀疏图。

以及所有对AI机器人领域感兴趣的小伙伴

要做良好的避障,稀疏图还是不太够的,我们需要获得的是稠密的点云图,整个场景的深度信息。稠密匹配的算法大致可以分为两类,局部算法和全局算法。局部算法使用像素局部的信息来计算其深度,而全局算法采用图像中的所有信息进行计算。一般来说,局部算法的速度更快,但全局算法的精度更高。

报 名 方 式

这两类各有很多种不同方式的具体算法实现。能过它们的输出我们可以估算出整个场景中的深度信息,这个深度信息可以帮助我们寻找地图场景中的可行走区域以及障碍物。整个的输出类似于激光雷达输出的3D点云图,但是相比来讲得到信息会更丰富,视觉同激光相比优点是价格低很多,缺点也比较明显,测量精度要差 一些,对计算能力的要求也高很多。当然,这个精度差是相对的,在实用的过程中是完全足够的,并且我们目前的算法在我们的平台NVIDIA TK1和TX1上是可以做到实时运行。

公号后台回复“机器人大家说”获得直播间链接

澳门新葡亰平台官网 13

澳门新葡亰平台官网 14返回搜狐,查看更多

KITTI采集的图

责任编辑:

澳门新葡亰平台官网 15

实际输出的深度图,不同的颜色代表不同的距离

在实际应用的过程中,我们从摄像头读取到的是连续的视频帧流,我们还可以通过这些帧来估计场景中 目标物体的运动,给它们建立运动模型,估计和预测它们的运动方向、运动速度,这对我们实际行走、避障规划是很有用的。

以上几种是最常见的几种传感器 ,各有其优点和缺点,在真正实际应用的过程中,一般是综合配置使用多种不同的传感器 ,以最大化保证在各种不同的应用和环境条件下,机器人都能正确感知到障碍物信息。我们公司的E巡机器人的避障方案就是以双目视觉为主,再辅助以多种其他传感器,保证机器人周边360度空间立体范围内的障碍物都能被有效侦测到,保证机器人行走的安全性。

避障常用算法原理

在讲避障算法之前,我们假定机器人已经有了一个导航规划算法对自己的运动进行规划,并按照规划的路径行走。避障算法的任务就是在机器人执行正常行走任务的时候,由于传感器的输入感知到了障碍物的存在,实时地更新目标轨迹,绕过障碍物。

Bug算法知乎用户无方表示

Bug算法应该是最简单的一种避障算法了,它的基本思想是在发现障碍后,围着检测到的障碍物轮廓行走,从而绕开它。Bug算法目前有很多变种, 比如Bug1算法,机器人首先完全地围绕物体,然后从距目标最短距离的点离开。Bug1算法的效率很低,但可以保证机器人达到目标。

澳门新葡亰平台官网 16

Bug1算法示例

改进后的Bug2算法中,机器人开始时会跟踪物体的轮廓,但不会完全围绕物体一圈,当机器人可以直接移动至目标时,就可以直接从障碍分离,这样可以达到比较短的机器人行走总路径。

澳门新葡亰平台官网 17

Bug2算法示例

除此之外,Bug算法还有很多其他的变种, 比如正切Bug算法等等。在许多简单的场景中,Bug算法是实现起来比较容易和方便的,但是它们并没有考虑到机器人的动力学等限制,因此在更复杂的实际环境中就不是那么可靠好用了。

势场法

实际上,势场法不仅仅可以用来避障,还可以用来进行路径的规划。势场法把机器人处理在势场下的 一个点,随着势场而移动,目标表现为低谷值,即对机器人的吸引力,而障碍物扮演的势场中的一个高峰,即斥力,所有这些力迭加于机器人身上,平滑地引导机器人走向目标,同时避免碰撞已知的障碍物。当机器人移动过程中检测新的障碍物,则需要更新势场并重新规划。

澳门新葡亰平台官网 18

上面这个图是势场比较典型的示例图,最上的图a左上角是出发点,右下角是目标点,中间三个方块是障碍物。中间的图b就是等势位图,图中的每条连续的线就代表了一个等势位的一条线,然后虚线表示的在整个势场里面所规划出来的一条路径,我们的机器人是沿着势场所指向的那个方向一直行走,可以看见它会绕过这个比较高的障碍物。

最下面的图,即我们整个目标的吸引力还有我们所有障碍物产生的斥力最终形成的一个势场效果图,可以看到机器人从左上角的出发点出发,一路沿着势场下降的方向达到最终的目标点,而每个障碍物势场表现出在很高的平台,所以,它规划出来的路径是不会从这个障碍物上面走的。

一种扩展的方法在基本的势场上附加了了另外两个势场:转运势场和任务势场。它们额外考虑了由于机器人本身运动方向、运动速度等状态和障碍物之间的相互影响。

转动势场考虑了障碍与机器人的相对方位,当机器人朝着障碍物行走时,增加斥力, 而当平行于物体行走时,因为很明显并不会撞到障碍物,则减小斥力。任务势场则排除了那些根据当前机器人速度不会对近期势能造成影响的障碍,因此允许规划出 一条更为平滑的轨迹。

另外还有谐波势场法等其他改进方法。势场法在理论上有诸多局限性, 比如局部最小点问题,或者震荡性的问题,但实际应用过程中效果还是不错的,实现起来也比较容易。

向量场直方图

它执行过程中针对移动机器人当前周边环境创建了一个基于极坐标表示的局部地图,这个局部使用栅格图的表示方法,会被最近的一些传感器数据所更新。VFH算法产生的极坐标直方图如图所示:

澳门新葡亰平台官网 19

图中x轴是以机器人为中心感知到的障碍物的角度,y轴表示在该方向存在障碍物的概率大小p。实际应用的过程中会根据这个直方图首先辨识出允许机器人通过的足够大的所有空隙,然后对所有这些空隙计算其代价函数,最终选择具有最低代价函数的通路通过。

代价函数受三个因素影响: 目标方向、机器人当前方向、之前选择的方向,最终生成的代价是这三个因素的加权值,通过调节不同的权重可以调整机器人的选择偏好。VFH算法也有其他的扩展和改进,比如在VFH 算法中,就考虑了机器人运动学的限制。由于实际底层运动结构的不同,机器的实际运动能力是受限的,比如汽车结构,就不能随心所欲地原地转向等。VFH 算法会考虑障碍物对机器人实际运动能力下轨迹的阻挡效应,屏蔽掉那些虽然没有被障碍物占据但由于其阻挡实际无法达到的运动轨迹。我们的E巡机器人采用的是两轮差动驱动的运动形式,运动非常灵活,实际应用较少受到这些因素的影响。

具体可以看 一下这个图示:

澳门新葡亰平台官网 20

类似这样传统的避障方法还有很多,除此之外,还有许多其他的智能避障技术,比如神经网络、模糊逻辑等。

神经网络方法对机器人从初始位置到目标位置的整个行走路径进行训练建模,应用的时候,神经网络的输 入为之前机器人的位姿和速度以及传感器的输 入,输出期望的下一目标或运动方向。

模糊逻辑方法核心是模糊控制器,需要将专家的知识或操作人员的经验写成多条模糊逻辑语句,以此控制机器人的避障过程。 比如这样的模糊逻辑:第一条,若右前方较远处检测到障碍物,则稍向左转;第 二条,若右前方较近处检测到障碍物,则减速并向左转更多角度;等等。

本文由科技技术发布,转载请注明来源:小觅智能:有了这双“眼睛”,机器人和无人车