贝拉机器人感知系统如何感知环境？

来源：蜘蛛抓取(WebSpider) 时间：2023-10-20 18:11 标签： 机器人感知系统
随着机器人越来越多地参与到我们的生产生活中，我们逐渐发现它们的“类人”属性越来越明显，甚至在某些时候，我们甚至觉得它像是拥有人的感官和思维。它们可以灵巧躲避障碍物，甚至会听会说会交流，逐渐成为了我们工作生活中不可或缺的助手。其实，机器人这一系列类人的能力离不开它日益成熟的感知系统。机器人感知系统的基础硬件单元是由不同种类的传感器构成的，它们作为机器人身上的感觉器官，充当了眼睛、耳朵、鼻子等重要角色。不同类型的传感器用于收集不同的测量信息，经过数据处理阶段，输送到不同的感知算法，为机器人后续的规划、控制阶段提供支持。图
KODA身上的“种类繁多”的传感设备为了实现人工智能机器人质的发展，完善机器人的感知系统，拓展其感知能力是重要的一步，它可以给应用层带来更多可能。一、如何具备“人的感知”？01 视觉感知在机器人感知技术发展过程中，视觉感知部分的发展更为成熟。以在工业领域内的应用为例，金属的焊接封装、物流码垛、安全巡检、物料搬运、生产过程智能分拣等多个场景，都离不开机器人的视觉感知。软硬件的协同发展促成了机器视觉的产业链，这其中包括硬件感知器件的研发、视觉软件算法的研发（识别、测量、引导、检测）、计算平台的搭建等。图：Stretch执行拆垛任务根据不同视觉传感器的特性，主流的视觉系统包括单目、双目立体、全景、混合等。不同的应用场景，需要选择合适的传感器组合。其中，单目视觉系统缺少深度信息，常被应用于只需要2D特征的应用场景，如二维的目标检测与跟随等。双目立体视觉系统可以帮助机器人进行3D视觉感知，在需要三维信息的任务中必不可少。例如当机器人需要完成类似人手的高精度操作时，机器视觉系统对目标物体的定位精度需要达到毫米级别，此时一般引入工业级的双目或是多目相机，根据成像特点获取目标物体的三维信息，搭配2D/3D目标检测、6D姿态估计等视觉算法，结合机器人控制系统，一起完成物体定位、跟踪、分拣装配等需求。图|3D视觉感知技术应用于机械臂抓取任务全景视觉系统虽然有图像畸变大、细节损失等缺点，但它的视场角范围大，可获得丰富的信息，所以也常用于移动机器人领域。不同传感器的精度差异、特性差异，局限了各自的感知能力，在实际应用中，多传感器融合是一个惯常的思路。根据融合对象细分，多传感器融合可以是不同传感器之间经过对齐后的数据融合，可以是数据处理后的特征层融合，还可以是感知结果的融合。多传感器融合一个很常见的应用领域就是在移动机器人上，当其处于未知环境，运动规划的前提是要有精确的自主定位和环境感知，主要包括环境3D地图的构建、移动障碍物的动态标注、机器人自身位姿的即时确定等。相机可以完成物体的识别与检测，激光雷达、毫米波雷达可以用于估计机器人位置、速度，多源传感器的协同作用为移动机器人的安全行驶保驾护航。随着传感器、AI等技术的不断发展，多传感器融合这一技术模块也会得到进一步的发展，例如形成较低成本和计算复杂度的多传感器组合方案、研究更统一有效的融合算法、构建统一的传感器管理平台以评估融合效果、开发高性能的处理融合算法的硬件等。图：自动驾驶过程中对周围物体的识别检测02- 触觉感知除了视觉感知技术，机器人的触觉感知能力也得到越来越多的关注。它是实现与物体之间柔性交互的重要部分。通过监测接触表面法向力、切向力的大小/方向、压力分布、滑动等，在一些抓握或灵巧操作任务中，能够让动作更稳定准确。如图所示，拥有触觉感知能力的机械手可以轻松拿取鸡蛋，且不对物体造成任何破坏。图：机械手抓取鸡蛋（w/o touch sensing）机器触觉的发展同样依托于软硬件的结合。各类传感器，如力/力矩传感器、高空间分辨率触觉阵列、大面积触觉传感器用于获取外界的刺激信息。针对不同的应用场景，感知算法层可以研究物体识别和姿态感知等。在实际的应用中，触觉感知也常和视觉感知相结合进行实验。如常见的抓取任务，机器人可以先用视觉感知算法估计待取物体的姿态（针对机器人末端执行器或是全局坐标系），当末端执行器接近物体时，可以引入触觉感知系统来进一步确定物体的姿态，提高抓取成功率。图：UR5进行抓取实验的硬件环境03 听觉感知机器人听觉感知的应用包括让机器人能够听懂人说的话，此时需要在机器人系统上增加语音接口，对应的传感器阵列可以全向性接受声音信息。结合语音识别、对话系统等算法，可以实现人机交互。目前市场上的很多服务型机器人，如迎宾机器人、展厅讲解机器人、智能音箱等，都会拥有这样的功能。除此之外，机器听觉的应用还包括从各种声音中获得更深层的信息，完成识别检测任务，包括身份识别、情感分析、物体识别判断等。在工业巡检任务中，机器人的听觉感知可以帮助其快速定位到异常声源，实现工业设备噪声状态的实时监测。除此之外，也有不少科研工作者在研究嗅觉感知技术和味觉感知技术，但是相比于视觉触觉听觉，还更多停留在实验室研究阶段。二、搭载智能感知模块后，我可以...感知技术的快速发展，带领机器智能化进程地不断提速。以联想晨星Q1机器人为例，在智能感知模块部分，Q1身上搭载了16线激光雷达、深度相机、双光相机等感知设备。其中，深度相机通过深度以及RGB测量信息，可以用于近距离内目标的精确定位，结合视觉算法，帮助Q1实现避障等功能。多线激光雷达可以对机器人周围的环境进行高精度扫描，帮助实现建图和定位，为Q1的导航避障提供精准信息。双光相机则可以实时传输热成像和可见光，在数据采集之后，结合智能视觉分析，搭配高性能AI主机，使Q1具备缺陷检测、表计识别读数、红外测温、异常判别的能力，可以很好地应用于电力巡检领域。除此之外，视觉感知系统联合机械臂，可以让Q1完成高精度的协同作业任务。图：Q1正在执行按按钮的任务三、对于机器人感知能力的思考01 多模态感知能力的融合感知能力发展的终极目标就是与人的感受对齐。而多模态感知计算是一个非常重要的发展方向。以多个感官的协作感知，来获取最大化的信息量。对此，我的理解是一方面需要找到多模态信息在某一维度上的对应关系，比如时间、空间等。找到对应关系，完成信息对齐，我们可以基于规则或基于学习完成多模态信息的综合，完成信息互补。另一方面，对融合后的信息需要研究有效的智能算法，完成联合学习。所以，机器人智能感知能力的发展一定离不开学习。02 模块化构建感知系统，赋能产品升级产业数字化、智能化转型让机器人的应用不断拓展，以工业机器人为例，从之前的码垛、上下料，延伸到更为精细化的打磨、装配等。复杂任务需要以丰富的感知能力为基础。不同的传感器硬件设备、跨硬件的算法开发都会连接到机器人操作系统ROS，构建形成机器人感知系统。如果说我们对其中的每个小部分做模块化封装处理，如每个传感器的硬件数据采集、具体传感器的自动标定、对不同数据的处理方式（如降噪、几何变换等）、特征融合方式，智能计算模块中针对不同任务的智能算法架构等。每个模块内保持维护升级，这样当需要构建复杂感知系统时，可以组合迁移合适的模块，进行快速搭建，方便适配潜在的应用场景。* 部分图片来自网络，侵删

我要回帖

更多关于 机器人感知系统 的文章

 

随机推荐