广东省东莞市某机械机电公司

-

机械机电

单目视觉六自由度跟踪系统 一、 简述 人类的视觉能力可以说其最重要的传感器之一，其完成了巨大的信息量采集，与视觉导航系统对比，其有一定局限性，第一其无法获取被测对象的精确位置；第二其无法与通常的设备数据接口互联。 在测量，建模，尤其是外科医疗手术和自动化设备导航中，对于精确有效的视觉导航的要求日益高涨，近十年，视觉导航伴随半导体和计算机技术的发展而得到了长足的发展，双目视觉导航系统到外科手术，以及机器人控制中都得到了较多的应用。 但是与双目视觉导航系统的强大功能对应，其造价和体积都很高，且对实施者要求较高，比如配准。因而我们设计和提出一种使用立体标识物的单目视觉六自由度跟踪系统，其具有体积小巧，造价低廉的特点。 单目视觉六自由度跟踪系统包括：用于确定基准备对象的基准坐标系的基准标志单元和用于进行图像采集，获取移动对象相对基准坐标系的旋转姿态和平移位置的图像采集及人机交互单元，所述基准标志单元与基准对象刚性连接，所述图像采集及人机交互单元刚性固着于移动对象上。 基准标志单元由两个互相正交的平面构成，两个平面共一条边，每个平面印刷有特征点图形。因为基准标志单元是一个我们预知其结购的立体物体，因而通过它在摄像机中的二维投影，我们可以计算得到基准标志单元相对图像采集单元的六自由度位姿，反之亦然。 详细的单目视觉六自由度跟踪系统的实现原理，可以参考我们的发明专利《基于单目视觉的手术工具位姿实时测量方法及系统》，已获得国家知识产权局授权。 与双目视觉跟踪系统对比，单目视觉的可观测视野较小，这是其主要弱点。在一些操作范围较小的场景下，视野本来不大，因而不影响使用；但是小巧和灵活的优势，则将使用难度，实施成本都大大降低。尤其可贵得是，单目视觉的计算量大大降低，使其可以使用移动CPU，进入嵌入式系统，从而摆脱了价格设昂，笨重的图像处理工作站。 二、 应用场景 1、 外科手术，为外科医生提供手术工具，以患者手术区域为基准坐标系的，实时六自由度位姿信息，从而提高外科手术的速度和精度，并大大降低对外科医生手术经验和熟练度的要求。一个大腿骨髓内钉植入手术的案例，可以参考我们与新疆医科大学的合作项目规划文档。 2、 机器人示教，当前的商用机器人示教器大都采用类似电脑或者平板的输入界面。要完成一个机器人运动路径输入，需要用户直接输入动动各关键节点的二至六自由度坐标，而在生产环境下，这些关键节点的位姿测量工作量巨大，不便于获取。尤其对于柔性生产，小批量多品种的产品，每一次产品编程耗时较长，工作量较大，造成了机器人使用成本居高不下。 ---一个简单的使用方式是，将图像采集单元固着在机器人末端，机器人使用视觉示教模式，由示教工程师手持基准标志单元，沿期望运动路径移动，模拟实际生产过程。当基准标志单元运动时，机器人随动跟踪基准标志单元的位姿，但对于姿态，只解算并记录而并不随动。当示教工程师完成所有生产步骤后，切换机器人到全自由度运动模式，同时完成示教过程中的位置和姿态设定。在此基础上，示教工程师进行一些必要的微调整，只用很少的时间就可以完成一个新产品的生产编程，无疑将会大大降低机器人的使用成本。 3、书法或者绘画技能培训，书法或者绘画是艺术家对笔的运用，因而笔的位姿，甚至速度和加速度都是非常关键的。我们目前大多采用熟练者示教，采训者观察，采训者尝试模仿，修正再模仿这个过程。使用单目视觉六自由度跟踪系统。可以精确记录熟练者运笔的位姿、速度和加速度，同样也可以精确记录受训者运笔的位姿、速度和加速度。这样，在模仿时，类似语音复读机，它可以精确指出哪一阶段，哪一个变量受训者模仿出现了较大误差，甚至在受训者模仿过程中实时给予提示。无疑，这奖大大减少受训者学习所使用的时间。