机器视觉技术在现代汽车制造中的应用综述

来源：SCI期刊网 分类：电子论文 时间：2022-03-23 09:48 热度：

摘 要：摘要 随着机器视觉技术的迅速发展，计算机视觉技术的快速、精确、智能等特性在现代工业的各个领域已逐渐被广泛应用，尤其是在汽车制造业。机器视觉在工业领域的三大主要应用是视觉测

　　摘要 随着机器视觉技术的迅速发展，计算机视觉技术的快速、精确、智能等特性在现代工业的各个领域已逐渐被广泛应用，尤其是在汽车制造业。机器视觉在工业领域的三大主要应用是视觉测量、视觉引导和视觉检测。视 觉测量技术通过测量产品关键尺寸、表面质量、装配效 果 等，可以确保出厂产品合格;视觉引导技术通过引导机器完成自动化搬运、最佳匹配装配、精确制孔等，可以显著提升制造效率和车身装配质量;视觉检测技术可以监控车身制造工艺的稳定性，同时也可以用于保证产品的完整性和可追溯性，有利于降低制造成本。可 以 预 见，随 着 相 机、镜头、计算机等核心硬件性能的提升，以及图像处理、深度学习等软件技术的发展，视觉技术未来在各个领域的作用将更加凸显，发展空间也更加广阔。

　　关键词 机器视觉;汽车制造;视觉测量;视觉引导;视觉检测

　　1 引 言

　　早在20世纪80年代美国国家标准局就预计，检测任务的80%乃至90%将由视觉测量系统来完成，该预测至今已基本变成现实。近年来，随着机器视觉的迅速发展，机器视觉技术的快速性、精确性、智能 化 特 性 已 广 泛 应 用 到 现 代 工 业 的 各 行 各 业中[1-4]。而且，在当前以智能制造为核心的工业4.0时代背景下，中国制造2025战略部署逐步深入，工业机器人产业市场呈现爆炸式增长势头[5]，而充当工业机器人“慧眼”的机器视觉系统也功不可没。

　　机器视觉系统是一种非接触式的光学传感系统，其同时集成软硬件，能够自动地从所采集到的图像中获取信息或产生控制动作[6]。简言之，就 是 用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，进行处理并加以理解，最终用于检测、测量和控制[7]。典型的工业机器视觉系统使用摄像机采集被测目标的图像信息，然后将模拟图像信息转换为数字图像信号传送给上位机的数字图像处理系统，处理系统中会根据图片的像素分布、亮度、标志点和颜色等信息，运算出被测目标的位姿和形态等信息，最后根据测试得到的信息控制驱动执行器进行响应的操作。目前机器视觉已经应用在农产品分选[8]、医疗影 像[9]、产品包 装 检 测[10]和 工业[11-13]等领域中。

　　机器视觉在工业领域中的应用广泛，主要有三个功能：视觉测量、视觉引导和视觉检测。视觉测量针对的是精度要求较高的一些零部件，精度要求为毫米级甚至为微米级[14]，使用人的肉眼无法完成必须使用机器完成，如对高精度螺纹螺孔的尺寸需要通过机器视觉的方式进行测量，保证连接的间隙和精度[15];视觉引导是要求机器视觉能够快速准确的找到被测零件，并确认其位置，引导机器人机械臂准确抓取[16]，如视觉 引 导 随 机 抓 件，通 过 扫 描 工 具 箱内随机分布的零件得到三维图像，采用模式识别的方式，在三维图像中获取机械臂抓取工件的最佳点，引导抓取实现自动化生产;视觉检测是使用机器视觉系统检测生产线上的产品有无质量问题，对其美观度、舒适度 和 使 用 性 能 进 行 检 测[17]，是取代 人 工最多的环节，如国内外都实现了使用机器视觉对马铃薯的几何形状检测、表面缺陷检测，从根据这些特征对马铃薯 进 行 分 级[18]。机器视 觉 极 大 的 提 高 了工业生产中的柔性和自动化程度[19]，并且能够在危险作业环境中完成一些人工难以完成的工作，在大批量的生产中极大地减少了人工的使用，并提高和保证了生产的质量。

　　值得指出的是，机器视觉技术在现代工业典型代表的汽车工业中的应用已十分广泛，本文也将以汽车制造业为例，重点讲述机器视觉技术在现代汽车制造中的典型应用。作为世界上规模最大和最重要的产业之一的汽车制造业已有100多年的发展历史[20]。相比于其他制造业，汽车制造业具有几个典型的特点：产量巨大且仍保持快速增长;车型更新换代速度快;制造工艺流程非常复杂。机器视觉技术在汽车制造业中的应用，极大地提高了工艺的操作质量和效率，降低了劳动强度。其已成功地应用于国内外许多汽车主机厂，包括车辆及零部件自动检测、零 件 三 维 定 位、车 身 组 装/加 工，零 件 追 溯等[21-25]。机器视觉技术的应用已贯穿了整个汽车车身制造过程，包括从初始原料质量检测发展到汽车零部件100%在线测量，再对制造过程中的焊接、涂胶、冲孔等工艺过程进行把控，最后对车身总成、出厂的整车质量进行把关。

　　目前，机器视觉已在现代工业各个领域被广泛应用，在未来的发展空间将更加广阔，机器视觉技术必成为引导更高、更快、更稳定的自动化工业时代的 “慧眼”。但不得不指出，机器视觉技术在现代工业应用中也受到一定因素的制约，需要未来进行针对性的改进和提升。获取一个良好的图像需要受到光源、镜头选择、传感器选型、节拍考虑、安装布置、工件状态变化等一系列因素的制约，因此某一个部分发生变化都有可能影响图片质量，从而影响算法的正常工作，所以机器视觉算法的稳健性还需要进一步提高。另外，目前计算机软件的智能程度也还远远不够，在计算机视觉领域大热的深度学习神经网络目前在机器视觉领域的成功应用较少，当目标对象多变、特征复杂、样本数不够的时候，深度学习无法使用，还是要回到传统的老路上来，再考虑实时性的严格要求，机器视觉特别需要一种新的智能的普遍应用于大部分领域的方法出来。工业界基本都是三维的部件，而二维成像毕竟是三维空间的实际情况的一种病态数据采集，围绕三维机器视觉检测、测量、机器人导引等项目和应用将会越来越多，三维视觉检测将更多的应用到工业生产领域。在其他众多民用领域也会迎来机器视觉发展的高潮，现代制造、医疗、电子、仓储等各个领域都会有各种各样的新应用，促进新时代智能化的发展;机器视觉硬件系统也会朝着嵌入式方向发展，运算效率和智能化程度越来越高。

　　2 视觉测量

　　最初，汽车制造质量主要依靠三坐标机测量完成[26]，如图1所示，其效率较低且只能离线测量，完成一台白车身测量通常需要2～3h，测量数据量严重不足。随着视觉非接触测量技术引入至车身质量监控环节，逐渐发展了固定式在线测量站与机器人柔性在线测量站等在线测量系统，可严格监控车身尺寸波动，为生产工艺改进提供数据支持，车身测量实现了离线测 量 至100%在 线测 量 的 转 变;除 传 统三坐标测量、激光在线测量之外，蓝光扫描测量、表面缺陷测量等视觉测量方法也逐渐成为汽车质量把控的重要手段，这些测量方式可进行更加精细的测量，可对车身基本特征尺寸、车体的装配效果、缺陷等问题提供高效高精度的监控。目前，多种监控测量手段互相结合，可以实现车身从零件、部件，以及整车的全程监控测量，确保生产零件零缺陷、整车制造质量得到保障，同时机器视觉的引入使得汽车生产更加智能，不仅实现了车身尺寸的测量，而且基于测量数据可以对汽车进行细致多样的分析并自动产生报告，实现实时报警。

　　2.1 激光在线测量

　　汽车白车身是轿车所有零部件的基本载体，白车身的制造尺寸精度直接影响汽车车身外形、气动性能，以及制造成本等，因此，对尺寸控制机构的制造是提高车身质量的必要条件之一，车身尺寸的先进检测方法是控制 汽车制造尺寸精度的关键手段[27]。目前在汽车制造企业中广泛应用的车身测量系统主要包括三坐标机和激光在线测量系统。在焊 装车间质量控制过程中，三坐标测量系统广泛应用于车身尺寸的测量，以监测尺寸波动，具有测量精度高、可靠性好等优点。但存在测量效率低、响应周期长等问题，无法实现白车身生产过程的实时监控。激光在线测量系统对环境要求低，测量效率高，可以实现对车身进行100%实时三维测量[28]，计算机可以根据测量数据输出报表，自动分析生产线的运行状况，及时地显示尺寸偏差及趋势，更有利于车身制造过程中的质量控制，具有良好的应用前景。

　　激光在线测量技术基于三角测量原理，其利用线状激光构造被测特征，结合有效的照明，获得被测特征的表面信息，相机拍摄特征图像，通过图像处理技术得到被测特征在图像上的二维(2D)坐标，再通过三角测量模型将2D坐标转换为传感器坐标系下的三维(3D)空 间 坐 标。在线测量技术根据不同的应用场景可分为固定式在线测量系统与机器人柔性在线测量系统，如图2所示。固定式在线测量系统包含多个测量传感器，每个传感器的位置固定，传感器在各自的坐标系(传感器坐标系)中进行测量，得到被测点在传感器坐标系下的坐标，最后通过坐标系统一将被测点的测量结果系转换至车身坐标系下，从而完成测量。机器人柔性在线测量系统由多自由度的工业机器人与安装在机器人末端关节的柔性传感器 组 成。当 机 器 人 接 收 到 测 量 信 号 的 开 始时，根据预先计划的测量路径驱动视觉传感器的运动，并将测量点依次进入传感器的测量区域，由视觉传感器和测量主机完成测量[29-30]。机器人柔性在线测量系统较为灵活，可以测量车身上机器人可以到达的特征，固定式在线测量系统只能测量固定有限范围，适用于测量机器人无法到达的特征(如底板上的特征)。

　　近年来，上海大众、一汽大众、上海通用，以及东风汽车等公司纷纷引进了在线测量系统，进行尺寸波动的监控和工艺能力的研究[27]。总体上，在线检测技术在中国汽车行业中正处于普及、发展和进步的阶段，通常一条焊装生产线都会配置底板在线测量工位和车身总成在线测量工位，分别用来监控底板总成和车身总拼的制造质量。但是当前在线测量设备在大部分主机厂中的应用尚处于起步阶段，如何合理的推广并使用在线测量系统，是车间生产亟待解决的 重 要 问 题。对于汽车白车身中产生的质量，在紧凑型生产节拍中，如何优化在线测量频率，测量更多的特征点，最大限度地提高测量设备的效率，保证对车身质量准确、及时的控制，成为白车身制造质量控制中的关键技术问题[27]。白 车身 在 线测量系统主要在测量位置分布优化、测量频次优化等领域尚有上升空间。但由于激光在线测量系统使用线激光传感器进行测量，适用于细节化数据指标比较少的测量场合，当被测特征表面信息需求量变大时，激光在线测量系统的效率不能满足测量的需求，这时蓝光扫描测量系统便展现出极大地优势。

　　2.2 蓝光扫描测量

　　汽车等高端先进装备制造高速发展，对产品几何尺寸测量提出更多需求，产品结构形式和检测功能需求更加多样化，局部细节检测要求更加精细化，对测量效率、数字化及自动化程度要求更高。在汽车生产中，形貌测量是产品质量控制中的重要部分。汽车车身外覆盖件的形貌精度直接影响了汽车部件可装配性和气密性，及时发现车身外覆盖件的尺寸与形貌异常可以大大降低出厂产品的缺陷率，对车身外覆盖件的精密获取还能反映冲压工序中模具的工作状态和寿命。

　　蓝光扫描测量技术摆脱了传统三坐标机单特征测量的局限性，可实现整体形貌尺寸测量与分析，具有更高的测量效率，更全面的特征评价，且安装调试方便。蓝光扫描技术可获得高密度的测量数据应对复杂曲面多变的形貌特征与曲率变化，有效实现复杂曲面 的 精 细 化 测 量，其扫描测量精度可以达到 ±0.02mm，在单幅0.5 m 范 围内 可 以 获 得 上 千 万个高密度点云数据。通过采用高精度拼接技术，蓝光扫描测量可以有效统一局部测量数据至全局坐标系下，满足大型构件测量范围的要求，与此同时，通过结合机器人运动平台，可以提高测量效率与自动化水平，实现无人干预工作，基于这些特点，可以对车身零部件及整车进行非常细致的质量评价，包括表面形貌评价和局部特征评价。

　　图3为蓝光扫描测量系统。该系统由3D 扫描仪、多轴机器人、机器人动作及测量步骤编程软件、检查分析软件以及安全系统构成。测量系统利用安装在机械臂上 的 扫 描 仪 测 量 车 身 的3D 形 状，同 时以理论设计模型为基准，将测量结果与理论模型进行自动对比检查，比较制造部件的形状、测量部件的尺寸和角度等信息。此外，系统配备供机器人前后移动的行走轨道，以及供车身旋转的自动旋转台，使整个系统测量自动化，实现高精度高速全车身测量。蓝光测量系统的扫描仪采用的蓝光投影技术，测量头由左右两个高分辨率的工业 CCD 相机和条纹投影单元组成，采用结构光测量方式，投影单元将包含不同间隔和相位信息的条纹投影到被测工件表面，左右两个高分辨率工业相机同步采集条纹图像，利用双目立体视觉测量原理，在极短时间内获取高密度点云的三维数据。利用标记点拼接技术，实现不同角度和位置下测量数据的自动对齐，最终获得完整的测量数据。

　　由于蓝光扫描测量系统测量数据丰富、数据分析方法多样化等特点，奔驰、宝马、大众、通用等的高端汽车厂已引入蓝光扫描测量系统对车身总成和四门两盖总成进行测量，同时东风汽车、长安汽车等国产汽车厂也纷纷引进了蓝光扫描测量系统。蓝光扫描系统可实现全自动测量，且在覆盖传统三坐标测量数据的基础上能提供更丰富的数据，因此目前越来越多的主机厂采用蓝光测量设备来替代三坐标机进行零部件及整车测量。但为了保证测量精度，目前蓝光测量系统需要采用贴点方式实现点云数据拼接，影响整体测量效率，如何实现在无贴点场景下的高精度数据拼接是蓝光测量系统后续发展的一个重要方向。另外蓝光扫描系统采用多相机和投影机共同构成测量系统，系统成本较其他测量成本高。

　　2.3 表面质量检测

　　汽车涂装是汽车生产制造过程中一个重要的环节，车身喷涂不仅可以提供外观装饰，而且可以对车身表面进行保护。然而，在实际的涂装生产中，由于涂装车间环境的影响，油漆的质量和涂装工艺的不同，使得涂膜的车体很容易产生不同类型的缺陷[31]，比如杂质、喷涂污染等典型表面瑕疵，如何准确地实现汽车表面涂装质量自动化测量极其关键。

　　目前，汽车表面质量测量主要通过人工视觉的方法完成，其效率低，易受人为因素的影响，已成为制约涂 装 车 身 质 量 监 控 效 率 的 关 键 因 素 之 一[32]。为提升效率、减少人工，基于机器视觉的汽车表面质量测量已开始应用在汽车涂装检测领域，如图4所示。与传统人工目视测量相比，视觉表面质量测量采用全自动检测，具有极高的敏感度和大视野，可高效、高精度、全方位的对汽车涂装质量进行检测，最大限度的避免整车返工。

　　由于汽车涂装表面较光滑，且为大范围不规则自由曲面，因此汽车涂装表面质量测量具有一定难度，在众多自由曲面面形测量方法中，反射式条纹偏折法分辨率高、曲率测量范围大、结构简单、对环境变化不敏感，具有重要的应用前景，目前汽车生产厂商主流表面质量测量系统均基于反射式条纹偏折法。表面质量测量系统主要包括机器人、显示器、计算机与相机。测量时首先通过计算机控制显示器投影正弦条纹 到 被 测 曲 面 上，经 反 射 后 由 相 机 采 集。被测曲面上的面形变化会使条纹发生变形，利用相位提取算法对条纹的相位信息进行提取，即可实现对被测曲面面形的测量。该方法结构简单、成本低，测量分辨率可达到纳米级别，曲率测量范围大。同时，将显示器、相机等设备搭载在示教后的机器人上，通过机器人的大范围运动可实现全车身大范围表面质量测量。

　　相关知识推荐：写机器视觉英文论文的办法

　　汽车漆膜缺陷自动检测系统目前已经在几个汽车公司中开始测试和使用，主要应用地区是欧美和日本等汽车技术发达的区域，国内还没有在生产中应用的实例。福特汽车在全世界的3个工厂涂装线上已经采用自己开发的漆膜3D 缺陷 检 测 系 统[32];德国宝马汽车公司与梅赛德斯奔驰汽车公司也纷纷将漆膜缺陷检测系统应用于生产中，该系统能保证高于99.5%的缺陷识别率和低于5%的错误率，4个传感器检测一台车的时间仅为60s。使用反射式条纹偏折测量车身表面质量能够实现自动化检测和质量监督，但是反射式条纹偏折测量方法光路调整有一定的复杂性，在国内还有一定的技术难度，需要进行新一步的研发和应用推广。

　　3 视觉引导

　　视觉引导技术结合了多种视觉检测技术与机器人运动学原理，旨在为工业现场的每台机器人安装 “眼睛”。视觉引导系统将突破机器人只能单纯地重复示教轨迹的限制，使其能根据被操作工件的变化实时调整工作轨迹，提升机器人智能水平，促进生产效率，提高生产质量，比如通过引导机器人自动上下料和引导物流及输送设备定位等。后来，视觉引导技术逐渐渗透到汽车制造的全过程，比如引导机器人进行最佳匹配安装、精确制孔、焊缝引导及跟踪、喷涂 引 导、风挡玻璃装载引导等，如 图5所 示。目前，视觉引导技术在汽车制造过程中的应用越来越广泛，对汽车制造往智能化方向发展发挥着越来越重要的作用。

　　3.1 视觉引导抓取

　　汽车制造中的焊装工艺主要是将各类零部件 通 过 焊 接、胶粘等连接工艺组装成各类分总成，再将各分总成装配成一个白车身总成。 目前，零部件主要是利用料箱从冲压车间转运至焊装 车 间，各 类 分 总 成 也 是 通 过 料 箱 或 EMS等 机运装置在车间内流 转，如何实现机器人自动从料箱、EMS等装置上取件一直是白车身制造过程中亟 待 解 决 的 问 题。由于汽车一般都是金属材质，重 量 较 重，传统人工运输搬运不仅占用了大量的劳 动 力，生 产 成 本 高，而且拿取搬运堆放效率低，搬运期间易造成一定的危险安全事故，实 现 高 效率 低 成 本 的 机 器 人 自 动 上 件 已 成 为 众 多 主 机 厂的 迫 切 需 求。

　　车身车间的上件模式主要分为人工上件，超高精度料箱上件，视觉引导抓取上件。目前绝大部分国内车厂上下料主要采用人工上件，即通过现场工人将车门等配件从料箱中搬运至车身上，此种方式占用了大量的人力且引入人为干扰因素;为了减少人员成本并提高安装精度，超高精度料箱上件方式应运而生，其通过机器人与高精度料箱配合，机器人事先规划好运行轨迹，机械式抓取料箱内的汽车配件，此方法摆脱了人员操作，但是流程相对死板，需要机器人、料箱位置及内部配件保持固定的位姿关系;而大众、通用等主流合资工厂已大规模采用视觉引导上件，视觉引导抓取方法将机器人与视觉测量相结合，突破机器人只能单纯地重复示教轨迹的限制，使其能根据被操作工件的位置变化实时调整其工作轨迹，准确抓取工件，直接提升整个车身制造过程的自动化效率，如图6所示。

　　视觉引导抓取方法中，需要在机器人上分别集成测距传感器与视觉传感器并标定，抓取时首先读取测距仪数值实时感知零件与机器人相对位置，引导机器人接近料箱;其次通过视觉传感器对料箱内配件拍照，结合零件自身特征(例如孔、角点等)的三维信息，实现零件相对于初始状态的6自由度(3方向位置及3方向旋转角度)精确定位，继而计算工件位置及 角 度 的 偏 移，反馈修正取件机器人的抓取轨迹。

　　目前，视觉引导抓件已在通用、大众等主机厂大量使用，长安、广汽、东风汽车等也纷纷尝试引入该技术。但视觉引导抓件主要还是应用于如四门内外板、侧围内外板、底板等中大型零件，而如车门铰链、前纵梁挡板等众多小型零件任无法实现自动抓取。车身小型零件通常是随机散乱堆放的，散件抓取面临零件高精度定位、机器人轨迹规划、机器人碰撞规避等众多难题需要突破。

　　3.2 视觉引导装配

　　基于视觉引导的机器人自动装配已成为车身装配的主流发展方向，其将机器视觉技术与工业机器人结合起来，通过视觉引导机器人，实现汽车配件高精度安装，极大地提高了环境适应能力以及智能化程度。在机器人装配过程中，只有考虑到视觉导引和定位技术的装配要求，才能充分发挥技术优势，提高机器人抓取 和 放 置 的 精 度[33]，如图7所示，以 顶盖装载为例，若顶盖与车身侧围开档未达到最佳匹配装载，顶盖流水槽翻边和侧围总成上边梁流水槽搭接间隙大，将造成顶盖焊点咬边，影响涂装注胶工序，并造成总装漏水，通常需要将白车身返修，浪费成本，严重影响生产有序进行。

　　视觉引导装配与视觉引导抓取不同，其需要高精度保证配件与车身相对位姿的一致性，故视觉引导装配系统需要配置多个激光视觉传感器。图7为基于机器视觉的顶盖引导装载，在顶盖引导装载前，分别对车身侧围开档、顶盖进行测量，并基于侧围及顶盖的状态引导机器人将顶盖放置在顶盖开档居中位置，顶盖与左右侧围间隙的不均匀性可以控制在 ±0.5 mm 以 内。传感 器 测 量 配 件 固 定 特 征 的 3D坐标尺寸，精确定位待装配零件及车身相对于初始状态的6自由度 偏 差(3方 向 位 置 及3方 向 旋 转 角度)，根据特征测量结果构建零件坐标系，实现零件在参考坐标系下的3D 定位(在 参 考 坐 标 系x，y，z方向上的移动和旋转)，通过定位信息对机器人进行反馈，引导机器人运动。——论文作者：尹仕斌**，任永杰*，刘涛，郭思阳，赵进，邾继贵

文章名称：机器视觉技术在现代汽车制造中的应用综述

文章地址：http://www.sciqk.com/lwfw/dzlw/13054.html