机器视觉技术是通过机器视觉产品,即图像摄取装置将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号,图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。作为工业之眼的机器视觉技术是智能制造时代和工业 4.0 时代实现工业自动化、智能化和互联化的必要技术手段之一,近年来在汽车制造行业机器视觉技术在自动缺陷检测、智能识别、智能测量、智能检测和智能互联方面飞速发展和迭代更新,机器视觉技术是是人眼在机器上的延伸,是利用机器代替人眼来做测量和判断的一项综合技术,它易于信息集成,是实现计算机集成制造的基础技术。
机器视觉技术的作用是可以提高质量检测的可靠性,提高生产效率、生产柔性和生产的自动化程度,在危险的工作环境中它可以替代人工视觉进行目视检查,从而满足制造过程中人机工程的需求。机器视觉技术的主要功能主要集中在以下 8 个方面:
1
生产过程自动检测,提高生产效率;
2
质量提升和质量保证;
3
改进生产流程,改善人机工程;
4
零件的精确测量;
5
柔性化和集成化生产;
6
生产过程监控;
7
降低生产成本;
8
缩短产品进入市场的周期时间。
· 机器视觉技术在智能制造中的应用和分类
机器视觉技术是人工智能落地到汽车制造领域中不可或缺的一环,随着科技日新月异的发展,机器视觉技术在智能制造和工业 4.0 时代在汽车制造行业中应用的比重将会越来越大。
机器视觉在智能制造中主要应用
目前机器视觉技术主要在电子及半导体、汽车制造、医药制造等领域广泛应用,其中在电子及半导体中的应用约为47%,在汽车制造中的应用约为16%,在医药制造行业中的应用约为7%,在其它行业中的应用约为 30%。随着汽车电动化、网联化、智能化、共享化浪潮的席卷,机器视觉在汽车制造领域中的应用越来越广泛和深入,应用占比也越来越重,其在汽车制造智能制造行业中的主要应用如下:
1
引导和定位。一般采用 3D 视觉,准确定位并引导机器手臂寻找物料位置,抓取物料放到指定位置进行上下料操作;
2
外观检查。这是取代人眼最多的环节,取代人眼进行零件缺陷检查,如机加工环节的划伤、磕碰伤等缺陷,装配环节多装、漏装、错装和装反等缺陷;
3
高精度检测。测量是工业的基础,对于人眼无法识别的0.01~0.02 mm甚至微米的高精密度零件必须使用机器识别完成;
4
智能识别。对图像进行处理、分析和理解,识别目标对象,并进行数据的追溯和采集。应用大数据进行快速收敛,在海量信息中寻找关键特征。
2
智能互联。主要应用为汽车的无人驾驶技术,在智能制造场景中将操作人员、工艺设备、生产物料、生产环境等数据互联,通过深度学习、智能优化、智能预测等展示出工业4.0的威力。
机器视觉和人类视觉的区别与联系
如表1所示,机器视觉技术相较于人眼有很多的优点和差异,这也是其在工艺制造领域广泛应用的重要原因。
工业应用视觉相机分类
机器视觉主要采用的是工业相机,当前世界上工业相机的知名厂家有美国康耐视(Cognex)、美 国 NI(National Instruments)、美国邦纳(Banner)、日本基恩士(Keyence)、日本欧姆龙(Omron)、日本松下(Panasonic)、加拿大达尔萨(Teledyne Dalsa) 、瑞士堡盟(Baumer)等公司,汽车行业当前应用美国康耐视和日本基恩士相机居多。如图1所示,工业相机主要分类如下。
图1 工业相机主要分类
· 机器视觉系统
图2 机器视觉系统主要构成
如图2所示,机器视觉系统主要由图像采集单元、图像处理单元、图像处理软件、网络通信装置等构成。图像采集单元相当于 CCD 或 CMOS 相机和图像采集卡,将光学图像转换为模拟或数字图像并输出至图像处理单元;图像处理单元类似于图像采集和处理卡,对图像采集单元的图像数据进行实时的存储,并利用图像处理软件进行图像处理;图像处理软件主要在图像处理单元硬件环境的支持下完成图像处理功能;网络通信装置主要完成控制信息、图像数据的通信任务。
图像采集单元
照明光源
机器视觉中照明光源的主要作用为可以构建足够的取像环境,保证光线稳定,可以用于突出将要识取物体的颜色;照亮目标,提高目标亮度;形成最有利于图像处理的成像效果;克服环境光干扰,保证图像的稳定性;用作测量的工具或参照等。机器视觉的照明光源可分为卤素灯、白炽灯、氙气闪光灯、激光灯、荧光灯和发光二极管等,其中发光二极管因为体积小、耗电低、使用寿命长、反应迅捷、运行成本低、无毒环保、可制成各种形状、尺寸及各种照射角度等优点被广泛采用。
工业相机镜头
工业相机镜头是获取图像的工具,根据光感原理不同可分为互补金属氧化物半导体(CMOS)和电荷耦合元件(CCD),将光学影像转化为数字信号的半导体元器件工厂一般采用CCD(使图像更利于后期处理),获取信息稳定。镜头的主要技术参数有焦距(EFL),短焦距提供广角视野 ,而长焦距提供望远视;视场角(FOV),也叫视野范围,相机实际拍到区域的尺寸,主要与元件尺寸、相机和元件之间的工作距离、镜头的类型等有关,FOV=传感器尺寸/光学倍率;放大倍率(Magnification)又称光学放大倍数,像高和物高的大小之比,CCD/FOV,即芯片尺寸除以视野范围;景深表示聚焦清楚的范围,指的是物体在对焦清楚时,可移动的范围;镜头接口(Mount)是镜头与相机的连接方式,常用的包括 C、CS、F、V、 T2、Leica、M42x1、M75x0.75 等,C 接口是工业镜头常用的一种接口;靶面大小是感光元器件对角线尺寸;清晰度是分辨率和反差综合表现的结果,分辨率代表镜头记录物体细节的能力,分辨率越高的镜头成像越清晰;光圈数(F.No)F数值是光通过镜头量大小的表示。F数值愈小表示通过的光量多,F数值是焦距长和有效开口的比值,F.No=EFL/D,镜头的光圈大小决定图像的亮度,在拍摄高速运动物体、曝光时间很短的应用中,应该选用大光圈镜头,以提高图像亮度。
照明技术
亮视野和暗视野。亮视野就是直接接收反射光,暗视野则是接收散射光,暗视野则可以观察到物体的轮廓,把一些结构上的问题显现出来。曝光。曝光正常是指不过曝也不欠曝,过曝是指拍的画面很亮,欠曝是指拍的画面很暗。偏光技术、偏振片与偏振光。用于减少眩光或镜面反射,控制从有光泽的元件的镜面反射的量,光线经偏振片改变传播方向,镜头前的分析片配合使用。优点是可以使镜面反射和漫反射分开,缺点是由于偏振片,要求更高的光强度。
图像处理单元
图3 图像处理流程图
如图 3 所示,图像处理过程大致分为 4 个步骤:首先是拍摄,按下快门,拍摄图片;第二步是传送,将图像数据由照相机传送到控制器;第三步是处理,处理分为前处理,即为对图像数据进行加工,使其特征更加明显,测算处理,根据图像数据对于损伤、尺寸等进行测算;第四步是输出结果,将处理结果以信号的形式输出到相连的控制装置如PLC中。
以康耐视相机为例,图像处理的方法有图案匹配(PatMax)、直方图(Extract Histogram)、找边或片段(Find Line/Segment)、斑点(Extract Blobs)几种方式。PatMax图案工具用来训练图案特征,将图像与图案库进行对比,以便验证或者识别图像中特定的图案特征。该工具主要应用于确保在生产线上运行的产品的正确性,或者要辨别哪个产品在正确运行,并将该信息传达到其他车间设备。相机的接受阈值用于定义在模型图案和找到的图案之间必须存在的相似程度。PatMax 图案与像素格无关,其特征为表现图像中不同区域间分界线的轮廓以特征为基础的表现形式比以像素表现形式更快并更准确地被转换。PatMax 是有效的图案定位搜索技术,能够处理旋转及角度变化等内容,PatMax 也可以考虑或忽略额外特征。
采用直方图可以判断特征是否存在,是否有漏装,直方图搜索框内的明暗像素总数(像素就是图像的最小信息单元),打分代表搜索框内白点或黑点的个数,图5所示为相机直方图二值化变速箱油泵油封总成零件红圈内位置,该工位相机采用了直方图检测油泵油封总成零件件是否存在漏装,为防止 PATMAX 失效情况下的补充检测,采用二值化处理方式,当有油泵油封零件时为黑色,当没有油泵密封时此区域是纯白的(设置阈值为40,分值小于40视为油泵油封零件无漏装,检测合格;分值大于 40 则检测结果判断为油泵油封零件漏装,此处打分代表搜索框内白点的个数);找边函数用于搜索区域内的边特征;斑点工具用于查找一组灰阶值高(低)于规定阈值的像素组,该函数用于查找暗背景上的亮点。
图4 相机直方图二值化油泵油封特征
信息通讯单元
工业相机的常见接口类型主要有模拟接口、Cameralink、Usb2.0、1394a、1394b、CigE、Ethernet 等,目前汽车制造行业现场生产采用的相机主要采用以太网(Ethernet)通讯。
版权声明 :文章内容来源新工业网,部分素材搜集于网络,如有不妥请私信联系我们,以便及时更正。
服务热线
微信客服