跳转至

工业视觉100问:第61–70问

本文件收录 Q61–Q70,题号之间保留独立结构,便于统一阅读和后续维护。


第61问 视觉系统发生故障(如相机断开)时,如何通知 PLC 使产线安全停机?

视觉系统在自动化设备中常参与放行、剔除、取放引导、位置修正和尺寸判定。相机掉线、采集链路中断、视觉程序卡死,或算法失去有效输入时,设备便失去了对相应工位的可靠感知。产线继续运行,可能出现漏检、错剔、空抓、碰撞、在途工件错位等问题;存在人员或设备风险的场合,还可能演变为安全事故。

应当把视觉故障与产品 NG 分开处理。NG 是检测功能正常时得出的业务结果,表示当前工件不合格;视觉故障表示检测功能本身不再可信。若将“相机离线”仅作为一个 NG 信号处理,产线仍会在失明状态下按节拍运行,这不具备失效保护的意义。

61.1 接口、心跳与故障判据如何协同?

视觉系统向 PLC 报告状态时,通常分成两层。时间敏感的互锁层使用数字 I/O、继电器触点或安全回路,传递完成、故障、许可、联锁等少量离散状态;结果与诊断层使用 PROFINET、EtherNet/IP、Modbus TCP、TCP/UDP 或 RS-485,传递故障码、测量值、任务号、心跳计数和状态字。

只需判断视觉是否在线、当前检测是否完成、是否存在致命故障时,离散 I/O 直观且便于现场排查。坐标、角度、尺寸、缺陷类别和多级报警等信息较多时,网络通信更适合承载结构化数据。工程上常将两者并用:I/O 承担关键状态与互锁,工业网络承担结果和诊断信息。安全功能的实现仍应由风险评估确定,普通通信网络不能替代安全回路或安全 PLC。

心跳是视觉系统周期性输出的活动标识。它可以是周期翻转的位、递增计数器,或按固定周期更新的时间戳和序列号。PLC 无须了解视觉算法的内部过程,只需确认:在约定时间窗口内,是否收到一个新的、有效的状态变化。

翻转位实现简单,但 PLC 必须检查其是否按期翻转,不能只读取当前电平。计数器每次递增,更容易发现“旧值被重复写入”的情况。无论采用哪一种,监控逻辑都应以超时为判据:若规定窗口内没有出现新的变化,则置位视觉故障。静态位长期保持为高或低,都不能证明通信和程序仍在推进。

视觉系统故障到安全停机的联锁路径

图61-1 视觉系统故障到安全停机的联锁路径。

图中上方为健康运行时的结果路径:视觉系统输出状态字和检测结果,PLC 据此驱动后续互锁与执行器。下方故障路径处理心跳超时、状态字异常和通信丢失,并进入安全联锁。产品判定与设备功能失效需要走不同逻辑;停机类别、响应时间、执行器惯性和诊断覆盖率仍须依据设备风险评估及现场实测确定。

61.2 心跳与检测结果怎样共同决定停机动作?

不代表。心跳只能证明某个进程或线程仍在运行,不能证明图像采集、定位、测量、分类和结果发布这一整条链路正在正确推进。心跳线程与图像处理线程往往独立运行:处理线程可能因互斥锁死锁、驱动调用未返回或重复处理旧缓冲区而停滞,心跳线程却仍能按周期递增。此时 PLC 看到“程序运行中”,实际结果却已陈旧。

相机也可能返回冻结帧、撕裂帧、全黑帧或饱和帧。若软件没有识别输入异常,算法仍会在无效图像上运行并输出表面正常的 OK、NG 或坐标。仅依靠通信超时和心跳位,无法发现这类静默故障。

可增加三类互补检查:

  1. 图像新鲜度检查:计算当前帧与上一帧的差异,或比较轻量校验值。对于正常有运动、照明波动和传感器噪声的现场,连续多帧完全相同或差异极小,应被视为可疑输入。连续次数阈值须按工件运动方式设定;静止工位不能直接照搬该判据。
  2. 分阶段进度检查:采集、预处理、定位、测量、分类、结果发布等关键阶段各自更新完成计数或时间戳。若采集计数持续前进而测量计数停滞,可以定位到局部处理链路异常。
  3. 输出合理性检查:对近期 OK/NG 结果或测量值建立滑动窗口。长时间重复同一结果、测量值完全不变,或连续 100% OK、100% NG 超出该工艺的合理范围时,应报出软故障并触发进一步确认。

PLC 面向视觉系统的健康状态宜至少区分“进程存活”和“流水线推进”。前者由心跳或通信看门狗确认,后者由帧新鲜度、阶段计数和结果合理性共同确认。只有两类状态均有效时,检测结果才可用于放行、剔除或取放决策。

PLC 侧至少应设置四层检查。

  1. 通信活性检查:心跳位、计数器或时间戳是否按约定更新。
  2. 状态合法性检查:相机在线、程序运行、当前配方有效等状态是否满足要求。
  3. 结果时序检查:一次触发后,检测完成和结果有效信号是否在规定时间内返回,并且与当前工件或触发序号对应。
  4. 故障锁存与人工复位:故障发生后保持故障状态,避免通信短暂恢复即自动反复启停。

停机动作也应分级。存在人员伤害、碰撞或危险运动风险时,应将故障送入安全 PLC 或独立安全回路,按经验证的安全功能执行停机。没有直接人身危险、但可能造成批量错分的工位,可在完成当前闭环动作后受控停止输送或禁止下一循环。设计文件需要明确停哪一段设备、当前工位能否完成本周期、在途产品如何隔离,以及哪些状态必须由操作员确认;“检测到故障则停止”不足以形成可执行的逻辑。

61.3 硬件、恢复和诊断怎样形成闭环?

如果 PLC 仅通过软件报文得知视觉故障,视觉工控机、其电源或软件栈本身失效时,故障信息可能无法送达。可增加独立故障输出触点,并接入 PLC 数字输入或安全继电器;风险较高的设备还可将视觉在线状态、光源电源故障等关键状态纳入安全 PLC 的诊断逻辑。

还应检查供电和布线的单点故障。相机、交换机、工控机和 PLC 共用脆弱电源时,电压跌落可能使多个节点同时失联,既影响控制,也增加故障定位难度。将视觉侧供电、网络设备和控制侧供电分区,有利于诊断和维护。高速或高惯量设备必须计算断电后的实际残余运动,控制信号进入停机状态不等于机构已经停止。

视觉故障消失后不宜立即自动恢复生产。操作员应确认相机连接、光源、网络、软件、工件位置和治具状态已经恢复;随后在 HMI 上执行复位。PLC 再检查安全门、气压、伺服使能、急停回路、视觉在线状态和工位缓存,条件全部满足后才允许进入待机或重新启动。

停机前的在途产品尤其需要处理。故障发生时,设备中可能已积累多个半周期或完整周期的工件;未经隔离、清空或复检,旧工件可能被当作新工件再次检测。对于间歇性网线接触不良、交换机不稳定等问题,人工确认也可以避免设备在短时间内反复启停。恢复的判据应是系统重新具备可信检测能力,而不只是通信暂时恢复。

故障日志至少应包含时间戳、设备 ID、工位 ID、故障类型、故障前后心跳值、最后一个有效检测结果、当前配方或任务号,以及 PLC 实际采取的停机动作。若视觉侧能够区分相机枚举失败、曝光超时、算法超时、图像保存失败和磁盘空间不足,也应将这些字段映射到 HMI 或上位系统,而非只留下一个笼统的“视觉故障”。

日志的作用不仅是事后维修。相机断线、软件崩溃、相机掉电和检测超时对应的排查路径不同。只有一个通用报警位时,维护人员每次都要从头判断故障层级。已有 MES、SCADA 或设备健康平台的场景,可将诊断记录同步到上层,用于关联批次停机、网络抖动和班次差异。

61.4 现场部署时如何确定超时窗口?

故障检测窗口应高于最坏正常周期,而不能以平均周期作为阈值。平均值附近本来就会有大量正常波动,容易产生误停机。故障、完成和结果有效应使用不同信号,避免一个位同时表达多个含义。投产前应进行失效演练:拔掉相机网线、关闭视觉软件、断开光源、模拟交换机掉电、制造结果延迟和冻结帧,逐项确认 PLC 是否进入设计规定的停机路径。

涉及正式安全功能声明的设备,仍需依据相应功能安全标准和风险评估过程确认停机类别、响应时间和诊断覆盖率。视觉系统属于控制系统的一部分,但不能替代功能安全设计。

设心跳的平均周期约为 120 ms,已测得的最坏正常周期为 150 ms,周期抖动的标准差为 8 ms。作为说明性计算,可取:

\[ T_{\mathrm{timeout}}=T_{\mathrm{worst}}+3\sigma =150+3\times8=174\ \mathrm{ms} \]

其中,\(T_{\mathrm{timeout}}\) 为 PLC 的超时阈值,\(T_{\mathrm{worst}}\) 为现场观测到的最坏正常周期,\(\sigma\) 为周期抖动标准差。这个算例中的数值仅用于说明阈值选择方法,不可直接用于其他设备。

若阈值设在 120 ms 附近,正常的网络抖动、图像保存延迟和 PLC 扫描波动就可能频繁触发误停机。将阈值放在最坏正常周期之上并留出抖动余量,可降低误触发;代价是实际故障被识别的时间更长。最终阈值必须同时满足现场周期分布、允许停机延迟和风险评估要求。

故障检测超时窗口算例

图61-2 故障检测超时窗口的说明性算例。

图中将正常心跳周期的分布与候选超时阈值放在一起比较。阈值越接近平均周期,正常波动越容易被误判为故障;阈值提高后,误触发会减少,但故障响应时间随之增加。图中的周期和误触发率用于说明权衡关系,实际参数应以现场采样数据为准。

常见误区

  • 将视觉故障按普通 NG 处理,使产线在检测功能失效时继续运行。
  • 读取静态心跳电平,却没有检查其是否翻转或递增。
  • 心跳正常便认定图像与算法结果可信,忽略冻结帧和局部线程卡死。
  • 通信一恢复就自动重启,未处理在途产品和间歇性故障。
  • 只记录“视觉故障”一个通用报警,缺少相机、曝光、算法和缓存状态等诊断字段。

术语与符号表

  • 心跳:周期翻转、递增或更新时间戳的活动标识。
  • 看门狗:在预定时间内未观察到期望状态变化时置故障的监控逻辑。
  • 安全联锁:由安全继电器或安全 PLC 等实现的、可验证的停机条件。
  • 状态字:用多个位或字段承载相机在线、程序运行、配方有效等状态的数据单元。
  • 结果新鲜度:当前结果是否确实来自本次有效触发和新获取图像的属性。
  • 故障锁存:故障发生后保持故障状态,直至人工确认并完成复位。

延伸阅读

  • IEC 61508,《电气/电子/可编程电子安全相关系统的功能安全》。
  • ISO 13849-1,《机械安全 控制系统安全相关部件》。
  • ISO 12100,《机械安全 设计通则 风险评估与风险减小》。
  • PROFIBUS & PROFINET International,PROFIsafe 技术资料。

第62问 如何为视觉系统设计心跳信号,以监控其在线状态?

心跳用于监视视觉节点是否仍在线、主业务循环是否持续推进,以及通信是否仍在接收新状态。它是服务可用性监控的一部分,不能单独证明图像、算法结果或安全功能已经满足要求;这些内容还需要状态合法性、结果时序和设备风险控制共同保证。

62.1 心跳应表达什么状态?

心跳是视觉系统周期性发送的活动标识。PLC、上位主机或监控层不必了解算法此刻执行到哪一步,只需确认视觉节点在线、主循环仍在推进、通信链路仍有新数据。常用编码包括翻转位、递增计数器、时间戳或序列号;接收侧以规定时间窗口内是否出现新的有效变化作为判据。

视觉节点的失效可分为两类。相机掉电、交换机故障或连接器松动会使节点物理离线;软件死锁、采集线程阻塞或算法线程挂起时,进程可能仍存在,却已无法提供可靠检测服务。没有心跳时,PLC 只能从检测结果未按时到达推测异常,既难以区分正常节拍波动与故障,也会延迟处置。

62.2 心跳字段、协议和接收侧判定怎样设计?

最小设计只需一个会变化的活动字段。实际设备宜同时提供状态摘要:视觉系统处于运行、待机、故障、配方切换、相机离线,还是结果暂不可用。活动字段回答“是否有新更新”,状态摘要回答“该更新代表什么状态”;两者不能相互替代。

带宽允许时,可附加时间戳、软件版本、当前任务 ID、在线相机数量、队列积压和最近错误码。这些字段供工程人员在节拍异常或现场排故时快速定位问题,而非要求 PLC 在每个扫描周期执行复杂诊断。字段名称、数据类型、字节序、计数回绕和版本兼容规则都应固定;同一字段在不同版本中改变含义,会破坏长期维护性。

接收方为 PLC 时,优先采用既有设备稳定支持的工业协议或 I/O 映射。接收方为上位监控平台或边缘网关时,可采用 MQTT、TCP Socket 或 OPC UA,但必须定义断线、重连、重复消息和旧消息的处理方式。

心跳周期应由允许故障响应时间、PLC 扫描预算和实测抖动共同确定。高速分拣、飞拍定位可能采用 100 ms~500 ms 的周期;节拍较慢、只需分钟级在线监控的应用可放宽到 1 s 或数秒。这些数值只用于说明量级,不能直接作为项目推荐值。周期过短会增加通信负载并提高正常抖动下的误报警概率,周期过长又会推迟故障发现。

心跳翻转与 PLC 看门狗超时的关系

图62-1 心跳翻转与 PLC 看门狗超时的关系。

视觉系统每次输出新的翻转后,PLC 将看门狗计时复位;在规定窗口内未观察到新变化时,计时继续累加,超过阈值便进入离线或故障状态。静态电平不能证明节点在线。图用于解释心跳周期、看门狗复位和超时余量之间的关系;多节点仲裁、报文重传和冗余网络需要在具体系统中另行设计和验证。

视觉侧发布心跳时,应关联真实业务循环。可由主调度循环在关键检查完成后更新,也可要求采集、处理和发布等关键线程各自按期上报,只有全部满足条件才发布健康状态。让完全独立的定时线程持续翻转心跳,会掩盖采集或算法线程已经卡住的情况。

接收侧需同时检查:是否收到新报文;活动字段是否真正变化;状态字段是否处于允许范围。仅收到报文,不能排除设备重复发送旧包;计数器递增,也不能证明相机和处理链路仍有效。心跳应与图像新鲜度、结果时序和故障状态配合,形成服务可信度判断。

62.3 超时阈值如何计算和验证?

超时阈值可按下式估算:

\[ T_{\mathrm{timeout}} =N\,T_{\mathrm{heartbeat}} +T_{\mathrm{scan}} +T_{\mathrm{jitter}} +T_{\mathrm{margin}} \]

\(T_{\mathrm{heartbeat}}\) 为心跳周期,\(N\) 为允许连续遗漏的周期数,\(T_{\mathrm{scan}}\) 为 PLC 扫描和通信任务延迟,\(T_{\mathrm{jitter}}\) 为网络或软件调度抖动,\(T_{\mathrm{margin}}\) 为额外工程余量。阈值既要覆盖正常扫描和网络波动,也要满足设备需要的故障响应时间。

若心跳周期为 100 ms,允许遗漏 3 个周期,基础项为 300 ms。扫描与抖动合计预留 80 ms 时,阈值为 380 ms;预留 150 ms 时,阈值为 450 ms;若项目还需 50 ms 的附加工程余量,阈值可取 500 ms。这里所有数值均为说明性算例,必须以现场实测周期分布和风险要求复核。

取 \(T_{\mathrm{heartbeat}}=100\ \mathrm{ms}\)、\(N=3\)、\(T_{\mathrm{scan}}=30\ \mathrm{ms}\)、\(T_{\mathrm{jitter}}=50\ \mathrm{ms}\),且暂不增加额外余量:

\[ T_{\mathrm{timeout}}=3\times100+30+50=380\ \mathrm{ms} \]

若在 \(t=700\ \mathrm{ms}\) 后不再收到新翻转,看门狗从最后一次有效翻转起累计经过时间,并在约 \(t=982\ \mathrm{ms}\) 越过阈值。掉线开始时已经存在约 100 ms 的累计时间,因此越限相对最后一次翻转约为 282 ms,而非重新等待完整的 380 ms。快速、中速、慢速场景仅用于展示同一公式的尺度变化。

超时阈值组成与模拟心跳丢失的算例

图62-2 超时阈值组成与心跳丢失仿真。

左图比较心跳周期、遗漏次数、扫描开销、抖动和余量对阈值的贡献;右图展示每次收到翻转后看门狗复位、掉线后累计越限的过程。图中的快速、中速、慢速参数均为说明性输入,工程设定应以实际网络、PLC 扫描和故障响应要求为准。

62.4 状态约定、误判控制和可靠性验证如何完成?

协议应明确活动字段、整体健康状态、致命错误码和暂时忙但仍可使用的状态。多相机系统还需说明心跳按整机、相机、算法任务还是工位发布。忙与故障不同,配方切换也不一定需要停机;所有相机离线、检测结果无效和连续采集失败则不应被列为正常在线状态。

假在线来自心跳与实际业务循环脱钩;假离线多由阈值过紧、状态边界不清或正常抖动造成。前者通过关键线程共同参与健康判定减小,后者通过合理阈值、分层状态和短时间去抖减小。心跳报文应短小、稳定且易于解析;详细诊断信息可放入状态字或独立报文。

测试应覆盖相机网络物理断开、视觉主循环暂停、网络抖动、PLC 扫描拥塞、配方切换和软件热更新。每项测试都要确认视觉状态变化、PLC 超时报警、站内处置和恢复过程符合设计。交付文档应记录字段定义、周期、阈值、故障码和测试程序,供后续维护人员对照执行。

常见误区

  • 读取心跳位当前电平,未判断是否按期发生新变化。
  • 只用标称周期设置超时,未计入扫描、抖动和工程余量。
  • 心跳线程与采集、处理和结果发布完全脱钩。
  • 用一个标志混合表达故障、检测完成和结果有效。
  • 超时窗口贴近平均周期,正常波动便产生频繁报警。
  • 从未实际断网、暂停主循环或模拟交换机故障。

术语与符号表

  • 心跳:周期发送的活动标识,可为翻转位、递增计数器或时间戳。
  • 看门狗:收到有效心跳时复位、未收到新变化时累计时间的监控逻辑。
  • 假在线:心跳持续更新而实际检测功能已经失效的状态。
  • 假离线:系统正常工作却因阈值过紧或正常抖动被误判为故障的状态。
  • MQTT:轻量发布/订阅消息协议,常用于上位监控和边缘平台。
  • OPC UA:用于工业系统间结构化数据互操作的标准。

延伸阅读

  • IEC 61508 系列,功能安全相关概念。
  • OPC Foundation,《OPC Unified Architecture Specification》。
  • OASIS,《MQTT Version 5.0 Specification》。

第63问 什么是 MES?视觉系统应该向 MES 上传哪些数据?

63.1 MES 的职责边界与视觉数据的最小闭环是什么?

MES 是制造执行系统,处在企业资源计划系统(ERP)等计划管理系统与 PLC 等现场控制设备之间。它把工单、物料批次、工序执行、质量记录、人员和设备状态关联起来,使一件产品在生产过程中的经历能够被查询和追溯。

几类系统的职责要分开理解。PLC 处理触发、互锁、节拍和执行器动作;监视控制与数据采集系统(SCADA)侧重设备监控与操作显示;ERP 管理订单、计划和经营资源;MES 面向生产执行与质量追溯。视觉工位接入 MES 后,向上提供检测结论、缺陷证据、过程统计和设备状态;曝光、触发、定位和剔除仍留在视觉系统与现场控制回路内。

只要产品需要返工追踪、批次比较、良率统计或投诉调查,视觉结果就不能停留在工位电脑里。MES 的价值在于把这次检测与具体产品、工单和生产条件连成一条可复查的记录。

63.2 上传哪些数据,图像应怎样保存?

OK/NG 只能反映一次判定的结果,无法回答这次判定是对谁、在何种条件下作出的。一条可用于追溯的视觉记录至少应能对应到产品标识、检测时间、工位、配方或程序版本,以及判定依据。缺少这些信息,后续即使发现某一批次的 NG 率升高,也很难把问题关联到物料、设备、工艺参数或软件版本。

图像也不必全部写入 MES。许多项目在 MES 中保存记录主键、结果字段和图像索引,原图存放在工位服务器、网络附属存储(NAS)或对象存储。复核时由记录中的路径或唯一键定位图像实体。这样既保留证据链,也避免把 MES 数据库当作长期的大文件仓库。

视觉系统向 MES 上传数据的典型流程

图63-1 视觉系统向 MES 上传数据的典型流程。

图中“结果结构化”是视觉工位进入 MES 的关键一步:相机和算法先产生检测信息,再把它整理成可关联、可检索的记录。MES 接收质量结果、图像证据或路径、设备状态和报警,用于工单关联与追溯;它不参与视觉算法的逐帧计算,也不承担毫秒级控制。

字段应围绕“能否复原一次检测事件”来组织。以下四类信息通常构成基础记录。

字段类别 典型字段 用途
产品与工单关联 序列号、条码或二维码、工单号、批次号、设备 ID、工位 ID、班次 将结果绑定到实际产品和生产上下文
检测结果 检测时间、总判定、缺陷类别和数量、缺陷坐标、测量值、阈值或配方版本、分数 说明本次检测发现了什么、按什么条件判定
证据索引 原图路径、缩略图路径、感兴趣区域(ROI)裁剪图路径、标注层引用 支持复核、返工和投诉调查
设备与运行状态 相机在线状态、光源设定、程序版本、单件周期、故障码、班次产量 支持设备诊断与过程分析

项目初期可以先实现产品关联、结果和配方版本,再逐步补充证据与设备状态。字段是否上传取决于后续用途:若 MES 只做产量统计,需求较少;若还要做质量改进、故障分析和批次关联,记录必须保留足够的上下文。

全量原图实时写入 MES 通常会带来不必要的负担。原图体积大、读取频率低、保存周期长,适合存放在专门的文件服务器、NAS 或对象存储中;MES 保存检测记录和图像索引即可。每件产品都保留结构化记录,而缺陷图、低分图、返工图等证据按规则选择性保存,是更容易扩展的做法。

图片是否保留、保留哪一种以及保存多久,应由风险和用途决定。尺寸测量的争议件可能需要保留原图和测量叠加层;普通 OK 件可能只保留记录;强制追溯场景还应将图像路径、文件校验值和保留期限写入受控要求,避免记录存在而证据文件已失效。

以下参数只用于说明计算口径:单工位节拍为 3 s/件,每天运行 3 个 8 h 班次,有效运行率为 85%。每日检测数量为

\[ N_{\mathrm{day}}= \frac{3\times8\times3600\times0.85}{3} =24\,480\ \mathrm{件/日}。 \]

假定每条结构化记录有 26 个字段,每字段平均占用 24 B,则单条记录为 624 B,每日结构化记录量为

\[ D_{\mathrm{record}}= \frac{24\,480\times624}{1024^2} =14.57\ \mathrm{MiB/日}。 \]

再假定原图为 3 MiB/张,缺陷件占 2%,低分或返工件额外保存 1%,则全量上传原图约为 71.73 GiB/日;只为约 3% 的产品保存证据图像时,总量约为 2.15 GiB/日,约为全量方案的三十三分之一。这里的 MiB 和 GiB 按 1024 进位,所有输入都必须用现场节拍、图像压缩方式、保存比例和保留期限替换后重新核算。

全量原图上传与结构化记录加选择性证据图像的对比

图63-2 MES 日数据量的说明性估算。

左图比较全量原图上传与选择性证据上传的日数据量,量级差异主要来自原图;右图说明推荐方案中,结构化记录覆盖全部产品,证据图像只覆盖有保存价值的少数产品。图中的 24,480 件/日、3 MiB/张和 3% 保存比例均为说明性输入,不能据此直接确定网络带宽或存储采购容量。

63.3 接口时序、数据一致性和断线处理怎样设计?

视觉结果可经 PLC 汇总后由上层读取,也可由视觉工控机直接连接 MES、数据库或中间件。字段很少且工厂接口集中管理时,经 PLC 汇总便于维护;字段复杂、包含图像索引,或需要缓存、重发和状态查询时,视觉工控机直连上层系统更合适。无论采用哪种接口,PLC 都应保留在实时控制路径内。

现场动作与业务上传要使用不同的时限。OK/NG、测量值和剔除许可必须在当前工位周期内到达 PLC;追溯记录可以在动作完成后异步上送。若让 MES 的数据库响应决定相机采集、PLC 握手或剔除时序,上层系统的抖动会直接变成产线节拍风险。

每次检测应在工位侧生成唯一记录 ID,并让产品 ID、图像证据、测量值、配方版本和最终判定围绕该 ID 关联。条码属于本件产品而测量值写入上一件记录、图像路径未写入却已提交 OK/NG,都会造成表面上有数据、实际无法追溯的情况。

接口设计至少要明确三件事:记录何时创建;哪些字段在本地落盘后才允许进入上传队列;MES 如何处理重复提交。上传端应允许安全重试,MES 则按唯一记录 ID 做幂等处理,即重复收到同一 ID 时只保留一条有效记录。工位序号或记录 ID 的对账还能暴露未送达或缺失的记录。

对一般检测工位,MES 离线不应直接中断相机采集、算法计算、PLC 握手和剔除动作。视觉结果先写入本地持久化队列,例如嵌入式数据库、追加文件或磁盘持久化消息队列;独立上传任务在连接恢复后补发。队列必须能跨进程重启保存,内存中的临时缓存不足以承担追溯数据。

长时间中断时,队列容量和放行策略必须预先写入项目要求。建议在容量接近上限前报警,并明确优先保存 NG、返工和关键证据;普通 OK 记录能否汇总、何时隔离产品或停止放行,需要由产线的质量风险决定。药品、医疗器械、航空航天等强制追溯场景,无法确认记录写入时的处置规则应在验证文件和操作规程中确定。

连接恢复后,最危险的情况是半次写入后重试造成重复计数,或队列溢出造成记录缺口。唯一记录 ID 加幂等写入解决重复问题;按工位序号或 ID 序列对账用于发现缺失问题。没有这两项约束,“缓存后重发”仍不足以形成可靠追溯链。

63.4 数据进入 MES 后能支持什么应用?项目边界如何写?

基础应用包括良率统计、缺陷 Top-N、批次比较和返工追踪。将视觉记录与物料批次、设备维护、环境温湿度和班次信息关联后,可以判断某类缺陷是否集中在特定时间段、设备状态或物料批次。客户投诉处理同样依赖时间戳、产品标识和图像证据,用于区分问题更可能发生在制造、包装还是运输环节。

结构化的测量值和版本字段还可进入统计过程控制(SPC)、过程预警和模型再训练。前提是量测口径、配方版本和数据质量受控;仅有 OK/NG 的历史记录,无法补出当时的缺陷位置、测量值和成像证据。

视觉系统负责产生可信的检测数据和必要证据,PLC 负责实时工位动作,MES 负责生产执行、追溯和统计分析。职责边界明确后,接口设计也会清晰:控制信息先满足周期时间,业务信息再满足完整性与可追溯性;图像主体进入专用存储,MES 保存能够关联和检索它的记录。

常见误区

  • 只上传 OK/NG,缺少产品标识、工位、配方版本和判定依据。
  • 将所有原图直接写入 MES 数据库,没有区分记录、索引和图像实体。
  • 让 MES 的上传延迟阻塞相机采集、PLC 握手或剔除动作。
  • 未建立唯一记录 ID,网络重试后出现重复记录或错件关联。
  • 本地队列只放在内存中,或队列接近上限时没有报警与处置规则。
  • 在强制追溯产线中,未预先规定 MES 不可用时的隔离和放行策略。

术语与符号表

术语 含义
MES 制造执行系统,负责生产执行与质量追溯。
ERP 企业资源计划系统,面向订单、计划和经营资源。
SCADA 监视控制与数据采集系统,侧重监控和操作显示。
ROI 感兴趣区域;可作为缺陷或测量证据的局部图像。
NAS 网络附属存储,用于保存原图等大文件。
幂等上传 同一记录重复提交,系统仍只产生一条有效记录的接口特性。
背压 上层系统可连接但接收速度低于工位产生数据速度的状态。
持久化队列 数据写入磁盘等非易失介质后,进程重启仍可继续处理的本地队列。

延伸阅读

  • ISA-95(IEC/ISO 62264),企业系统与制造控制系统集成。
  • MESA International,MES 功能框架。
  • GAMP/ISPE 制造 IT 系统验证资料,适用于受监管追溯场景。

第64问 如何让视觉系统的时钟与工厂网络时钟保持同步?

64.1 同步需求、PTP 与 NTP 如何选择?

视觉系统与 PLC、机器人、编码器、其他相机或追溯系统协同工作后,时间成为多个设备对齐事件、判断先后、复盘事故和融合传感器数据的共同坐标。各设备没有共同时间基准时,问题有时不会立即报错,却会在数据关联时悄悄出错。

例如,工件依次经过条码读取、视觉检测、剔除和称重工位,如果每个工位都使用自己的时钟,事后很难证明哪条缺陷记录对应哪一个实物。两台相机从不同角度拍摄同一事件时,几毫秒的时间差就可能破坏多视角对应和轨迹重建。算法本身即使正确,底层时钟不一致也会使系统结果无法使用。

PTP(精确时间协议,IEEE 1588)常用于工厂网络中的高精度同步。它在主时钟与从时钟之间交换带时间戳的报文,估计网络路径延迟,再调整从时钟,使各设备接近同一参考时间。NTP(网络时间协议)解决的是服务器和工作站的通用系统时间对齐问题,常用于毫秒级日志对齐;协同曝光、运动关联等更紧的时间预算则通常需要 PTP 及与之匹配的设备和网络条件。

两者服务于不同精度层级。只要求各台设备的报表时间大致一致时,NTP 通常已经够用;如果要把曝光时刻、编码器位置和机器人动作对齐到严格时间预算,应采用 PTP。选协议前应先写清楚时间同步要服务的功能。

64.2 设备、网络和时间戳应满足哪些条件?

当任务需要严格的跨设备时基时,相关设备应支持 PTP,并优先采用硬件时间戳。硬件时间戳在网卡的 MAC(介质访问控制)层或 PHY(物理层)记录同步报文时间,能避开操作系统调度、中断延迟和软件队列带来的主要不确定性。PTP 支持、硬件时间戳启用状态与当前网络下的实际偏差,应分别确认;只做一般日志对齐的设备不必强行采用 PTP。

设备的本地振荡器也要足够稳定。两次同步报文之间,时钟仍会依靠本地振荡器运行;振荡器越不稳定,间隔内的漂移越大。视觉软件还需把同步时间绑定到曝光事件,或写入图像元数据。若图像仍使用处理完成时间,网络同步的价值无法传递到实际分析的数据上。

软件时间戳受主机负载和驱动路径影响较大;硬件时间戳能显著降低这种抖动,并为亚微秒级同步提供基础。最终精度仍取决于相机、网卡、交换机、PTP 配置和现场网络,必须以设备手册和实测偏差为准。许多 GigE Vision 相机通过 GenICam 特征 GevIEEE1588Enable 提供 IEEE 1588 的启用入口。

视觉网络中的 PTP 主从同步层级

图64-1 视觉网络中的 PTP 主从同步层级。

图 64-1 从上到下表示 PTP 大师时钟、网络设备与控制器、相机和曝光时刻锁存之间的时间参考关系。箭头表示同步关系和时间参考的传播方向,不表示普通业务数据流。阅读这张图时,应同时检查设备是否支持硬件时间戳、交换机承担哪一种 PTP 角色、链路延迟是否近似对称,以及应用程序是否把同步时间真正写入曝光或图像元数据。

PTP 报文在交换机中的驻留时间、不同方向链路的延迟差以及网络拥塞产生的排队抖动,都会影响协议对路径延迟的估计。支持透明时钟或边界时钟的工业交换机,就是为了测量或补偿这类影响而设计的。

如果中间网络设备不能正确处理 PTP,或者同步报文长期排在大量普通业务流量之后,即使相机和控制器都支持硬件时间戳,同步质量也会下降。因此选型时还要确认交换机角色、网络路径稳定性和报文优先级配置。

64.3 如何验证同步有效,并发现运行中的退化?

多数检测和追溯任务关注曝光事件发生的时间,而非图像文件写入磁盘的时间。绑定到曝光开始、曝光结束或传感器锁存时刻的时间戳,才适合与编码器位置、机器人姿态或另一工位事件进行工程关联。

不同设备绑定的事件点可能不同:有的记录帧开始,有的记录曝光结束,有的区分传感器锁存和数据输出。必须查阅设备手册确认定义,不能把“图像带时间戳”理解为任意时间点都等价。

验证不能停留在软件界面显示“PTP Locked”或“已同步”。应读取设备报告的偏差、路径延迟和时钟状态;用示波器比较 1PPS(每秒一个脉冲)输出与主参考脉冲;让多台相机同时触发并比较图像时间戳分布;还要对同一物理事件在不同设备上的记录时间进行交叉核对。

对于追溯系统,还应检查数据库中的时间戳是否与设备日志一致。网络层同步正常时,应用层仍可能使用本地时间或错误时区,导致导出的记录无法对齐。验证范围应一直延伸到最终数据消费者。

调试程序显示“已锁定”并不能证明实际结果仍然正确。从时钟失去主时钟联系,或依据错误的偏差估计进行校正时,状态字段可能在实际同步已退化后仍显示正常。更可靠的方法是设置一个同步机制没有参与产生的共同物理事件,让两个节点独立记录它的时间,再比较两者的差值。例如使用可见频闪、共享硬件触发沿,或让相机和 PLC 时间戳 I/O 事件同时观察同一瞬间。

如果系统要求两个节点的偏差小于规定预算,那么同一事件的两个时间戳就应落在该预算内。这个方法可以重复运行,成为产线健康检查,而非只在调试阶段做一次。

以下现象应引起怀疑:多相机拼接结果的空间错位随班次逐渐增大;MES 事件日志中同一物理事件的视觉时间和 PLC 时间偶尔出现不合逻辑的先后关系;本应同时发生的事件在追溯记录中出现超过同步预算的时间差。单个现象也可能来自机械位移、日志链路或标定问题,但若现象逐渐加重,应先进行独立的同步检查。

怀疑漂移后,先检查大师时钟是否从全球定位系统(GPS)等高质量参考源切换到内部振荡器或备用 NTP 源;再检查主从方向的路径延迟是否对称,尤其是交换机、光纤、VLAN 或布线发生变化后;最后用共同事件检查多个节点,判断是单台设备异常,还是大师时钟和共享网络基础设施的系统性问题。

64.4 故障排查和项目验收要求怎样写?

可以按层排查。物理层包括网线松动、光模块问题和铜链路协商不稳定;网络层包括 VLAN(虚拟局域网)、QoS(服务质量)、ACL(访问控制列表)或防火墙规则错误;协议层包括主从角色、域号和 PTP 配置文件不匹配;设备层包括网卡不支持硬件时间戳、相机只是名义上支持 PTP,或软件没有把同步时间写入图像元数据。

同步故障应按网络、设备配置和应用时间戳分层定位。先确定故障所在层,能避免无关的算法参数调整。

要求至少应明确三件事:哪些设备彼此同步、需要达到什么精度、该精度服务于什么功能。例如,多相机同步采集可要求设备间偏差小于 1 μs;MES 追溯日志可要求各工位达到毫秒级一致;编码器位置与曝光事件关联时,应明确时间戳绑定曝光结束时刻。

功能目标明确后,设备选择、交换机配置和验收方法才能对应起来。验收指标应落到设备间偏差、事件绑定点和可复现的测试方法,不能只写协议名称。

本题使用两个精度预算:多相机同步采集的设备间偏差小于 1 μs,MES/追溯日志达到毫秒级一致。假设未校正振荡器的漂移率为 50 ppm(百万分之一),这个数值只用于说明计算方法。

时钟误差可近似写成

\[ e(t)=r t, \]

其中,\(r=50\times10^{-6}\ \mathrm{s/s}\) 为漂移率,\(t\) 为经过的时间。超过 1 μs 预算只需要

\[ t_{1\,\mu\mathrm{s}}=\frac{1\times10^{-6}}{50\times10^{-6}}=0.020\ \mathrm{s}=20\ \mathrm{ms}; \]

超过 1 ms 的 MES 预算需要 20 s。若一个 8 h 班次内没有校正,累计误差为

\[ e(8\,\mathrm{h})=50\times10^{-6}\times8\times3600=1.440\ \mathrm{s}。 \]

若把 PTP 简化为每隔 1 s 进行一次相位复位,两次同步报文之间的峰值漂移约为 50 μs,仍会超过 1 μs 的多相机预算。实际 PTP 通过伺服机制持续校正本地振荡器频率,说明性模型以约 0.31 μs 的残余峰值表示这种持续校正的效果;该残余值是模型输入,不能视为所有设备的保证值。

未同步时钟漂移与精度预算以及 NTP 周期校正和 PTP 持续校正的比较

图64-2 未同步时钟漂移与同步精度预算的说明性算例。

图 64-2 的上方面板表示 50 ppm 漂移率在 8 h 内累积的时间误差;下方面板比较周期轮询和持续伺服对误差的限制。20 ms、20 s 和 1.440 s 来自上述公式,50 μs 是把 PTP 简化成 1 s 周期相位复位时的反例,约 0.31 μs 是示例模型给出的持续伺服残余值。图中的 50 ppm、轮询周期和残余值都是说明性输入,不能当作具体相机、网卡或交换机的性能承诺。

一条可验收的同步要求应写清四项:同步对象、允许偏差、时间戳绑定的事件点、验证方法。设备选型、交换机配置和应用程序实现都应围绕这四项展开。协议状态只能说明同步机制的内部状态;最终验收仍应检查共同事件和写入追溯系统的时间记录。

常见误区

  • 把“启用 PTP”等同于支持硬件时间戳和亚微秒同步。
  • 网络完成同步,却让软件在图像写盘或处理完成时才打时间戳。
  • 只检查相机和控制器,忽略中间交换机和拥塞。
  • 假定所有相机记录的是同一个事件点。
  • 把“Locked”状态当成整条数据链路正确的证明。
  • 只写“保持时钟同步”,不按多相机、编码器关联和 MES 追溯分别规定预算。

术语与符号表

  • PTP:精确时间协议,IEEE 1588。
  • NTP:网络时间协议,通常用于毫秒级系统时间同步。
  • 大师时钟:PTP 层级中的顶层参考时钟。
  • 边界时钟:先与上级时钟同步,再为下级端口提供主时钟的 PTP 网络设备。
  • 透明时钟:测量同步报文在自身内部驻留时间并进行补偿的 PTP 网络设备。
  • 硬件时间戳:在网卡 MAC 或 PHY 层记录时间,减少操作系统调度和软件排队造成的延迟不确定性。
  • 1PPS:每秒一个脉冲,可作为独立的电气参考来交叉检查同步结果。
  • PTP 域/配置文件:决定哪些设备参与同一逻辑同步域及其运行参数。
  • GevIEEE1588Enable:GigE Vision 相机中用于启用 IEEE 1588 支持的 GenICam 寄存器。
  • 共同事件交叉检查:让多个节点独立记录同一明确物理事件,再直接比较时间戳的现场诊断方法。
  • 大师时钟故障切换:参考源丢失后自动转向质量较低备用源的过程。
  • 路径不对称:主从两个方向的网络延迟不同,会给 PTP 的延迟估计引入偏差。

延伸阅读

  • IEEE 1588,网络测量与控制系统精确时钟同步协议。
  • GigE Vision 标准及 AIA 文档,包含 GenICam IEEE 1588 时间戳功能。
  • 工业以太网时间同步相关技术资料。
  • EtherCAT 分布式时钟资料,可作为 PTP/NTP 之外的对照参考。

第65问 为什么信号线和电源线要分开敷设?如果无法避免交叉,应怎样处理?

65.1 干扰从哪里来,哪些信号最敏感?

两类电缆传输的物理量不同,对电气干扰的容忍度也不同。电源线为电机、伺服驱动器、变频器(VFD)和加热器提供大电流以及快速开关能量,开关过程具有较高的 dv/dt 和 di/dt,会在周围空间产生明显电磁场。信号线传输传感器读数、编码器脉冲、触发沿、总线数据和视觉通信,对电压毛刺、共模噪声和参考地波动更敏感。

两类电缆长距离平行敷设时,电源线的电场和磁场会通过分布电容、互感以及共模回路耦合到信号线上。表现可能是模拟量漂移、脉冲计数丢失、串口数据乱码、网络链路抖动、相机误触发或偶发的人机界面报警。许多现场故障表现为随机、难复现的噪声问题,线缆布局常常为干扰进入信号链提供了路径。

视觉系统中,围绕采集过程的同步和控制信号最容易受影响:相机触发线、频闪光源控制线、编码器脉冲线、串口配置线和未隔离 I/O。触发沿受污染可能造成提前曝光、延迟曝光或一次触发两次采集;频闪控制信号受干扰会造成帧亮度不稳定;编码器脉冲受到干扰则会直接破坏线扫同步和像素—位置映射。

千兆以太网和 USB 3.0(通用串行总线 3.0)采用差分高速传输,比普通单端导线更耐噪声,但不应因此与变频器输出线捆扎。共模干扰足够大,或屏蔽层接地不当时,链路仍会出现丢包、重传和间歇性断开。

电源线与信号线长距离平行敷设和 90 度短距离交叉的对比

图65-1 电源线与信号线的长距离平行敷设和 90°短距离交叉。

图 65-1 左侧表示电源线与信号线长距离平行,右侧表示尽量短的 90°交叉。共同平行长度决定主要工程风险:平行段越长,电容耦合和电感耦合的作用距离越大。图中不提供适用于所有系统的固定安全距离,实际间距仍要结合电源电缆类型、信号敏感度、驱动器开关频率和柜内空间确定。

下面的模型用于把长距离平行的耦合风险量化。μ₀ 是真实物理常数;电流变化率、导体间距、敷设长度和分离距离均为说明性输入,并非某条产线的实测值。两根电源导体分别代表去线和回线,旁边有一根信号导体。

互感近似为

\[ M=\frac{\mu_0}{2\pi}L\ln\left(\frac{r_2}{r_1}\right), \]

其中 L 是共同作用长度,r₁=s-a/2、r₂=s+a/2,s 是信号导体到电源回路中心的距离,a 是电源去线与回线的间距,并要求 s>a/2。感应电压为

\[ V_{\mathrm{ind}}=M\frac{\mathrm{d}i}{\mathrm{d}t}。 \]

以 a=6 mm、di/dt=2×10⁷ A/s 为说明性输入,5 m 平行段、间距 5 cm 的感应电压约为 2402.9 mV;5 cm 有效长度、间距 10 cm 的 90°短交叉约为 12.0 mV,前者约为后者的 200 倍。这是理想化模型,未计入屏蔽、绞合、回流路径衰减等因素,不能替代现场测量。

说明性电感耦合模型:感应噪声电压随平行长度和分离距离的变化

图65-2 说明性电感耦合模型:感应噪声电压与平行长度、分离距离的关系。

图 65-2 的左侧趋势表示在间距固定时,平行长度增加会使感应噪声近似增加;右侧趋势表示分离距离增加后,感应电压连续下降,不存在脱离系统条件的固定“安全距离”阈值。图中 200 倍的比较来自上述单一模型,只用于建立量级直觉,不能当作实际电缆组合的验收值。

65.2 分开敷设、交叉、屏蔽和接地怎样配合?

分开敷设应落实到线槽、桥架、金属隔板和机柜分区。电源线与控制、通信线宜使用不同线槽或桥架,并对柜内区域分区;必须共柜时,应在空间允许范围内尽量拉开距离,避免长距离平行。

不存在适合所有系统的统一间距。低压 I/O、4–20 mA 模拟线、千兆以太网、编码器线和伺服动力线的抗扰度不同。间距要求应由干扰源强度、信号敏感度和共同平行长度共同决定,不能只记一个“30 cm”之类的经验数字。

90°交叉可以缩短两类电缆实际靠近的有效长度。电容耦合和电感耦合都与相对方向及共同敷设长度有关;垂直交叉时,两条线只在很小区域内接近,耦合面积和等效互感随之降低。小角度交叉虽只出现一次交点,仍可能形成较长的近似平行段。

因此,应尽量接近 90°,并让交叉段尽可能短。空间允许时,可以在交叉处加金属隔板、独立金属管或额外屏蔽层,进一步降低残余耦合。

屏蔽和接地是必要的辅助措施,但不能弥补根本错误的敷设布局。高干扰电源线与敏感信号线长距离捆扎后再补屏蔽,效果通常有限;屏蔽层接地不当还可能形成新的共模回路。

低频模拟信号和普通 I/O 常采用控制柜单点接地,避免地环流叠加到信号参考上。高速数字和视觉通信电缆的屏蔽层通常需要在连接器处建立完整的高频接地,以保持屏蔽连续性。接地的目的,是为干扰电流提供受控回路,避免它穿过敏感信号参考路径。

65.3 布线完成或故障出现后怎样验证?

验证应覆盖最坏的真实干扰条件。让变频器、大功率伺服和电磁阀按正常高负荷节奏工作,同时记录触发计数、相机丢帧率、网络错误率、编码器脉冲丢失和图像亮度稳定性;关键模拟通道还应同步记录静态与动态噪声。

有条件时,用示波器观察触发线的毛刺、过冲和边沿塌陷,通常比只看 PLC 数据点更直接。许多“偶尔坏帧”只在驱动器高干扰动作时出现,动态测试才能暴露这类问题。

应先确认电磁干扰(EMI)耦合,再决定是否停机、拆柜和重新布线。最有诊断价值的现象有三类:故障时间与变频器加减速、电磁阀动作、焊机起弧或接触器吸合相对应;临时把可疑信号线移离动力线后故障率下降;故障只集中在靠近动力线的某几段,而同机其他相同信号线正常。

成本最低的验证是分离试验:在相同负载条件下临时移开或屏蔽可疑线缆,比较前后故障率。需要更直接的证据时,用示波器观察触发、频闪或通信线上的噪声脉冲,并与附近设备的开关时刻对齐。通信链路的循环冗余校验(CRC)错误、重传和丢帧计数也可以与设备动作时间一起记录。

接地和等电位连接故障可能呈现相似症状,应同时排除:检查信号参考是否多点接地形成地环路,检查屏蔽层是否在低频模拟或普通 I/O 场景下两端接地,以及检查维护改造后是否新增了第二个参考地。故障若随特定线缆的物理距离变化并在临时分离后改善,更接近布线耦合;若随全厂地电位或负载电流变化,且分离无效,则应优先查接地。

规范应明确:哪条线槽承载动力线、哪条承载信号线;相机网线、触发线、频闪线和编码器线分别采用什么电缆;是否需要屏蔽以及屏蔽层在哪里接地;相对于变频器输出线的最小平行长度或隔离方式;无法避免交叉时的角度和物理隔离结构。只有把这些内容写成可检查的设计条件,布线规则才可用于施工、验收和故障追责。

常见误区

  • 以“没有直接接触”为满足条件,忽略数米平行段仍可能强耦合。
  • 以小角度交叉代替接近 90°的短交叉。
  • 先长距离捆扎,出问题后只补屏蔽而不调整布局。
  • 只在空载或轻载状态验证,不测试变频器、伺服和电磁阀高负荷动作。
  • 认为差分高速链路完全不受干扰。
  • 为所有电缆类型套用一个固定间距数字。

术语与符号表

  • EMI:电磁干扰。
  • 串扰:相邻电缆或通道通过电容或互感耦合产生的干扰。
  • 共模噪声:信号对相对于地同时出现的噪声。
  • 屏蔽双绞线(STP):结合导体绞合与外部屏蔽层的电缆结构。
  • 地环路:多个接地点之间存在电位差并形成非预期电流路径。
  • 互感 M:一个回路的电流变化在另一回路产生感应电压的耦合量。
  • dv/dt、di/dt:电压、电流随时间的变化率。
  • 单点接地:各参考连接回到同一公共点的接地方式。
  • 分离试验:临时移开或屏蔽可疑信号线,并比较故障率的现场诊断方法。
  • 错误计数器:通信驱动器或交换机提供的 CRC 错误、重传和丢帧等统计量。

延伸阅读

  • Henry W. Ott,《电磁兼容工程》,Wiley,2009。
  • IEC 61000-5-2,《电磁兼容:安装与抑制指南——布线与接地》。
  • Mark Montrose,《EMC 与印制电路板:设计、理论与布局》。
  • NEMA/ODVA 及 PLC 厂商的现场布线指南。

第66问 车间环境光变化(早晚阳光、附近设备闪光)会怎样影响视觉系统?有哪些缓解策略?

66.1 环境光通过什么机制影响成像?

工业视觉通常隐含一个前提:同一种产品反复出现时,成像条件大致相同。车间环境光会直接破坏这个前提。早晚阳光角度变化、天窗漏光、附近设备闪光以及人员经过产生的瞬时阴影,都会改变同一产品在不同帧中的亮度、对比度、反射形状和颜色分布。依赖灰度阈值、边缘清晰度、颜色分离或纹理稳定性的检测任务,就可能出现误检、漏检或位置漂移。

环境光很少均匀地使整幅图变亮或变暗,它更常表现为方向性高光、局部阴影、背景渐变和局部饱和。实验台上稳定的算法不代表在产线仍然稳定;很多现场问题来自成像条件已经偏离调试和验证时的基线。

最直接的机制是曝光和对比度变化。环境光突然增强时,金属反光、覆膜标签和玻璃边缘容易局部过曝,算法需要的细节被压平;环境光降低时,暗部噪声增加,依赖微弱灰度差的边缘变得不稳定。阴影形状和镜面反射也会变化:阴影可能制造假轮廓,高光可能掩盖真实缺陷。

第三种机制是颜色和白平衡漂移。日光、冷白 LED 和暖色灯的光谱分布不同,同一表面会产生不同颜色响应,颜色分拣、胶水识别和印刷检查尤其容易受影响。第四种机制是纹理可见性变化。划痕、凹坑、折痕和压印往往只在特定入射角和反射方向下可见,环境光方向一变,原本明显的缺陷可能从图像中消失。

66.2 硬件控制和主动光占比如何评估?

应先在图像进入相机前抑制环境光。最常见的做法是在工位建立稳定且占主导地位的主动光,使目标区域受到方向、强度和光谱都可控的照明。环形光、同轴光、低角度光和背光的设计,常常比后端增加算法复杂度更能决定检测是否稳定。

在此基础上,可用遮光罩、封闭工位或局部光学腔体把外部光隔离出去。主动光具有明确波长时,可配合窄带滤光片,只让目标波段进入镜头;面对高反光材料时,偏振片可以削弱随机反射和眩光,使材料本身的纹理更稳定地进入图像。

环境光干扰的分层处理路径

图66-1 环境光干扰的分层处理路径。

图 66-1 将环境光问题分为外部干扰、硬件隔离、光学滤波和算法补偿等层级,右侧的鲁棒特征与数据增强用于在成像稳定后继续提高容错。阅读时应注意处理顺序:先让主动光和结构遮光控制主要光路,再用滤波削弱频谱或偏振方向不匹配的光,最后处理剩余变化。滤光片带宽、光源照度和遮光结构仍需按具体工位验证。

下面用一个透明的说明性光度模型,把主动光占主导时的效果量化。设传感器接收信号为主动光分量与环境光分量之和:

\[ S_{\mathrm{total}}=S_{\mathrm{active}}+S_{\mathrm{ambient}}。 \]

定义主动光占主导比为

\[ D=\frac{S_{\mathrm{active}}}{S_{\mathrm{ambient,nominal}}}。 \]

若环境亮度相对变化为 δ_ambient,加入稳定的主动光后,总信号的相对变化近似为 δ_ambient/(1+D)。再假设预处理独立消除剩余变化的一部分,用于比较光学控制和算法补偿的层级差异。以下参数都是说明性输入:环境光变化 40%,预处理额外消除剩余变化的 50%,主动光占主导比 D=8。

模型输出为:无主动光时变化 40.0%;仅预处理时 20.0%;主动光 D=8 且不预处理时 4.44%;主动光加预处理时 2.22%。因此主动光占主导本身使示例变化量下降约 89%,而无主动光时单独预处理只下降 50%。预处理叠加后还能继续降低残差,但主要收益已由硬件和光学控制获得。该模型不代表实际工位的测量值。

说明性主动光占主导比与预处理对环境光变化的影响

图66-2 不同缓解层级下的说明性剩余亮度变化。

图 66-2 用同一组说明性输入比较无主动光、仅预处理、主动光占主导和两者叠加四种情况。曲线表达的是相对变化量随主动光占主导比增加而下降的关系,不能被解读成某个相机或光源的实测响应。它适合用来理解硬件控制对环境变化的稀释作用,以及算法补偿在此基础上的增量作用。

可用照度计或具有已知光谱响应的校准光电二极管测量。先关闭主动光,在目标表面或实际检测平面记录环境光照度 E_ambient;再保持环境条件不变,打开主动光,在同一点、同一方向记录总照度 E_total。由于两部分照度相加,主动光照度为 E_active=E_total-E_ambient,占主导比为 D=E_active/E_ambient。

应在视野内多个位置测量,因为环形光、同轴光和低角度光很少完全均匀。中心处 D 较高、边缘处较低时,系统的环境光鲁棒性由视野内最差位置决定,平均值不能代表边缘风险。

D 存在上限。提高主动光功率会增加光源成本和热负荷,并提高金属或高反光表面出现镜面高光过曝的风险。漫反射表面可能因光源变亮而得到更强信号,镜面区域却可能先饱和并污染周围像素。相同工位上的哑光黑件和抛光不锈钢件能承受的光功率不同,D 应按预计最反光的产品变体验证。

窄带滤光片和偏振片也会损失光通量。滤光片会舍弃通带之外的光,偏振片会降低透射强度;交叉偏振为了抑制眩光,损失可能更大。损失的光需要用更长曝光时间、更高增益或更强主动光补回来,而这三种补偿分别带来运动模糊、噪声放大和高光过曝风险。因此光学抑制措施必须与曝光、增益和光源占空比一起设计,不能只按原理选件。

66.3 预处理、算法和现场措施怎样组合?

硬件仍无法完全消除环境光时,可使用对渐变照明更耐受的预处理。顶帽变换、局部阈值、自适应背景扣除和归一化灰度校正,对许多传统视觉任务仍然有效;它们计算量小、结果可解释,便于验证。

颜色任务可优先使用 CIELAB(CIE 1976 Lab*)、HSV(色相、饱和度、明度)或归一化色度坐标,避免直接对原始 RGB(红、绿、蓝)通道设置固定阈值。边缘和轮廓任务可更多依靠梯度、结构特征和局部纹理统计。深度学习系统的光照鲁棒性应通过亮度、对比度、阴影和颜色漂移增强获得验证。

这一层的目标,是让最终判定更多依赖不容易随光照变化的特征。传统方法可优先使用边缘形状、相对几何关系、局部纹理统计和归一化对比度;深度学习方法则应让训练数据覆盖真实产线的光照范围,避免模型只记住某一固定照明下的外观细节。

算法鲁棒性不能替代主动光和遮光设计。当环境变化把目标信号压到接近噪声底时,算法无法可靠恢复传感器从未捕获的物理信息。硬件稳定成像,算法处理残余变化,通常更容易获得可验证的系统。

触发时序也是一个可调参数。可以把曝光安排在环境干扰最小的时间窗,或者采用短曝光配合高功率频闪,使主动光在很短时间内占据主导。统一墙面和背景颜色、避免视野中出现裸露的镜面不锈钢、让无关指示灯离开镜头直视方向,也能减少场景中的寄生反射。

变化源有时不在工件,而在镜头前的保护玻璃、光源罩或防尘窗。若系统随运行时间逐步退化,应先检查成像链前端是否污染,再决定是否调整算法阈值。

66.4 怎样验证策略有效,并形成工程结论?

评估不能停在几张观感更好的图像上。应跨不同班次、天气和设备运行状态持续采样,比较误拒率、误受率、位置抖动和关键 ROI(感兴趣区域)的灰度分布稳定性。若方案只在白班稳定、夜班退化,说明它仍受另一类环境变量制约。

对长期运行工位,应保留标准样品和标准拍摄条件,定期检查光源照度、相机曝光、灰度直方图和关键 ROI 对比度,以便尽早发现成像链或产品本身的慢性漂移。

可靠的方案应让主动光在物理上占主导,再由算法吸收剩余变化。若把处理顺序倒置,项目容易陷入反复调阈值、昼夜班表现不一致以及批次变化后重新调试的循环。环境光变化应从成像链开始处理,再评估算法的补偿范围。

常见误区

  • 只在一种光照下调阈值并立即定版。
  • 用算法补偿替代主动光和遮光设计。
  • 忽略保护玻璃或光源罩污染,把慢性退化误判为算法问题。
  • 对颜色任务直接使用固定 RGB 阈值。
  • 不测量真实透过率和照度就加入窄带滤光片或偏振片。
  • 认为深度学习模型会自动获得光照不变性。

术语与符号表

  • CIELAB:将明度与两个色度轴分开的感知型颜色空间。
  • HSV:把色相、饱和度和明度分开的颜色空间。
  • 顶帽变换:提取相对于局部背景的亮结构或暗结构的形态学操作。
  • 自适应阈值:按空间位置计算局部阈值的分割方法。
  • 主动光占主导:让受控主动光对传感器信号的贡献相对环境光足够大的设计原则。
  • 窄带滤光片:只透过有限波长范围、通常与主动光谱匹配的光学滤光片。
  • 偏振片:只透过特定偏振状态光线、常用于抑制镜面眩光的光学元件。
  • 照度计:测量单位面积入射光照度的仪器,可用于测量环境光和总光并计算 D。
  • 镜面过曝/眩光:由光滑表面强镜面反射导致的局部传感器饱和。

延伸阅读

  • Forsyth、Ponce,《计算机视觉:一种现代方法》第二版。
  • Steger、Ulrich、Wiedemann,《机器视觉算法与应用》第二版。
  • Hunt、Pointer,《颜色测量》第四版。

第67问 普通生产中的颜色、纹理和位置出现小幅正常波动时,视觉系统应该怎样处理?

67.1 正常波动的来源和判定边界是什么?

小幅正常波动是任何真实制造过程都会产生的统计噪声。原料批次、温湿度、模具或刀具磨损、夹具和输送机构的机械间隙、人工上料习惯以及表面处理细节,都会让产品的颜色、纹理和位置偏离理想参考,即使产品仍完全符合规格。批量生产中这类波动始终存在,视觉系统应为合格件保留合理的变化范围。

困难在于划定正常波动与真实缺陷之间的边界。阈值过紧会把正常范围较宽的合格件判为不良;阈值过松又会让真实缺陷伪装成正常变化。这个边界定义得是否合理,是判断视觉方案成熟度的重要依据。

颜色受材料成分、染料或颜料比例、加工温度曲线和照明影响,即使合格件也可能在不同批次出现可测差异。纹理与工艺的机械和材料状态密切相关,注塑流痕、压纹、喷涂液滴大小和金属拉丝方向都会在正常范围内轻微变化。位置则会受到上料姿态、夹具重复定位、输送带摆动和热膨胀影响,产生小幅平移和旋转。

这三类量都可能代表正常工艺,也可能是缺陷的早期征兆。只看单个像素或单个坐标而没有更广的上下文,系统无法可靠判断偏差仍在可接受包络内,还是已经越过工艺窗口。

67.2 算法和统计过程控制怎样管理波动?

位置变化通常先做姿态跟踪:在缺陷判定前,利用模板匹配、特征点、边缘基准或 Mark 点定位产品当前的平移和旋转,再让后续 ROI、测量坐标系和缺陷搜索区域随产品坐标更新。定位基准的数量与校正自由度要对应:一个可靠基准只能约束平移;两个不重合基准可同时解出平移和旋转;仿射变换还会引入缩放和剪切,只有产品姿态或成像关系确有这类变化时才应使用。这样能把装夹位置造成的图像差异从后续缺陷判断中剥离出来。

纹理变化需要使用能够容纳正常波动的特征空间。重复纹理可用统计纹理描述子或异常检测方法学习正常纹理边界;几何明确的产品可更多观察边缘、表面起伏方向和结构一致性。单张黄金样本不能承担全部参考作用,逐像素强制匹配会显著增加误拒。

正常波动的定位、容差带和 SPC 管理

图67-1 正常生产波动的定位、容差带和 SPC 管理。

图 67-1 中的三条支路分别处理几何位置、单件判定和时间趋势,并共同进入过程调整。定位校正解决的是测量坐标不稳定,容差带给出单件放行边界,SPC 则观察边界内外的时间序列是否出现非随机变化。过程调整应以趋势、批次和设备关联等证据为依据;图中反馈并不表示每一次单件超限都直接反向调设备。

SPC 将“今天看起来有点不同”转化为可量化的统计判断。视觉系统只要能持续输出颜色值、位置偏差、面积、宽度或纹理分数等稳定指标,就可以把这些指标送入控制图,判断过程是否仍处于正常随机波动范围。持续监测可以在明显缺陷大量出现前,发现过程向某一方向漂移。

控制限与产品规格限承担不同职责。控制限由受控过程的历史数据估计,用来识别过程是否发生特殊原因变化;USL、LSL 则来自产品功能或图纸要求,用来决定产品是否合格。控制限外的点提示排查过程原因,越过规格限的点直接涉及产品符合性。两套界限应分别使用。

连续变量常用 X̄-R 图和单值—移动极差(X-MR)图;缺陷比例可用 p 图,单位缺陷数可用 u 图。此时视觉系统同时是检测工具和过程传感器,前提是输出量在时间上定义一致。

算例模拟一个类似 ΔE 的颜色差异指标:前 30 个样本来自受控过程,后 20 个样本加入一个小的均值偏移,模拟上游染料批次漂移。控制限只用前 30 个基线样本按单值—移动极差方法计算,再用于识别后续漂移区域。示例使用标准常数 d₂=1.128、D₄=3.267 和 3σ 控制限;随机数据和偏移量都是说明性输入。

运行结果为:基线均值 0.8495,平均移动极差 0.1112,估计标准差 MR̄/d₂=0.0986;X 图上限、中心线、下限分别为 1.1452、0.8495、0.5539,MR 图上限和中心线分别为 0.3632、0.1112。第 31 个样本开始注入均值偏移,第 31 个样本首先越过 X 图控制限,共有 12 个点被判为失控。样本数量、偏移量和首次报警位置均为模拟结果,其数值不代表实际产线的检测速度承诺。

单值控制图发现注入的工艺漂移

图67-2 单值(X)/移动极差控制图发现说明性工艺漂移。

图 67-2 用受控基线建立控制限,再把控制限向后应用到新样本。第 31 个样本起的均值偏移首先越过 X 图控制限,说明控制图判断的是过程分布是否改变,随机起伏本身不构成缺陷。图中数据由固定随机种子生成,只用于说明方法。

67.3 容差、保护带和 Gauge R&R 怎样配合?

容差范围不能只凭经验,也不能直接抄产品图纸上的公差。图纸公差说明产品功能能够接受的范围,视觉系统的判定窗口还要考虑成像重复性、测量不确定度和产线实际波动。更稳妥的做法是先用抽样数据刻画真实过程分布和测量系统,再决定判定窗口与过程能力的关系。

过程能力常用两个指标:

\[ C_p=\frac{USL-LSL}{6\sigma} \]
\[ C_{pk}=\min\left(\frac{USL-\mu}{3\sigma},\frac{\mu-LSL}{3\sigma}\right)。 \]

其中 USL、LSL 是规格上限和下限,μ 是过程均值,σ 是过程标准差。Cp 反映过程分布宽度能否放进规格窗口,Cpk 还考虑均值是否居中。这里的 σ 必须代表已确认的过程波动;若视觉测量自身的重复性已占用较大规格余量,应先评估测量链,再把能力指数用于工艺判断。

假设尺寸规格为 USL=5.20 mm、LSL=4.80 mm,公差带宽 0.40 mm、中心为 5.00 mm。历史抽样得到说明性真实零件标准差 σ_part=0.030 mm,对同一零件重复测量得到视觉测量系统标准差 σ_meas=0.020 mm。若两种波动独立,则

\[ \sigma_{observed}^2=\sigma_{part}^2+\sigma_{meas}^2, \]

所以 σ_observed=√(0.030²+0.020²)≈0.036 mm。测量系统把观测分布变宽了,不能把 0.036 mm 不加区分地当成纯产品波动代入 Cpk。

保护带可按测量不确定度的若干倍从真实规格边界向内收缩。这里取说明性系数 k=2:

\[ \text{保护带}=k\sigma_{meas}=2\times0.020=0.040\ \text{mm}。 \]

实际判定范围为

\[ [LSL+0.040,\ USL-0.040]=[4.84,5.16]\ \text{mm}。 \]

这样会把真实规格边缘附近的一小段作为不确定区牺牲掉,以减少测量噪声造成的误放行或误拒收。k=2 仅作透明的说明性选择,项目需按误判风险、测量不确定度和产品后果确定系数。测量重复性越好,σ_meas 越小,可用的有效余量越大。

Gauge R&R(量具重复性与再现性)用于获得可信的测量系统波动。重复性是在同一夹具、同一光照和同一设置下反复测量同一零件,观察测量系统自身的噪声;再现性主要考察操作员、设备、夹具重装或时间条件变化引入的测量差异。产品批次差异属于产品过程波动,不应直接并入再现性;自动化视觉站应把重新上料、夹具切换和跨时段照明变化作为经过定义的测量条件纳入研究。两者可写成

\[ \sigma_{meas}^2=\sigma_{repeatability}^2+\sigma_{reproducibility}^2。 \]

在用视觉测量结果计算 Cpk 前,应先把产品间波动与测量系统波动分开。照明漂移、夹具重复定位差或标定不稳定,都会使 Cpk 偏低;某些与抽样方式相关的系统偏差也可能造成相反方向的误判。

67.4 颜色、纹理和工艺措施怎样降低误检?

单通道 RGB 阈值很难同时做到稳定和可解释。更合适的做法是使用 CIELAB 空间中的 L*、a*、b* 以及综合色差 ΔE,把颜色变化表示为更接近感知意义的距离,避免依赖三个相互耦合的原始通道阈值。项目文件还应明确采用哪一种色差公式,例如 CIE76 或 ΔE00;不同公式得到的数值尺度不同,阈值不能直接照搬。

色差方法也有前提:若照明和相机白平衡不稳定,ΔE 会把成像变化和产品真实变化混在一起。因此在生产中使用色差指标前,光照和颜色标定必须先具备重复性。

第一步是跨多个批次和时间段采集合格样本,建立真实正常纹理的分布边界。规则重复纹理可以使用局部对比度、频域特征、灰度共生矩阵或局部二值模式;复杂表面可采用异常检测,只学习正常区域分布,再标记明显偏离者。

异常检测仍然需要工程判断。训练样本只覆盖很窄的正常条件时,模型会把未充分采样但完全合格的变化当成异常,因此样本覆盖和定期复核不能省略。

视觉算法不应承担全部稳定性责任。位置波动超过夹具的重复定位能力、颜色波动来自上游配料漂移、纹理变化来自模具磨损时,单纯调阈值只能暂时遮住问题。应把视觉结果反馈给工艺人员,追查波动更容易发生在哪台设备、哪个班次和哪个原料批次。

成熟的视觉系统除了筛出缺陷,还能为工艺改进提供定量证据。视觉团队和制造团队需要共同定义指标、样本、报警升级规则和反馈闭环;未经确认的单次异常只应触发复核或留样,连续趋势、批次集中或设备相关性才构成调整工艺参数的依据。

常见误区

  • 把一张黄金图作为唯一模板,要求所有合格件逐像素匹配。
  • 把产品图纸公差直接写成视觉阈值。
  • 在光照和白平衡不稳定时直接计算 ΔE。
  • 未先做姿态对齐就进行纹理或颜色判定。
  • 用很窄的“正常”样本训练异常检测器。
  • 只调阈值,不追查夹具、配料或模具等上游波动。
  • 没有 Gauge R&R 就直接相信由视觉测量得到的 Cpk。
  • 把 USL/LSL 原值直接作为通过和不通过阈值,忽略测量保护带。

术语与符号表

  • SPC:统计过程控制。
  • X̄-R 图:对分组连续数据监测均值和极差的控制图组合。
  • X-MR 图:对单个连续测量值及相邻移动极差进行监测的控制图组合。
  • p 图:监测样本不合格比例的控制图。
  • u 图:监测单位缺陷数的控制图。
  • 容差带:施加于颜色、位置或测量量的工程接受窗口。
  • Mark 点对齐:用基准特征计算产品平移和旋转,使 ROI 和测量区域跟随产品。
  • ΔE:由 CIELAB 坐标计算的综合感知色差指标。
  • Cp/Cpk:过程能力指数;Cp关注分布宽度,Cpk还考虑均值居中程度。
  • 保护带:从真实规格上下限向内收缩、用于吸收测量不确定度的边界余量。
  • Gauge R&R:把测量波动拆分为重复性和再现性的研究方法。
  • 重复性:相同条件反复测量同一零件产生的测量波动。
  • 再现性:夹具、时间、光照或操作员等条件变化引入的测量波动。

延伸阅读

  • Montgomery,《统计质量控制导论》。
  • Sharma、Wang,《数字应用中的色差公式》。
  • Haralick 等,《用于图像分类的纹理特征》。
  • Ojala 等,《具有局部二值模式的多分辨率灰度和旋转不变纹理分类》。

第68问 产品表面的油污和水渍应该怎样处理?算法能做什么,硬件能预防什么?

68.1 污染为什么难成像,为什么应先从硬件入手?

油膜和水渍很少具有边界固定的污点形态。它们通常是覆盖在真实表面上的薄层、透明层或半透明层,首先改变的是表面反射方式,几何轮廓却未必稳定。普通白光下,油膜可能在一次拍摄中表现为高光,下一次又几乎不可见,具体取决于基材、观察角度、光源方向和污染层厚度。

这类污染还容易与表面纹理、保护膜反光、清洗残留或前工序冷凝水混淆。成像方案若未针对这些因素设计,算法得到的多半只是当天污染层偶然形成的反射图案,难以形成稳定的油污特征。

油污和水渍的视觉特征来自光学差异。原始图像没有把污染和背景分开到足够程度时,后端再复杂的代码也不能把弱信号变成低风险判定,只会增加维护和验证负担。透明油膜尤其如此:成像链没有先让它与背景产生可重复差异,算法在不同批次和光照下就很难保持一致。

更稳妥的顺序是先用光源、滤光和遮光把“是否存在污染”变成图像中可重复的信号,再选择阈值、形态学方法或学习模型。把难题在前端解决,后续系统更容易维护。

68.2 硬件成像、算例和现场代价如何权衡?

对金属表面的油膜和水渍,低角度照明与偏振成像通常比较有效。掠射入射会放大薄膜造成的局部反射差异,偏振片可抑制镜面眩光,使被反光遮住的细节显现。对透明油污、助焊剂残留和部分胶黏剂残留,可优先考虑紫外荧光成像;许多材料在 365 nm 紫外激发下会产生可见荧光,把白光下近乎透明的污染转换成高对比亮斑。

这些方法改变了污染信号的物理表现形式:先把薄膜转换成明显的荧光或偏振差异,再交给算法处理,通常比直接从白光反射中猜测透明污染更稳定。

油污和水渍的偏振低角度反射法与紫外荧光法

图68-1 油污和水渍的偏振/低角度反射法与紫外荧光法。

图 68-1 的两条光路不能混读。偏振/低角度方案中,掠射光先照到金属表面,反射光经检偏器进入相机;紫外荧光方案中,365 nm 紫外光负责激发,发射荧光经带通滤光片进入相机。两种方案都必须用真实油品、基材和表面状态验证;荧光效率会随材料而变,实验室中的一次高对比结果不足以确定设备规格。

下面用一个透明的信号模型比较三种成像策略。模型假定缺陷和油污伪影的对比度分数均服从说明性高斯分布,并为每种策略独立选择阈值,使真实缺陷检测率固定为 95%,再读取油污伪影被误判为缺陷的比例。输入参数为说明性设定,并非产线实测值。

运行结果为:普通白光阈值 43.20,误报率 68.65%;低角度/偏振成像阈值 48.84,误报率 6.89%;365 nm 紫外荧光阈值 46.84,误报率约 0.00%。在这个说明性模型中,保持 95% 缺陷检出率时,误报率从白光下约 69% 降至低角度/偏振下不足 7%,紫外荧光下接近 0%。这些数值只说明成像策略改变了两类信号的重叠程度,不能作为任一产线的性能承诺。

三种成像策略在固定 95% 缺陷检测率下的说明性误报率

图68-2 固定 95% 缺陷检测率时不同成像策略的说明性误报率。

图 68-2 的比较点是保持真实缺陷检出率相同,再观察油污伪影分布与判定阈值的重叠程度。数值来自说明性分布模型,作用是展示“把分离问题移到光学端”会怎样改变算法所面对的风险,不能代替真实样本的 ROC、误报率和漏报率验证。

365 nm 紫外荧光工位需要把人员安全从方案开始就纳入设计。激发区应使用遮光外壳,外壳或门打开时由联锁立即切断紫外光源;操作员需要进入清洁、上下料区域时,还要有物理屏障或书面暴露控制流程。允许暴露水平属于现场安全合规问题,应按实际波段、光源和适用标准确认,不能凭经验猜测。

遮光结构同样影响测量可靠性。进入相机的杂散紫外光、附近保护窗反射的紫外光,以及标签、包装膜或相机保护玻璃自身的荧光,都可能形成与目标污染相似的亮斑。因此荧光检测区需要独立的遮光和污染控制,高对比目标也不能替代这一环节。

低角度光还受零件几何形状限制。平面上的掠射角在曲面、圆柱面或法兰上不会保持不变,同一污染在视野的一处可能清晰可见,在另一处几乎不可见。复杂零件应按局部表面法向把视野分区,为每个几何区域设置合适光源或多轴低角度阵列;如果成本不允许,应明确方案只覆盖已经验证过的区域,再用偏振、荧光或第二视角处理其他区域。

现场还需要一个快速排除“其实是光学件脏了”的方法:先只清洁保护窗或镜头,不移动零件,重新拍摄同一位置;对照该工位的清洁维护记录;再与最近一次清洁标定后的合格参考图比较。若异常在清洁后消失,或固定在像素位置而不随零件移动,更可能来自成像链而非产品。

68.3 图像已有对比度时,算法怎样选择?

污染已经在图像中形成稳定的亮度、颜色或纹理差异后,传统算法通常就够用。常用模块包括灰度或自适应阈值、背景扣除、形态学开闭运算、连通域分析,以及按面积、圆度和长宽比过滤。边界柔和且不规则的水渍,可以先增强局部对比度,再结合连通域和纹理约束,去除由噪声或高光造成的伪影。

传统方法在前端成像稳定时更容易验证,也更适合长期维护。应避免在不稳定原始信号上不断叠加复杂后处理,勉强得到可用的判定结果。

污染形状变化很大、基材复杂、单一阈值无法覆盖正常波动时,可以考虑异常检测或分割模型。常见做法是收集合格表面样本,让模型学习正常外观分布,再把明显偏离分布的区域标为候选异常,这样不必预先枚举所有污染形状和尺寸。

这类方法仍依赖成像链先把污染变成可观察差异。原图中确实没有信号时,模型无法凭空创造区分;训练样本也要覆盖不同批次和光照下的正常表面,否则模型会把普通变化当成污染。

68.4 如何从设备维护和调试流程上减少复发?

预防通常比事后修正便宜。镜头、保护窗和容易进液的区域应与污染源保持物理距离,避免飞溅和喷雾直接落到成像前端;关键工位可加入气刀、排雾、局部负压或滴液防护结构,减少油雾和冷凝水在视野中的积累。清洗后检测时,应确认工件已经充分干燥,否则残留液体会与真实污染混淆。

如果上游稳定地产生某种残留,应回到点胶、润滑、清洗和干燥工序查原因。视觉系统可以发现问题,但不一定是最合适的治理位置。

常见错误包括只用少量样品、在单一光照下调阈值就认为系统稳定;只拍静态样品而不观察生产节拍中干燥不充分、液滴扩散和二次冷凝;没有按污染程度、表面状态和生产批次记录检出率与误报率。

更可靠的调试应准备多种污染等级、表面状态和批次的样品,在每种候选成像方案下记录检出率和误报率。这样才能区分系统是在识别污染,还是只识别了调试时偶然出现的一种反射图案。

常见误区

  • 只在少量样品和一种光照下调阈值。
  • 用软件堆叠修复没有成像对比度的原始信号。
  • 把清洗残留或冷凝水误判为真实污染。
  • 假定紫外荧光方案可以跨材料直接复用。
  • 只检查静态样品,不检查产线速度下的液滴扩散和冷凝。
  • 把上游稳定产生的残留全部交给视觉系统兜底。
  • 紫外工位没有独立遮光、联锁和杂散荧光检查。
  • 在曲面或法兰上使用一个全局低角度光源。
  • 发现固定亮斑后不先擦拭保护窗或镜头就判定工件污染。

术语与符号表

  • 镜面反射/眩光:光滑、湿润或油性表面的方向性反射,可能造成局部饱和。
  • 偏振片:只透过特定偏振状态光线、用于抑制镜面眩光的光学元件。
  • 低角度照明:相对于表面以较小入射角照明,用于放大薄膜和细小表面差异。
  • 紫外荧光成像:用紫外光激发材料发出可见荧光的成像方法。
  • 带通滤光片:只通过特定波长范围、在荧光成像中阻挡激发光的滤光片。
  • 异常检测:学习正常表面分布并标记偏离区域的建模方法。
  • FPR:误报率,在给定阈值下把清洁区域或非缺陷污染区域误判为缺陷的比例。
  • 遮光外壳:排除环境光并在紫外工位限制激发光外泄的结构,通常配合联锁。
  • 联锁:防护门或外壳打开时自动关闭危险部件的安全机制。
  • 视野分区照明:按局部表面法向将零件分区并分别调节入射方向的方法。
  • 擦拭复测:只清洁镜头或保护窗、保持零件位置不变后重新成像的现场诊断方法。

延伸阅读

  • Cognex,《机器视觉应用中的偏振与照明技术》。
  • Edmund Optics,《荧光成像与紫外光源简介》。
  • Steger、Ulrich、Wiedemann,《机器视觉算法与应用》第二版。
  • Ruff 等,《深度与浅层异常检测的统一综述》。

第69问 振动会使图像模糊,除了延长曝光和全局快门,还有哪些措施有效?

69.1 模糊机制与机械安装怎样处理?

曝光期间目标与传感器发生相对位移,就会形成模糊。振动可能来自地面、机器机构、输送线、风扇或镜头支架;只要曝光窗口内的相对位移没有压缩到足够小的像素比例,点状特征就会拖成短线,边缘变宽,小缺陷甚至会被抹掉。测量、OCR 和细小缺陷检测受到的影响,通常比肉眼观察到的更严重。

延长曝光会扩大运动累积的时间窗口,方向与解决问题相反。全局快门解决的是滚动快门逐行读出造成的时序倾斜,不能单独缩短普通运动模糊的曝光窗口。更有价值的措施是减少机械、时序和结构原因,尽量让模糊不要形成。

相机装在薄板、长悬臂或低固有频率支架上,会通过结构共振放大轻微环境振动。应缩短力臂、提高支架刚度、减少不必要的多级转接板、锁紧调焦环和光圈环,并把相机固定在可获得的最刚性承力结构上。高精度工位还可使用隔振底座、高质量平台或阻尼结构,在振动到达相机和工件前削弱它。

曝光时已经形成的模糊只能被后端近似修补,无法恢复没有被传感器采集的细节。因此机械安装通常是最有价值的第一杠杆。

69.2 时序、曝光和频闪怎样建立预算?

若振动具有周期性,例如冲压机、往复机构、气缸换向或某个组件的共振,可以避开振动峰值,在结构最安静或最稳定的时间窗触发。线扫系统应与编码器硬同步,使每行图像对应固定的运动位移,减少速度波动造成的行间变形。

高功率频闪可以在很短脉冲内释放足够光能,从而压缩有效曝光窗口而不牺牲亮度。它不改变产品和机器的运动,只是更精确地划出可用成像时间。

振动模糊的分层抑制路径

图69-1 振动模糊的分层抑制路径。

图 69-1 将机械隔振与结构锁定、短曝光与频闪冻结、同步控制三层措施放在算法补偿之前。编码器硬同步或避开振动峰值用于控制采集时刻,右侧的配准与多帧融合仅在前端仍有必要时作为补充。设计和故障分析应优先防止模糊形成;对尺寸测量和缺陷证据归档,任何改变原始像素结构的补偿都需要单独验证。

用正弦振动说明计算。位移模型和峰值速度分别为

\[ x(t)=Asin(2pi f t), \]
\[ v_{mathrm{peak}}=2pi fA。 \]

曝光时间 t_exp 内的一阶近似模糊长度为

\[ \Delta x=v_{\mathrm{peak}}t_{\mathrm{exp}}。 \]

说明性输入为振幅 A=15 μm、频率 f=120 Hz、传感器像元尺寸 3.45 μm、放大倍率 0.5×,因此物方像元尺寸为 6.90 μm/像素,峰值速度约为 11,310 μm/s。结果如下:5 ms 曝光产生约 8.20 像素模糊;控制在 1 像素需要约 610.1 μs;控制在 0.25 像素需要约 152.5 μs。频闪脉冲若同样控制在 152.5 μs,模糊预算也是 0.25 像素。所有输入均为说明性数据。

振动模糊随曝光时间变化以及频闪策略对比

图69-2 振动模糊长度与曝光时间及频闪策略的说明性关系。

图 69-2 左侧表示固定振动条件下,曝光时间越长,模糊预算越大;右侧比较 5 ms、约 610 μs 和约 153 μs 三种曝光,以及同样采用约 153 μs 有效脉冲的频闪方案。数值取决于振幅、频率、像元尺寸和放大倍率,关系的普遍工程含义是:给定像素模糊预算时,所需曝光时间与振动峰值速度成反比。

实际产线振动通常是宽带的,电机转速、齿轮啮合、结构共振、滚筒和地面噪声可能同时存在。振幅和频率应从相机或镜头支架处的实测信号获得。常用方法是在支架附近安装压电或 MEMS 加速度计;不便接触时使用激光测振仪。记录设备正常负载运行时的时域信号,再用 FFT(快速傅里叶变换)得到频谱。频谱有明显主峰时,主频及其振幅可用于单频模型;频谱宽带时,应直接计算 RMS(均方根)速度,并用实测峰值或 RMS 的保守倍数作为 v_peak。这时公式是尺寸估算工具,不能视作完整的宽带运动模型。

频闪缩短脉冲并非没有代价。相同光能在更短时间内释放,需要更高瞬时 LED 电流,会增加结温和驱动器的开关负担;脉冲频率、占空比和散热路径不合适时,会缩短 LED 寿命。驱动器还要在短脉宽下控制过冲,光源需要在脉冲之间散热。实际最短脉冲由驱动和热设计决定,应按厂商脉冲电流与热额定值验证。

69.3 算法、多帧融合和事件相机适合什么场景?

在显示、阅读或一般识别场景,反卷积、多帧融合和学习型去模糊可以改善视觉效果。尺寸测量、细小缺陷检测和证据归档则要谨慎,因为锐化可能移动边缘、填补纹理或放大噪声,进而影响测量和判定。算法补偿可用于可视化、定位辅助或已经验证过的鲁棒任务,但不能替代物理隔振,也不能在像素真实性关键的任务中未经边界验证直接采用。

场景变化不快、相邻帧仍可配准且周期预算允许额外处理时,多帧配准和融合可以改善清晰度与信噪比。高速单次事件通常没有这个条件。事件相机适合极高速动态场景,但信号形式、成本和系统集成路径与传统工业相机差异很大,适合作为特定场景的扩展方案,不宜视作多数项目的默认路径。

69.4 如何确认振动来源并安排处理顺序?

失焦、热漂移、光照不足、镜头分辨率不足、曝光饱和、快门时序错误和输送速度变化,也会造成“图像不够清晰”。振动模糊通常沿特定方向拉伸,并随机器运动状态变化;失焦更像全局均匀变软;曝光过长会拖长运动边缘;光照不足通常伴随噪声升高。把机器状态、触发时间戳和图像质量指标同步记录,诊断会比只看最终图像更可靠。

先检查结构刚度和安装,再检查曝光与频闪,再检查同步时序,最后才评估算法补偿。越靠前的层级越能减少模糊的产生,末端算法只能处理已经发生的损伤。

常见误区

  • 为了增加入射光量而在振动产线上延长曝光。
  • 把相机装在方便但柔性的薄板或长悬臂上。
  • 把滚动快门倾斜与普通振动模糊混为一谈。
  • 未验证边缘和纹理真实性就默认使用去模糊。
  • 不排查失焦、热漂移、光照和快门时序就把软图像归因于振动。
  • 认为多帧融合在所有产线都可用。

术语与符号表

  • 全局快门:所有像素同时曝光和读出,避免运动中的逐行时序倾斜。
  • 滚动快门:各行依次曝光,运动时产生几何倾斜或变形。
  • 运动模糊长度 Δx:点在一次曝光期间拖曳的长度,近似为速度乘曝光时间。
  • 频闪冻结:用短时高强度光脉冲定义有效曝光窗口。
  • 编码器硬同步:由位置编码器直接触发采集,使空间采样不随速度变化。
  • 隔振:用阻尼支架、刚性结构或高质量平台削弱外部振动。
  • 多帧配准与融合:对多张相邻图像对齐并合成,代价是处理时间和帧间可配准性要求。
  • 事件相机:异步报告像素亮度变化、具有高时间分辨率的传感器。
  • 加速度计/激光测振仪:在相机或镜头支架处测量机械振动的传感器。
  • FFT 频谱分析:把时域振动分解为频率分量。
  • RMS 速度:宽带振动时由时域信号计算的均方根速度。
  • LED 结温与热负荷:脉冲电流造成的 LED 芯片升温,过大的瞬时电流会缩短寿命。

延伸阅读

  • Holst、Lomheim,《CMOS/CCD 传感器与相机系统》。
  • Cognex 关于高速检测频闪与短曝光的应用资料。
  • EMVA 关于相机时序、触发和同步的标准资料。
  • Gallego 等,《基于事件的视觉:综述》。

第70问 什么是“黄金样本”?它在调试和维护中起什么作用?

70.1 黄金样本如何建立,为什么不能随手选取?

黄金样本是一组经过确认并长期保存的标准件或标准数据,用于检查视觉系统当前的表现。样本不必很多,但应覆盖典型正常情况、边界正常情况和关键缺陷情况。它与普通测试集的区别在于身份和基线被固定,后续调参、升级、回归测试和班前点检都围绕同一组基准进行。

现场通常同时使用实体标准件和数字图像库。实体件用于检查相机、镜头、光源、触发和机械链路;数字库便于软件回归、参数比较和版本验证,两者不能互相替代。

随手保存的图片只反映开发者当时碰到的情况,往往覆盖不到真正危险的边界场景。黄金样本应经过明确选择、确认和冻结,并记录每个样本为何保留、代表什么场景、判定标准是什么以及何时允许更新。

没有版本和变更纪律,样本文件夹会逐渐变成不断变化的测试集,回归测试也就失去可比性,无法判断是系统变好了,还是测试样本自己变了。

70.2 调试、回归和班前点检怎样使用黄金样本?

调试时,无论调整照明、重新对焦、修改阈值还是更换算法版本,都需要一组固定样本判断变化的结果。每次使用不同的临时样品,调试就会退化成主观印象比较。

边界缺陷样本还可以暴露系统的敏感点。如果某个临界缺陷只有在特定光照角度下才能稳定检出,它不仅是测试件,也说明了成像链有效工作窗口的边界。好的样本集能在系统上线前发现脆弱环节。

黄金样本从选择到回归测试和班前点检的闭环

图70-1 黄金样本从选择到回归测试和班前点检的闭环。

图 70-1 从样本选择、确认、回归和点检走到版本留档,并以受控更新路径回到样本选择。黄金样本贯穿开发、上线和维护周期;当工艺、材料或缺陷谱发生变化时,应保留变更依据、旧版本与重新确认记录,再将新版本纳入该闭环。

量产后,风险往往来自原本正常的东西逐渐漂移:镜头被碰动、光源衰减、现场人员调整参数、软件版本升级等。没有固定样本,维护人员无法可靠判断今天的性能是否比上个月退化。

每次变更后重新运行同一组样本,可以快速判断哪些能力仍稳定、哪些边界样本开始失败。对生产系统而言,这种长期可比性通常比项目初期的演示图更有价值。

班前点检要确认的是当前工位在当前条件下是否仍可用。依次运行标准件和边界样本,可以检查相机、镜头、光源、触发、程序版本和判定阈值是否仍处于受控范围。原本稳定通过的样本突然波动,或应检出的边界缺陷漏检,都说明系统状态发生了变化。

这种点检把复杂的系统健康检查压缩为少量高价值样本,覆盖的功能链路也比仅凭肉眼查看实时画面更完整。

设每个班次对黄金样本重复成像,并记录 ROI(感兴趣区域)平均灰度。以下数据仅用于说明:前 25 个班次建立基线,后 35 个班次进行监测;基线均值设为 180.0,班次间噪声标准差设为 1.8;监测阶段叠加每班次下降 0.12 灰度单位的线性漂移,用于模拟镜头/保护窗污染或 LED 输出衰减。

由前 25 个基线样本计算中心线和标准差,控制限为中心线 ±3σ,警戒线为中心线 ±2σ。计算结果为:

项目 结果
中心线 180.346
基线标准差 1.655
UCL / LCL 185.312 / 175.380
首次标记班次 总第 45 班,监测阶段第 20 班
发现时累计真实漂移 −2.400 灰度单位,约为基线均值的 −1.33%
仅由漂移趋势越过 LCL 所需班次 约 41.4 班

示例使用“连续三个点中有两个落在同一侧的 ±2σ 警戒线之外”的运行规则,所以比等待单点越过 ±3σ 控制限更敏感。第 45 班被标记时,漂移仍只是基线均值的一小部分,说明固定样本配合统计监测可以在实际产品判定受到影响前暴露成像链的慢性退化。图中横轴按监测序号从 0 起算,正文中的班次编号按第 1 班起算,两者需要保持一致。

黄金样本控制图发现模拟的成像链漂移

图70-2 黄金样本控制图发现说明性的成像链漂移。

图 70-2 先用黄金样本基线建立中心线、控制限和警戒线,再监测后续班次。运行规则在第 45 班发出标记,早于仅由无噪声漂移趋势越过控制限的时间。基线均值、噪声、漂移速度和班次数量都是模拟输入,不能直接作为真实工位的报警阈值。

70.3 报警后如何确认成像链漂移,如何维护样本可信度?

控制图报警后先检查参考件本身:老化、氧化、积尘、搬运划伤和长期光照变色都会造成基准漂移。应保存一份与工作样本名义上相同、密封并在稳定环境中保存的备份样本,定期在相同条件下与工作样本成像比较,必要时用校准的颜色或反射率测量独立复核。工作样本偏离备份样本时,应按受控流程退役和替换,再重新确认判定基线。

样本数量也不应凭“适中”拍脑袋。应先列出所有需要覆盖的风险类别、缺陷模式和工艺/工装变体,例如多腔模具的不同型腔、同线不同夹具或不同供应商批次,再为每类风险安排代表样本;最后结合回归运行时间删减冗余。

若备份交叉检查确认样本没有退化,再按可逆程度逐项定位成像链原因:先清洁保护窗或镜头并立即复拍;仍异常时临时替换已确认正常的光源;最后检查相机温度、增益、曝光和健康状态。只有这些替换都不能消除漂移时,才考虑黄金样本变化或有依据地调整判定阈值。

70.4 样本集、局限和项目标准怎样确定?

样本集应覆盖主要正常条件和关键边界条件;每个样本的标签和通过/不通过标准都要正式确认;数量要足够覆盖核心风险,又不能使每次回归运行不可接受;样本来源、用途、版本和更新原因要有记录。

典型组合包括稳定正常件、边界正常件、典型缺陷件、边界缺陷件和数字图像库。这样既覆盖实体成像链,也覆盖软件逻辑回归路径。

任何样本集都不可能覆盖未来所有情况,只能覆盖当前已知风险和关键边界。样本应长期稳定,但工艺、材料或缺陷谱变化时也要受控更新,并保留历史可比性。

过度依赖固定样本也会让团队忽略生产现场出现的新变化。黄金样本应与现场异常收集、样本补充和生产数据分析一起使用,不能代替真实生产环境。

项目标准至少应写明样本类别、确认和保管责任人、执行时机(班前、换型、维护和升级后)、通过判据,以及何时需要重建或生成新版本。这样黄金样本才是可以交付和长期维护的工程机制。

常见误区

  • 把随手收集的几张典型图片当成黄金样本。
  • 让样本文件夹无记录地持续变化。
  • 用单张标准图做唯一模板并要求逐像素匹配。
  • 只做数字回归,不做实体件班前点检。
  • 把黄金样本当成唯一真实来源,忽略现场异常。
  • 更新样本集却不记录版本和原因,破坏历史可比性。

术语与符号表

  • 黄金样本:经过确认、长期保存并用于验证视觉性能的标准件或标准图像集合。
  • 调试:系统上线前对光照、焦点、阈值和算法参数进行调整与验证的阶段。
  • 回归测试:变更后重新运行固定样本,确认原有能力没有被破坏。
  • 班前点检:生产班次开始时用标准件和边界件检查当前工位状态。
  • 漂移检测:在系统变化导致错误判定前识别其缓慢变化的过程。
  • 控制图:把统计量随时间绘制并与中心线、控制限比较的 SPC 工具。
  • 版本留档/追溯:记录当时使用的样本、参数和软件版本,以便复现。
  • 备份黄金样本:受控保存、很少接触的同类样本,用于确认工作样本是否自身退化。
  • 根因隔离:先清洁光学件、替换光源、检查相机,再决定是否改阈值的顺序化排查。

延伸阅读

  • Montgomery,《统计质量控制导论》。
  • AIA/A3 机器视觉系统指南中的黄金样本和参考标准资料。
  • ISO 9001、IATF 16949 关于过程控制、测量系统管理和变更追溯的条款。