要点速览
图像采集决定后续每个自动检测步骤的上限
采集这一步决定了成像链路的自动检测步骤有没有工作空间。CT 切片、MRI 体数据、超声帧或乳腺 X 光片都以原始强度值加几何元数据的形式到达。如果曝光被截断、几何错误或帧存在运动模糊,下游滤波器无法修复。我们把采集视为固定约束,而不是可调阶段。
从像素间距和视场开始。对于五轴加工零件的表面检测,我们通常使用远心镜头,以每像素 5–10 μm 运行,使比例在视场内不漂移。对于 CT,0.1 mm 到 0.5 mm 之间的各向同性体素覆盖大多数医疗和工业工作;低于 0.05 mm 时,扫描时间和剂量快速上升。把间距写入文件头。如果文件头与实际不符,配准会偏差一个体素,你就会去追一个幽灵缺陷。
信噪比是下一道门槛。一条有用的规则是:缺陷与其背景之间的对比度应至少为局部噪声标准差的 3 倍。低于此值,阈值化会产生斑点,检测器会把噪声报告为病灶。你可以提高曝光、增加帧平均或更换模态。你不能做的是靠滤波摆脱它,因为线性滤波器会同时提高对比度和噪声。
模糊是硬限制。曝光期间运动模糊超过 2 px 的位移,会把 0.2 mm 的特征抹入背景。在移动卷材或旋转零件上,使用频闪或短全局快门曝光,并在运行生产前在测试靶上检查锐度。到达特征提取的模糊帧只会白白消耗数小时的调参。
- 1把间距写入文件头像素或体素尺寸与实际不符会静默破坏配准。
- 2保持对比度高于噪声 3 倍低于此值,阈值化会把噪声报告为缺陷。
- 3运动模糊限制在 2 px运动零件上使用频闪或短全局快门曝光。
预处理在检测运行前对帧做归一化
预处理做三件事:去除传感器伪影、拉平不均匀照明、把每一帧带到统一的强度尺度。按此顺序进行。首先使用在相同曝光和增益下采集的校准帧进行暗帧和平场校正。这去除固定图案噪声和镜头渐晕。跳过平场校正是检测器在一台机器上工作、在下一台机器上失败的最常见原因。
接下来,用保边滤波器去噪。3×3 到 5×5 中值滤波器处理超声和低剂量 CT 上的椒盐噪声,且不会过多涂抹边缘。双边或非局部均值滤波器计算成本更高,但能保留血管壁和螺纹牙顶等细结构。缺陷工作避免使用普通高斯模糊。它降低噪声,但会磨圆检测器本应找到的角和边。
然后归一化强度。直方图均衡在批次间对比度变化时有帮助,但它也会放大平坦区域的噪声。对于背景已知的零件,更简单的 8 位最小-最大拉伸或每帧 z 分数归一化更可预测。记录你使用的参数。当批次漂移时,你需要知道原因是光学还是拉伸窗口。
最后,重采样到固定工作分辨率。如果你的训练数据以 1200 × 1600 采集,而生产帧以不同尺寸到达,特征尺度将不匹配,检测阈值会出错。在此阶段重采样一次,并保留映射,以便结果可以投影回全分辨率进行测量。
- 1先校正再去噪先做暗帧和平场校正;滤波器无法修复固定图案梯度。
- 2选择保边滤波器中值、双边或非局部均值。缺陷检测不要用普通高斯滤波。
- 3只重采样一次匹配训练分辨率,并保留映射回原始尺寸的关系。
特征提取把像素变成检测器可用的数值
特征提取是图像不再只是图像的地方。你用数值描述感兴趣区域:面积、周长、圆度、伸长率、灰度均值和标准差、纹理能量,以及沿边界的梯度幅值。在医疗应用中,球形度和边缘锐利度等形状描述子区分良性与可疑病灶的能力,往往比原始强度更强。
选择能在你无法控制的条件下保持稳定的特征。如果零件在两次运行之间重新装夹,避免使用绝对位置特征,改用形状和纹理。如果照明在一个班次内漂移10%,使用比值和归一化对比度,而不是绝对灰度值。物理上什么都没变、特征却变了,这种特征就是隐患,无论它在训练集上分得多好。
纹理特征需要谨慎处理。灰度共生矩阵和局部二值模式在铸件表面、焊缝和組織上效果良好,但对窗口大小敏感。5 × 5 窗口能捕捉细小气孔;15 × 15 窗口能捕捉刀痕和更大结构。窗口大小应根据缺陷的物理尺寸选择,而不是根据屏幕上看起来好不好。
要避免的错误是特征泛滥。给只有两百个训练样本的分类器加四十个特征,得到的模型只会拟合噪声。保持特征集小,检查特征之间的相关性,相关性高于 0.9 的成对特征删掉一个。更少、理解透彻的特征更容易向客户解释,也更容易在审核中站得住脚。
- 1优先用形状和纹理工装夹具或照明漂移时,绝对位置和绝对灰度值会失效。
- 2窗口大小按缺陷定细小气孔用 5 × 5,刀痕和更大结构用 15 × 15。
- 3删除相关特征相关性高于 0.9 的成对特征:保留一个,删除另一个。
分割和配准决定检测点落在哪里
分割把画面划分为有意义的区域:组织中的病灶、铸件中的气孔、刀柄上的螺纹。直方图呈双峰且背景平坦时,Otsu 阈值法就够用。自适应或局部阈值法能处理不均匀照明,但窗口需要约为最小特征的 2–3 倍。物体相互接触时,用分水岭或图割分开;单独用分水岭容易对纹理表面过度分割,之后用面积规则合并碎片。
配准对齐不同时间或不同模态采集的画面。对于重新装夹零件的刚性对齐,先用相位相关或基于特征的估计,再做精细拟合,多数情况下平均残差低于 0.5 px。如果零件变形,或者你在比较 CT 体积和 MRI 体积,就需要仿射或非刚性步骤。非刚性配准可能把真实缺陷扭曲到参考上而将其隐藏,所以要约束变形并检查变形场。
工程含义很简单:检测只在已对齐、可比较的数据上有效。未配准的减法会把每条边缘和每一点微小位移都标记为变化,操作员一周内就会不再信任系统。要在这里花时间。根据我们在机加工和铸件上的经验,配准质量对误报率的影响比任何分类器改动都大。
在故意移动或重新装夹过的零件上验证配准。在三个或更多标志点上测量残差,而不是一个。如果残差向视场边缘增大,说明模型缺少镜头畸变校正;在配准前加入畸变校正并重新检查。
- 1窗口匹配特征自适应阈值窗口取最小特征尺寸的 2–3 倍。
- 2约束非刚性变形无约束的变形可能把真实缺陷弯到参考上并隐藏它。
- 3在三个标志点检查残差向视场边缘增大意味着镜头畸变未校正。
验证是成像链自动检测步骤的最后一步
验证不是走形式。在调任何参数之前先划分标注数据:约 70% 用于训练,15% 用于调参期间的验证,15% 留到最后。留出集是系统在生产中表现的唯一诚实度量。如果你在它上面调参,它就不再是留出集,你报告的数字就成了虚构。
分别跟踪精确率和召回率,并按零件族分别统计。能抓住每条裂纹但每天误报四十个良品的检测器,会被产线操作员关掉。从不误报但每二十个缺陷漏掉一个的检测器更糟,因为它会把坏件发出去。设定阈值之前先决定你能接受哪种错误,并把这个决定写下来。
输入变化时重新训练,而不是按日历。新灯、新工装夹具、新批次材料或传感器增益变化都会改变特征分布。监控得分分布和低置信度率。对照批次上召回率漂移超过 3 个点,就是先复查预处理、再动模型的信号。
保留中间输出:校正后的画面、分割掩膜、特征向量、分类器得分。当漏检到达客户那里时,这四个产物能在几分钟内告诉你问题出在采集、分割、特征还是模型。没有它们,每次调查都从零开始。
- 1调参前先划分70 / 15 / 15。留出集只碰一次。
- 2报告精确率和召回率按零件族分别报告,不要合成一个数。
- 3输入变化时重新训练新灯、工装夹具、材料批次或增益变化。
- 4保存四个产物校正画面、掩膜、特征向量、得分。
成像流水线的五个自动检测步骤,按顺序
按顺序执行。每一步列出我们在实际检测和成像系统上设置的参数,以及步骤仓促时出现的错误。
- 11. 采集并记录几何数据表面检测按每像素 5–10 μm 采集,CT 按 0.1–0.5 mm 各向同性体素采集。将像素间距、曝光和增益写入文件头。常见错误:未采集平场和暗场图像对,残留的梯度会被后续步骤判为缺陷。
- 22. 预处理与归一化先做暗场和平场校正,再用 3×3 到 5×5 中值或双边滤波,然后做 min-max 或 z-score 拉伸。在此处一次性重采样到训练分辨率。常见错误:高斯模糊会柔化后续需要测量的薄边缘。
- 33. 分割感兴趣区域高对比度零件用 Otsu 或自适应阈值,物体相互接触时用分水岭或图割。每个零件族至少检查 30 帧结果。常见错误:在一帧幸运图像上调好阈值,批量运行时却失效。
- 44. 提取特征并分类每个区域计算 8–15 个形状、纹理和灰度特征。输入小模型:样本少于 1,000 时用线性或 SVM 分类器,标注区域达到 5,000 以上时用 CNN。常见错误:在同一批次上训练和验证。
- 55. 配准并与基准比对先用刚性变换对齐基准,零件有变形时再用仿射或非刚性变换。刚性对齐的平均残差应低于 0.5 px。常见错误:将未配准的帧与基准比对,导致每条边缘都被标记为变化。
- 66. 复核输出并闭环将合格、不合格和低置信度区域送人工复核。按零件族跟踪精确率和召回率,召回率下降超过 3 个百分点时重新训练。常见错误:更换工装夹具或光源后从不重新审视阈值。
为每个自动检测步骤选择方法
根据数据量、对比度以及零件在两次采集之间的移动程度来选择。
| 步骤 | 方法 | 适用场合 | 注意事项 |
|---|---|---|---|
| 预处理 | 中值 3×3 | 椒盐噪声、低剂量 CT | 会磨圆薄边缘 |
| 预处理 | 双边滤波 | 需要保留边缘、算力允许 | 大批量时速度慢 |
| 分割 | Otsu 阈值 | 双峰直方图、背景平坦 | 光照不均时失效 |
| 分割 | 分水岭 | 尺寸相近的物体相互接触 | 对纹理会过度分割 |
| 特征 | 形状与纹理 | 工装夹具或光照漂移 | 需要干净的分割结果 |
| 分类器 | SVM 或线性 | 标注区域少于 1,000 | 对原始像素效果弱 |
| 分类器 | CNN | 标注区域 5,000 以上 | 需要留出验证批次 |
| 配准 | 刚性、相位相关 | 同一零件、重新装夹 | 忽略变形 |
| 配准 | 非刚性 | 组织或柔性零件 | 可能把缺陷扭曲掉 |
工程师关于这些步骤的常见问题
检测能工作之前需要多少张标注图像?
对于简单、高对比度且只需少量形状特征的缺陷,几百个标注区域可能就够。CNN 通常需要 5,000 个以上标注区域,更重要的是需要一个能反映生产波动的留出批次。
要按零件族计数,而不只是图像数量。同一零件、同一光源的一万帧图像,对下一个零件的学习帮助很小。
这些步骤能在边缘设备上运行而不上服务器吗?
可以,只要模型保持小规模。中值和双边滤波、Otsu 分割以及 SVM 分类器都能在普通边缘硬件上流畅运行。大型 CNN 通常不行。
常见分工是在边缘做预处理和分割,只把感兴趣区域送到服务器分类。这样能减少带宽并保持延迟可预测。
为什么检测器在实验室能用,到产线就失效?
几乎总是输入变了:光照不同、零件重新装夹、材料批次更新,或相机增益被重置。模型没有变差,是特征发生了偏移。
比较实验室和产线的校正帧与特征向量。两者出现分歧的阶段就是需要修复的阶段。
非刚性配准用于缺陷检测安全吗?
零件在两次采集之间变形时它是必要的,但存在真实风险:无约束的形变可能把真实缺陷弯到基准上,从而从差分图像中抹掉。
将形变约束在材料物理上可能的范围内,并把形变场检查纳入验证。
阈值应该多久重新审视一次?
光学、工装夹具、材料或相机设置有任何变更后,以及按计划用控制批次检查时。该批次召回率下降超过 3 个百分点即触发排查。
不要只按日历重新训练。在未变化的数据上重新训练只会增加成本和风险,不会带来改进。
