国际人人都是产品经理人人都是产品经理
准确率 97.8% 的电弧故障检测模型，为什么换个场景就全部误报
阅读原文 ↗为什么值得读
一个亲历者复盘：模型指标好看，换负载就崩。讲清了谁定验收标准、谁做跨场景验证、谁为误报兜底。
核心发现
- 01
公开数据集 AUROC 0.978，但按 13 种负载逐一留出做跨负载测试后整体降到 0.843，低于传统基线 0.904。
- 02
两个负载上模型给出的电弧概率反而低于正常概率，说明模型学到的特征与负载强相关。
- 03
问题出在验收标准只看了随机划分的测试集，没有按真实交付场景做跨负载留出验证。
Ruby 怎么看
这个项目里，产品经理定验收标准，算法工程师执行训练，现场运维兜底误报。问题就出在验收标准上：只看了随机划分的测试集，没按真实负载做留出。跨负载一测，AUROC 从 0.978 掉到 0.843，比传统基线还低。我的判断是，边缘 AI 的交付标准必须由产品经理提前写死：按负载、按场景留出验证，不达标就不上现场。算法工程师负责把跨负载测试跑成常规流程，运维负责收集误报样本回流。人机协作，不止对话，更要交付。交付前先问一句：换个负载，它还准吗？
若我在业务里怎么验证
让算法团队按负载维度重新做留出测试，产品经理对照传统基线逐项验收；同时收集现场误报样本，看模型在真实负载下的概率分布是否倒挂。
延伸阅读 / 原文
本文为 Ruby 个人观点与阅读笔记，不代表原发布机构立场。正文为摘要与评论，非全文转载。完整内容请阅读原文。