AI 产品 · 上线判据
评审会开到第四十分钟，业务方没问准确率。
他问的是另外一句：错的那一成，谁接。
投影上那行字写着「模型准确率 92%，达到上线标准」。标准是谁定的，没人说得清。我把笔帽合上，手指在桌沿敲了两下，空调的风正好吹到脖子后面，凉。
那三秒里我盯着「92%」看了很久。它是对的，也是没用的。
一、准确率是一个能比价的数，代价不是
准确率之所以到处出现，是因为它可比较、可考核、能写进合同。
92 比 88 好。这句话不需要上下文就成立。
代价不行。同样一次误判，落在推荐排序里是少卖一单，落在合同抽取里是赔一份合同，两个都叫错，重量差着三个数量级。
所以准确率不是错，它只是缺了一半。缺的那一半，决定项目生死。
我听过三种补法。第一种说加人工复核，第二种说提高阈值，第三种说先小范围试。三种都对，都不够。不够具体的意思是，算不出一个数。
AI 产品的上线标准，应该长在这个数上。
二、把准确率换成四个数
期望错误成本 = 日处理量 × 错误率 × 单次错误成本 × 暴露系数。
暴露系数是我自己起的名字，用来把「多久发现」「能不能撤回」压成一个乘数。当天能查能改的取 1，第二天才发现的取 1.5，一个季度后被审计翻出来的取 3。这个数不精确，但它把「严重」这个词变成了可以上桌商量的大小。
算一笔能复算的账。
客服自动回复，一天 1000 单，错误率 3%，也就是 30 单错，每单要人工接手 12 分钟，暴露系数 1.5。30 × 12 × 1.5 = 540 分钟。一天。一个月按 21 个工作日算，一百九十来个小时，差不多 0.75 个人月。这还没算投诉和退款。
换一个场景。合同条款抽取，一天 200 份，错误率 2%，抽错一份合同要返工 3 天，暴露系数取 3，因为审计是季度来的。
4 × 3 × 3 = 36 个工作日。一个月，接近 1.7 个人月，而且是集中爆发的那种，不是平摊。
两个场景，92 分和 98 分。
第一个能上，第二个不能。差别不在模型，在错误落在哪一步、什么时候被发现。
我第一版不是这么算的。去年十月那版抄的是软件时代的验收模板，写 SLA、可用性 99.9%、响应时间 200 毫秒，写了整整七页。
业务方翻完第一页就放下了，说这不是我要的。
我问那你要什么。他说，我要知道它错的时候，我能不能接住。
那句话我记了两年。后来试了三条路。第一条是说服他接受 92%，失败。第二条是加一层人工复核，两周后复核的人开始直接点通过，失败得更彻底。第三条是把上线往后推，推了十八天。
推的那十八天里我第一次怀疑，是不是我把一个简单问题搞复杂了。一个产品经理，非要给业务方算账，是不是有点自以为是。
后来想通了。我不是在算账，我是在把「谁承担」这件事从会议室里挪到纸面上。
三、上线判据表，四行就够
现在这张表我每次评审都投上去，四行。填不出来，说明方案没准备好，不是模型没准备好。
| 四问 | 怎么填 | 填不出来时的处置 |
|---|---|---|
| 谁承担 | 写具体岗位名，不写部门 | 写不出名字，标准就一定写不准 |
| 单次多贵 | 换算成钱、工时，或一条合规记录 | 换不出钱就换工时，工时也换不出，说明这个错不严重 |
| 多久发现 | 当场、第二天，还是季度审计 | 晚于一个业务周期，必须加可撤回设计 |
| 能不能撤回 | 能改、能补，还是不可逆 | 不可逆的地方必须留人，这一步没得省 |
表填完，再看三条判定线。三条都是硬的，不是建议。
第一条，一个月的错误总成本不超过这个功能月毛利的 5%。超过就不是功能，是负债。
第二条，暴露时延不超过一个业务周期。月结的业务不能等到季度才发现。
第三条，可撤回，或者有一个人审闸。两样都没有的方案，不许上。
兜底只有三种做法，挑一种，别写「加个人盯着」。加人只是把成本从系统挪到工资表，账没消失，只换了个地方记。
抽检，10% 到 20% 的样本过人手。草稿态，先出草稿不直接执行。撤回窗口，24 小时内可撤销。三种的成本差得很远，抽检最贵，草稿态最便宜。
合规场景最贵，而且没得打折。
四、这张表有一半场景不适用
反面必须说清楚，不然它就成了万能钥匙。
推荐排序、文案润色、会议纪要初稿这类，错了的后果是再点一次。这种场景准确率仍然是唯一变量，给它配三重兜底纯属浪费，还会把产品拖死。我见过一个团队给内部搜索加了二次确认，一周后用户全跑回旧系统。
还有一种更隐蔽的失败，兜底吃掉毛利。
抽检 30%，就是三成工作量回到人身上。一个原本算得过账的项目，加上抽检立刻亏。有两个团队死在这一点上，都是上线三个月后才发现的。
所以这张表的用法不是四项全绿，是找出落在最坏格的那一项，专门为它设计一条路。四行里只要有一行同时填着不可逆和晚发现，其它三行的漂亮数字都不作数。
至于往后会怎么走，我押一句：采购合同里会出现「单次误判成本」这类条款，时间大概在十二个月内。盯招投标文件里这几个字，出现得越密，说明买方成熟得越快。这个判断可以被推翻，方式很简单，一年后随手翻十份合同，一份都没有，我认。
成本结构也跟着变了。模型调用越来越便宜，担保越来越贵。以前软件卖的是功能，现在卖的是「错了怎么办」。谁在卖担保，谁在赚钱。
回到那个会议室。业务方问完那句谁接，会开到第五十分钟。我把表投上去，第一行写着运营总监的名字。
他愣了一下，说这个我来签。
表填完，方案就上。不是因为准确率够了，是因为有人知道错了会怎样，也知道自己能接住多少。
散会前他又问了一句，一个月之后呢。
我说看那张表第一行，名字还在不在。
名字还在，就别急着换人。名字换了，先问新来的那个人愿不愿意签。