数字化 · 验收清单
两场会,隔了三个月,同一家公司,同一间会议室。
第一场叫立项会。采购、IT、业务三方到齐,议题是买哪个模型、买多少额度、集成要不要外包。白板上写满单价、并发、上下文长度,散会时大家挺满意。
第二场叫验收会。人少了一半,采购没来。
业务负责人翻了半小时报告,抬头问了一句:所以这三百万,买回来了什么。
没人答得上。
我坐在靠门那一侧,手里那杯茶凉了,杯壁上挂着一圈褐色的印子,手一碰就滑。
企业 AI 的验收卡住的地方,从来不在模型能力。在这两场会用的不是同一门语言。
一、立项会算采购价,验收会算运行价
采购价是能谈的。三家比价,砍掉 15%,签个字就落定。
运行价谈不了。它藏在每个月的复核工时、返工返修、异常升级、审计抽查里,分散在七八个人的日程表上。没有人把它加起来看。
于是出现一个固定场面:采购账很漂亮,运行账在流血。没人负责让这两张表见面。
我见过最典型的一次,去年年底,项目上线第五个月,业务方自己去翻工单系统,发现一个月因为模型判错产生的返工有 214 张单。他把这个数发到群里。
群里安静了半小时。
那半小时里没人提预算。大家都在算自己那条线贡献了多少张。
二、三张表,分开记,季度对一次
后来我把这件事拆成三张表。三张表的周期不一样,硬要合成一张,必然有一张被牺牲。
| 表 | 字段 | 谁填 | 对账周期 |
|---|---|---|---|
| 采购账 | 模型调用、集成人力、许可与首年运维 | 采购 + IT | 按年 |
| 运行账 | 复核工时、返工工时、异常升级、审计抽查 | 业务负责人 | 按月 |
| 复用账 | 这套提示词、评测集、流程能带到几个场景 | 产品 + 技术 | 按季 |
运行账是最容易被漏掉的那张,因为它不进财务系统。
它只进人的加班。
算一笔能复算的。合同条款抽取,一天 200 份,人工原本 8 分钟一份,上线后 3 分钟一份,看着省了 5 分钟。按 21 个工作日算,一个月省下一百七十来个小时。
但误判率 2%,一个月错 4 份左右,每份返工 3 天,就是 12 个工作日,九十多个小时。
净赚大概两个人月出头。看着漂亮。
可是这笔账不算不知道,一算才发现,能带走多少比省几分钟重要得多。这是我的老毛病,先看省钱,后看复用,顺序一直反着。
复用账算的是另一件事:这套东西搬到第二个场景,要重做多少。重做 80%,第一单永远摊不薄。能带走 60% 以上,第二单才开始便宜。
三、验收会上问这七个问题
我把验收会压成七问,按顺序问,中途不插话。答不上来的,写在白板上空着,别替对方圆。
第一问,错误落在哪类样本上。要分布,不要均值。
均值 90% 的模型,可能在你们最重要的那 5% 样本上只有 60%。这句话问出去,会议室通常会停两秒。
第二问,一个月的返工工时是多少。要数字,要能追到工单。
第三问,谁在复核,复核占他多少工时。这一问最容易问出真相,很多人问到这儿才发现复核的人是兼职的。
我数过一次,一个中型项目一个月的复核工时加起来是七十来个小时,写进周报里只剩三行字。这三行字没人往下追。
追问下去,追到的往往是一个人的加班。
第四问,异常谁来关,升级路径几步。三步以内算清楚,超过三步就是没人管。
第五问,这套东西能带走多少,下一个场景要重做多少。
第六问,如果三个月后停止投入,会发生什么。这一问测的是它有没有长进流程,还是只是一个演示。
第七问,这条线谁签字。签字的人要能被追到,不能写「我们团队」。
七问问完,一般会剩下两三个空。空着的那些,就是下个季度的活。
验收会不是结论会,是暴露会。凡开成结论会的,下一年还会再开一次。
四、一条否决线,和它的失效边界
判断这个项目算不算成,我用一条线:运行账的月成本,不超过采购账年成本的六分之一。超过就是没落地,只是在跑。
这条线很粗,但它比任何满意度打分都实在。打分可以客气,工时不会。
我头一回填这张表,第一行写的是「业务部门」,被退了回来,要求写人名。当时觉得对方较真,后来明白,写部门等于没人。
反面得说清楚。有三类项目这条线完全无效,照用会误杀。
第一类,目标是接近 100% 准确的任务,比如金额校验、权限判定。这种必须用规则,不该用模型,验收的题目本身就错了。
第二类,标准还没共识的场景。谁都说不出什么叫对,验收会只能变成审美大会。
第三类,样本量太小。一个月 30 单的业务,2% 的误判就是 0.6 单。这个数没有统计意义,谈验收是自欺欺人。
这三类的共同点,是问题不在验收,在选型。选错了题,验收再严也是白搭。
还有一个我自己的私心,得说出来。
这套东西最初不是为了帮客户,是因为我被同一句话问住过两次。第一次在验收会上,第二次在第二年续约时。第二次我没答上来,那笔单子丢了。
丢单之后我把三张表做成了模板,逼自己每个项目都填。说难听点,是为了不再被问住。说好听点,是把挨过的质问变成了流程。
往后会怎么走,我押一句:两年内会出现「AI 验收」这么一个独立岗位,或者一门第三方服务。判断方式很土,去招聘网站搜「AI 验收」「AI 交付验收」,看职位数是不是在涨。一年后还是一个都没有,我认输。
成本结构上也变了。模型越便宜,验收越贵。便宜让上线的速度变快,速度变快,错的地方就变多。钱从「买能力」挪到了「买担保」。
谁在卖担保,谁就在赚钱。这话不难听,只是没人愿意在立项会上讲。
下次立项会,把验收会那几个人也叫上。让他们在签字之前,先看一眼运行账的样子。
这一条改完,很多项目根本不会启动。
这不算坏事。
