摘要
- 评估 AI 应看它被允许执行哪些动作、能否显示依据，以及人如何纠正结果。
- 试点需要任务级准确率、异常率、复核工时和回滚结果，而不是笼统的智能能力声明。
人工智能包含从数据中识别模式、生成内容或选择行动的多种技术。这个宽泛定义有助于理解领域，却不足以批准生产部署。文本助手、欺诈分类器和自主工作流即使都标为 AI，也会造成完全不同的失败后果。
第一道控制是决策权限。低风险工具可以给出文案，由人接受或拒绝；高风险系统可能修改客户记录、阻止付款或启动基础设施操作。后者需要明确且最小化的权限、可持续审计的记录、能查看的判断依据，以及有权撤销动作的负责人。
性能也必须放入真实流程衡量。团队应记录被接受的产出、错误动作、漏掉的异常、人工检查时间、工具失效后的恢复，以及数据变化后表现是否漂移。如果自动化制造了更多需要调查的个案，它可能只是转移成本。
可用性、延迟、数据处理方式和供应商变更，会让成功试验后的服务发生变化。关键决定应保留人工或替代路径，并确保必要记录可以带走。
下一项可信证据，应是针对固定任务的受监控试点，公开决策边界和纠正率。功能演示只能证明“可以做到”，不能证明运营可靠。
