治理AI,不能只写在纸上

AI治理

最近看到一个有意思的现象:很多公司开始成立"AI治理委员会",出了一堆文件,然后……就没有然后了。

一个做技术管理的朋友跟我吐槽:"我们部门上了三个AI Agent,老板让我出一套治理方案。我写了个20页的文档,老板说很好,然后呢?然后Agent还是该怎么跑怎么跑,没人按我的文档来。"

这不是他一个人的问题。大部分公司的AI治理,还停留在"写文件"的阶段。微软最近发了一个AI治理框架,核心观点我很认同:治理不能只存在于纸面上,必须嵌入到系统的运行时里。

这个判断,对技术管理者来说是一个挺重要的提醒。

为什么AI治理和传统软件治理不一样?

传统软件的治理很简单:代码是确定性的。同样的输入,永远得到同样的输出。你可以做Code Review,可以跑单元测试,可以在上线前做回归测试——这些都是有效的手段。

但AI系统不一样。AI的输出是概率性的,同样的输入可能给出不同的输出。更麻烦的是,AI Agent的行为链路越来越长——从接收用户请求,到调用工具,到访问数据库,到生成回复——这中间的每一步,都不是简单的"输入-输出"关系。

这意味着什么?意味着你不能用管理"员工"的方式来管理AI。员工理解"原则上不允许"是什么意思,AI不懂。AI要么被代码阻止了,要么就没被阻止。纸面上的"不允许",对AI没有任何约束力。

大部分公司的AI治理,到底哪里出了问题?

我了解到的情况是,大部分公司的AI治理流程是这样的:

1. 合规部门写一份政策文档

2. 技术部门收到文档,照着做了几个规范

3. 规范发到内部Wiki,全员通知

4. 然后……该干嘛干嘛

这个流程的问题不在于文档写得不好,而在于文档写完了之后,没有变成可执行的规则

举个场景:你的政策里写着"AI不能访问用户敏感数据"。但你的Agent在生产环境里调用了数据库,它的查询条件里包含了用户的手机号。这个行为,靠一份文档是拦不住的。你不可能每次都去检查Agent到底查了什么。

再比如:"AI模型的输出不能有歧视性内容。"这个原则很好,但你怎么在每次模型调用时都验证输出是否合规?靠人工审核?你的Agent每天调用几万次,你审得过来吗?

所以问题不在于"有没有治理",而在于治理是不是真的在运行

从纸面到运行时,到底要做什么?

微软的这个框架,核心是四个环节:政策、控制、可观测性、证明。翻译成大白话就是:

1. 定规则——哪些事能做,哪些不能做

2. 把规则变成系统里可执行的代码

3. 实时监控系统行为,看是不是符合规则

4. 出了问题能追溯,拿出证据

这里面最关键的一步是第二步:把纸面规则变成运行时的控制

微软的做法是通过AI网关来做运行时拦截——每个Agent的每次调用,都要经过身份验证、令牌限制、配额管理和策略执行。不是"事后审查",而是"过程管控"。

这个思路我是认同的。大部分技术管理者习惯的治理方式是"审计式"——定期检查,发现问题,整改。但AI系统的风险是实时的、动态的,定期检查根本跟不上。

对技术管理者来说,这意味着什么?

我觉得有三个关键的思维转变。

第一,治理不是一次性项目,是持续的运营过程。

很多管理者把"AI治理"当成一个合规项目来做:成立小组、写方案、评审、上线、结项。但AI系统的行为是随时间变化的——模型会更新,数据会漂移,用户习惯会变化。你三个月前合规的系统,今天可能已经不合规了。

所以治理需要嵌入到日常运营中,就像运维监控一样,是持续的,不是一次性的。

第二,治理的颗粒度要从"系统级"下沉到"行为级"。

传统的安全治理是在系统层面:谁能登录、谁能访问什么模块。但AI治理需要下沉到行为层面:这个Agent这次调用,访问了哪些数据,用了什么权限,输出了什么内容,是否触发了人工审批。

这个颗粒度的变化,对管理者的思维方式是一个很大的挑战。你不能只看"这个系统安不安全",你要看"这个Agent的每次行为是不是在可控范围内"。

第三,审计证据要从"事后补"变成"自动沉淀"。

大部分公司的合规审计是这样的:审计部门来检查了,大家赶紧补文档、补记录。这种模式在AI时代行不通,因为AI系统的行为量太大了,你补不过来。

审计证据必须是系统自动生成的——每个Agent的每次决策、每次工具调用、每次数据访问,都有完整的日志和追溯链。不是为了应付检查,而是为了在出问题时能快速定位根因。

说到底,这是一个管理认知的问题

我观察到一个有意思的现象:很多技术管理者对AI治理的理解,还停留在"安全合规"的层面。他们觉得AI治理就是"防止AI做坏事",所以思路是加限制、加审批、加监控。

但AI治理的本质,不是"限制",而是"可观测"和"可追溯"。

你不可能预测AI会做什么,但你可以做到:它做了什么,你全知道;它为什么这么做,你能追溯;它的行为越界了,系统能自动拦截。

这才是AI治理应该有的样子。

微软提出的九个治理领域——政策、数据治理、模型治理、可观测性、评估、安全、身份与访问、审计与合规、Agent治理——看起来很多,但核心就是一句话:让治理跑在系统里,而不是挂在墙上。

大部分公司离这一步还有相当的距离。不是技术上做不到,而是管理认知还没到位。

很多管理者还在想"我们是不是该成立一个AI治理委员会"。这个问题的答案不重要。重要的是:你的AI系统在生产环境里的每一个行为,你都知道吗?都能追溯吗?都能在出问题时拿出证据吗?

如果不能,你有再多的委员会也没用。

AI治理,不是写在纸上的规则,是跑在系统里的代码。这是微软这个框架给我最大的启发。

当AI能替你写代码、替你访问数据、替你调用接口、甚至替你跟客户沟通的时候,你需要的不是一份20页的治理文档,而是一套能确保这些行为每一毫秒都在受控范围内执行的运行时机制。

这才是治理AI的正确姿势。写在纸上,不如跑在系统里。

You voted 4. Total votes: 14

添加新评论