|
来源:微信公众号 HavenlonLabs 过去一年,企业对人工智能(AI)的还没好让预期被彻底重塑。 起初,准备AI 仅被视为更智能的工点搜索工具。它负责回答问题、按钮总结文档、企业撰写邮件、还没好让生成代码及整理会议纪要。准备这一阶段的工点风险主要局限于“信息输出”层面:如回答错误、产生幻觉或准确性不足。按钮即便被误导,企业系统本身的还没好让状态并未发生改变。 然而,准备随着 AI Agent(智能体)的工点出现,局面发生了根本性变化。按钮 AI 不再局限于提供建议,而是开始接管企业核心系统——包括 CRM、ERP、财务系统、工单处理、运维平台、邮件客户端、代码仓库、数据库后台及云控制台。AI 的角色从“建议者”转变为“执行者”,越来越接近“直接代为操作”。 这正是当前企业尚未做好准备的痛点所在。 过去,企业安全体系的核心逻辑仅关注一点:谁可以访问什么? 而 AI Agent 引入了一组全新的安全命题:谁可以执行什么?在何种条件下执行?执行前是否有独立约束?执行后是否有可验证的证据? “访问权限”与“执行权限”仅一字之差,背后却对应着两套截然不同的安全模型。目前,绝大多数企业仅构建了前一套体系。 一、从管控“人”到管控“动作”传统企业系统的安全架构几乎完全围绕“人”展开。 员工拥有账号,账号绑定角色,角色赋予权限,权限决定可视范围、可改内容及可审批事项。这一模型在过去行之有效,因为关键动作最终均由具体自然人完成。 无论是财务发起付款、运维重启服务,还是客服处理退款、销售调整报价,系统基于一个基本假设:只要账号归属明确、权限合规且界面上有确认按钮,该动作即代表“人的真实意图”。 AI Agent 打破了这一假设。 当员工将 AI 集成至工作流,许多操作不再由人工逐个判断与点击,而是交由 AI 代劳。AI 可读取邮件并生成回复、分析工单并调用接口、查看客户记录并更新状态,甚至仅凭一句自然语言指令,即可跨系统连续操作。 此时,企业面临的风险不再是“该员工是否有权限”,而是:一个继承了员工权限的 AI,正在代替员工执行动作。 由此引发的核心矛盾包括: 这是 AI Agent 进入企业后的首个结构性错位:企业的权限系统仍在管理“人”,但实际风险已转移至“动作”层面。 二、最危险的不是 AI 产生幻觉,而是错误直接转化为业务结果许多企业讨论 AI 风险时,仍停留在“幻觉”(Hallucination)层面:AI 是否会编造事实?是否误解问题?是否提供不准确的答案? 这些固然重要,但在企业系统环境中,比“AI 说错”更致命的是 “AI 做错”。 说错一句话,通常有人工判断与纠正的空间;但做错一个动作,系统状态可能已被不可逆地改变。 典型场景示例: 这些问题的根源不在于模型智能程度,而在于:在“错误理解”与“真实执行”之间,缺乏一道强有力的边界。 在传统软件中,错误输入通常仅影响单个页面、请求或流程,影响范围有限。但在 Agent 的工作流中,错误会被链条不断放大:
链条越长,越不应仅依赖“首次授权”作为兜底。企业真正需要控制的,不再是 AI 能否访问系统,而是 AI 能否真正改变系统状态。 三、为何“人类确认”并非万能解药许多企业认为:关键操作让人工确认即可。 这确实是必要措施,但并不充分。 在 AI Agent 场景下,人类确认的往往不是“真实执行细节”,而是“被包装过的意图摘要”。 屏幕上显示的可能是:“是否同意处理这批客户退款?” 然而,真实执行背后隐藏着复杂细节: 人看到的是摘要,系统执行的是细节。 这是企业 AI 安全中最易被忽视的盲区:用户点击确认,不等于执行过程是安全的。 尤其当执行计划由 AI 生成时,确认页面可能仅是对 AI 解释结果的确认,而非对底层执行载荷(Payload)的确认。换言之,用户可能在确认一个“看似合理的描述”,而系统最终运行的是另一组更复杂、更具体、难以逐项核对的动作。 人类确认并非无用,但不能作为唯一边界。企业真正需要的是: 否则,“人在环路”(Human-in-the-loop)极易退化为心理安慰——看似有人确认,实则真相不明。 四、访问权限系统无法解决执行权限问题企业习惯使用 IAM(身份访问管理)、RBAC(基于角色的访问控制)、审批流及审计日志来管理权限。这些机制依然重要,但它们主要回答的是:谁能登录、谁能访问、谁能查看、谁能发起、谁已审批。 而 AI Agent 提出的问题更为深入:它到底执行了什么?
两者不可混淆。 举例说明: 这些动作均发生在“访问之后”。 因此,仅询问“账号是否有权限”远远不够。真正需要追问的是: 若企业仅用访问权限管理 AI Agent,将导致一种尴尬局面:门禁系统滴水不漏,但门后的机器无人监管。 五、AI Agent 会放大企业系统中的旧有漏洞许多 AI 风险并非新事物,而是旧问题的规模化放大。 过去,员工也会误操作,权限配置可能过宽,审批流可能流于形式,日志可能无人审计,系统间可能缺乏边界。但在“人操作系统”时代,这些问题速度慢、规模小、链条短,出错后往往有补救余地。 AI Agent 的不同之处在于:它将旧问题自动化、规模化、连续化。
因此,企业不能仅将 Agent 视为“效率工具”,它同时是一个新的执行主体。 它可能无恶意,但拥有速度;它可能无主观攻击意图,但手握权限;它可能只想完成任务,但不知哪些边界不可触碰。 这也是为何 AI Agent 的企业落地,不能仅谈“效率提升”,更应探讨:当一个效率工具具备执行能力时,企业是否已准备好控制它? 六、真正缺失的,是一层“执行边界”企业当前最急需补充的,不是更多的聊天窗口或审批页面,而是一层清晰的执行边界(Execution Boundary)。 这层边界需回答以下朴素问题: 这层边界并非简单的“允许/拒绝”,而是企业系统中的刹车、限速器与黑匣子:
这就是企业需从“访问控制”转向“执行控制”的原因。访问控制管理入口,执行控制管理结果。在 AI Agent 时代,企业不能在门口设防,因为真正改变现实的是门后的执行动作。 七、为何此事不能仅靠软件自身管理一个自然的想法是:既然 AI Agent 和企业系统都是软件,在软件中增加规则即可。 这虽是第一步,但绝非终点。 当软件本身具备执行能力时,让同一套系统同时负责“发起动作”和“约束动作”,会产生天然的利益冲突。
这些系统的本能都是促进动作发生。 而执行边界的职责恰恰相反:它必须有能力说“不”。 这意味着,执行控制不应完全依附于业务系统,也不应仅是 Agent 框架中的可选插件。它应尽可能靠近真实执行点,独立判断“该动作是否发生”。 例如: 如此,即便上层系统误判、AI 理解错误、用户被诱导点击确认,在真正执行前,仍有一道独立边界拦截。 企业真正需要的,不是相信“AI 永不犯错”,而是默认“AI 必会犯错”,并将系统设计为——让错误难以演变为灾难。 八、执行权,需要被单独“看见”在实践执行控制的过程中,我们愈发确信一个判断:AI 时代,企业系统最需要重新认知的,不是“智能”本身,而是“执行权”本身。 过去,执行权分散埋藏于各业务系统中:财务系统、运维平台、数据库后台、云控制台、邮件系统、交易系统均拥有执行权。 在人类主导操作年代,这些执行权隐藏在按钮、表单、接口和审批流之后,鲜少被单独讨论——因为默认最后点击按钮的是人。 AI Agent 的出现,重新暴露了执行权。 当 AI 可跨系统调用工具时,企业必须重新回答那些被搁置已久的问题: 这正是“执行控制”概念变得重要的原因。 它并非为了反对 AI,恰恰相反——它是为了让 AI 能够进入更高价值、也更高风险的企业场景。
AI 要进入企业深水区,必须先解决执行边界这道题。 九、企业需准备的,是一套 AI 执行治理模型许多企业至今仍用“部署 AI 助手”的思路理解 Agent。 但真正的问题从来不是“有没有助手”,而是:企业是否准备好让助手参与执行? 这需要一套全新的治理模型,至少包含五层区分:
若缺失上述能力,企业接入 AI Agent 的速度越快,越可能将旧系统中积累的权限、流程与审计问题,放大至失控规模。 结语:企业尚未准备好的,不是 AI,而是那个按钮AI 进入企业,不仅是增加一个智能入口,更在改写企业系统最底层的操作关系:
这意味着,企业不能再仅问“AI 能否回答得更好”,而必须追问:AI 能否被安全地允许去做事? 真正的分水岭,不在于企业是否准备好使用 AI,而在于企业是否准备好让 AI 替员工按下那个按钮。 因为按钮背后,绝非只是一个界面。 按钮背后,是权限、资金、数据、客户、设备、生产系统,是一连串真实世界中无法撤销的结果。 在 AI Agent 时代,企业真正需要补上的,不是更漂亮的交互界面,也不是更繁琐的审批流程,而是一层更清晰、更独立、更可验证的执行边界。 只有当执行被真正控制,AI 才能从一个“会说话的工具”,进化为一个“可被信任地参与企业运行的系统”。 否则,企业永远不会真正将关键按钮交给 AI。 它最多,只会让 AI 站在按钮旁边——继续撰写它的建议。 本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 tougao@huxiu.com。 本文来自虎嗅,原文链接:https://www.huxiu.com/article/4873819.html?f=wyxwapp |

