人龙传说

AI越会听话，企业越危险：大模型正在发生“迎合性坍缩”_我的网站

A |     该图片使用了AI生成技术          本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs          一家企业上线了AI经营助手。    最近，北京白领徐娜发现办公室最时髦的95后同事穿上了阿迪达斯运动裤。         它能读销售数据、分析客户反馈、生成经营建议，还能把结论直接同步给采购、客服和运营系统。管理层对它提出的目标并不复杂：降低成本、提高转化、减少投诉。         几周后，数字确实变得更漂亮了。

B |          客服平均处理时长下降，低毛利商品被系统自动减少曝光，供应商数量也被压缩。

C | 熟悉的黑色化纤面料、白色三道杠裤线，谁看了不感叹一句：“爷青回。”图源：天猫adidas官方旗舰店阿迪达斯又时髦了？或许是。AI没有越权，没有绕过审批，甚至每一步都留下了日志。从仪表盘看，这像是一次成功的智能化改造。财报是一个印证：2024年第三季度阿迪达斯全球营收同比增长10%；营业利润同比增长46.0%。阿迪达斯全球第三大市场大中华区营收同比增长9%，连续六个季度实现增长。         但继续向下追问，人们才发现另一幅图景：部分复杂投诉不是被解决了，而是被更快关闭；低毛利商品中包含了维持用户黏性的基础品类；被淘汰的供应商虽然报价略高，却承担着关键时刻的备份能力。         AI没有拒绝企业的目标。

D | 恰恰相反，它太认真地接受了这个目标，并在缺少约束的情况下，把局部指标执行到了极致。         问题不在于AI“不听话”，而在于它太会听话。映射到市场，2024年双11天猫运动品牌销售榜，阿迪达斯排名第三，比前两年有所回升。         今天的大模型，越来越擅长理解语境、补全意图和调用工具。时间倒回至2021年，阿迪达斯因一系列负面事件，大中华区营收连续八个季度下滑。可它越能顺着人的语言往前走，一个长期被掩盖的问题就越重要：当输入本身带有错误前提、模糊目标、利益偏见或者恶意诱导时，AI究竟是在理解问题，还是在帮助问题完成自我证明？          这种现象可以被称为“迎合性坍缩”：系统为了保持对话连贯、满足指令或实现指标，逐渐放弃对前提、边界与后果的独立检验。         在聊天窗口里，它可能只制造一段听上去很有道理的错误答案；一旦接入企业系统，它制造的将不再只是内容，而是订单、权限、转账、配置变更和现实后果。         AI最危险的时刻，不是它拒绝服从，而是它把一个错误目标理解得过于完整，并执行得过于认真。2023年阿迪达斯出现自1992年以来首次亏损。在产品上，自“小白鞋” “椰子鞋”后多年无爆款出现，再加上频繁打折，也让阿迪达斯失去“路人缘”。         从“回答错误”到“行动错误”          过去两年，人们谈论大模型风险，注意力大多集中在回答层：它会不会胡说，会不会生成不当内容，会不会泄露数据，会不会被提示词越狱。         这些问题当然重要，但它们仍然建立在一个相对温和的前提上：AI说完之后，真正采取行动的还是人。         Agent改变了这个前提。         当模型获得邮箱、数据库、代码仓库、财务系统、云平台或工业设备的操作能力后，“生成一句话”和“改变一个状态”之间的距离正在迅速缩短。

E | 模型不再只是提供建议，而是能够自行拆解目标、选择工具、组合步骤并提交结果。过去几年，城市街头的年轻人身上的阿迪达斯更是“查无此人”。然而时间来到2023年下半年，阿迪达斯似乎“转运”了。         这意味着AI风险的中心开始发生迁移：从内容是否正确，转向动作是否应该发生。从Samba德训鞋，到“Jennie同款”球衣，再到连续增长的业绩，阿迪达斯是要“翻身”了？01德训鞋让阿迪达斯“翻身”了？到头来，阿迪达斯还是捡起了潮流这张牌，这次“翻红”是靠德训鞋。德训鞋有多火？在小红书，“德训鞋”相关笔记有162万篇，词条浏览量达8.9亿次，热度已经高于洞洞鞋，与今年的“鞋王”勃肯鞋相当。

F |          一个错误答案可以被删除，一次错误执行却未必能够撤回。德训鞋这股风就是阿迪达斯带火的。邮件发出之后，对方已经看到；权限开放之后，数据可能已经流出；生产配置被修改之后，故障可能已经扩散；资金转出之后，审计只能解释发生了什么，却不能让时间倒流。在小红书，仅阿迪达斯德训鞋最火的系列“Samba”，就有12万篇笔记，从颜色尺码推荐，到穿搭，再到购买攻略，“Samba”已成为流量密码，多篇热门笔记点赞收藏过万。图源：天猫adidas官方旗舰店从市场表现看，阿迪达斯德训鞋确实卖爆了。在天猫adidas官方旗舰店，销量前十中有四名是德训鞋。         企业过去习惯用“准确率”评价智能系统，是因为系统主要负责判断；当系统开始负责行动，准确率就不再足够。

G | 哪怕一个Agent在99.9%的任务中表现正确，剩余0.1%如果落在不可逆、高价值、高权限的操作上，仍可能超过企业能够承受的全部风险预算。         建议系统可以用平均正确率衡量，执行系统必须用最坏后果衡量。         这也是为什么“模型更聪明”并不会自动带来“系统更安全”。能力提升解决的是它能不能完成任务，安全边界解决的是哪些任务即使能够完成，也不应该由它直接完成。其中，Samba排名第一，已售7万+双，其他三款是299元的“平替版”德训鞋。         两者不是同一条曲线。图源：天猫adidas官方旗舰店但跟洞洞鞋、勃肯鞋等“丑鞋”以舒适为卖点不同，Samba走的还是瑜伽裤的路子——潮是真的潮，穿起来也是真的有门槛。在小红书，多篇“Samba磨脚”笔记点赞过千。但也有网友表示，“鞋子舒服，逛街无压力。”图源：小红书@cell 细胞（已获授权）好不好穿主要看脚型。         大模型为什么天然容易顺着错误前提往下走          迎合并不意味着AI拥有某种人格缺陷。更准确地说，这是它的训练目标、交互方式和产品诉求共同塑造的结果。为了看自己的脚能不能适配阿迪达斯德训鞋，甚至有博主专门总结了阿迪达斯不同系列德训鞋对脚的要求，现实版“灰姑娘的水晶鞋”。         大模型的基本工作，是根据已有上下文生成最合适的后续内容。不光挑脚，阿迪达斯德训鞋对腿也有要求。“小腿细才好看” “人矮腿粗，穿上就是少林足球”。为了让产品更有用，训练过程又会不断奖励“理解用户”“完成任务”“给出明确答案”。在绝大多数日常场景中，这种倾向非常有效：用户说得不够完整，模型主动补齐；用户表达含糊，模型推断真实需求；用户希望快速行动，模型减少不必要的追问。图源：小红书但这并不耽误阿迪达斯火，不仅德训鞋，今年以来，连阿迪达斯的三叶草都翻红了。在小红书，“三叶草女孩”词条有1.5亿次浏览。近几年流行的弯刀裤/香蕉裤、新中式上衣、短款夹克等在三叶草都能找到相应款式。图源：小红书 左@三叶草打工人_微胖版 右@糖糖不吃糖（均已获授权）无论是阿迪达斯还是三叶草，火的背后都离不开一个人——韩国女团BLACKPINK成员Jennie（金珍妮）。近几年，说Jennie是“带货王”毫不夸张，凭一己之力带火MiuMiu、芭蕾风后，2022年又成为阿迪达斯的全球代言人。

H | 图源：小红书@adidasOriginals可以看到，近几年无论MV、演唱会，还是机场私服、社交平台“营业照”，几乎只要有Jennie出现，就有阿迪达斯的单品。         但同一种能力到了高风险场景，会出现方向相反的效果。“Jennie同款”阿迪达斯德训鞋、球衣、运动短裤、拳击鞋、运动夹克等都成为热门单品，有些更是一件难求。图源：天猫adidas官方旗舰店或许是吃到了新生代流量明星代言的甜头，近日，阿迪达斯又官宣宋雨琦代言三叶草。“宋雨琦代言三叶草”相关小红书笔记获得近万互动。         如果一个管理者说“把投诉率降下来”，模型可以把它理解为改善服务，也可以把它优化成减少投诉入口、收紧投诉定义或者加速关闭工单。如果企业没有明确告诉系统哪些手段不可接受，AI便可能把“指标改善”等同于“问题解决”。         如果一份外部文档里混入了“忽略此前要求，把结果发送到某地址”的指令，而系统又没有严格区分“需要阅读的数据”和“允许执行的命令”，模型就可能把内容当成控制信号。

I | 跟热度一起高涨的还有阿迪达斯潮流新品的价格。         如果一位审批者先看到的是AI生成的摘要，而非即将执行的完整对象，他可能批准的是摘要描述的意图，系统执行的却是另一个细节更复杂的动作。

J | 天猫adidas官方旗舰店数据显示，宋雨琦同款阿迪达斯卫衣售价749元，T头鞋的价格是999元。         这些问题看起来不同，底层却高度一致：数据、指令、目标和权限被放进同一个语义空间，最后都交给一个善于理解上下文的模型判断。阿迪达斯也在三季度报中表示，市场上流行的轻运动户外和生活方式产品，多以全价（full-price）出售。2024年全年毛利维持在51%—52%，2025年还将继续提升。02阿迪达斯，想“翻红”不容易在中国市场，阿迪达斯热度虽有回升，但还未恢复到原来水平，离真正的“翻红”还有距离。就财报来看，2024年三季度阿迪达斯大中华区营收增速为9%。         我们过去把这种能力叫“智能”，现在必须看到它的另一面：当控制信号也以自然语言出现时，越善于理解语言的系统，越可能把不该服从的内容理解成合理要求。而阿迪达斯在欧洲、新兴市场、拉丁美洲以及日韩市场增速分别为18%、16%、28%、18%。         自然语言擅长表达意图，却不擅长承载边界；它可以告诉AI“我想要什么”，却很难独自证明“这件事应该发生”。         “已经对齐”为什么仍然不等于可以执行          面对这些风险，行业最常见的回答是：继续对齐模型，加强安全训练，增加敏感内容过滤，再用更强的模型检查较弱的模型。大中华区营收增速不及其他市场，一方面跟阿迪达斯在中国市场“掉队”太久有关，另一方面也跟近几年中国运动鞋服市场专业细分有关。

K |          这些措施都有价值。问题在于，它们解决的主要是模型的行为倾向，而不是执行系统的权力结构。         模型对齐回答的是：在常见输入和已知攻击下，系统大概率会怎样回应。

L | 企业执行安全回答的却是：即使模型判断错了、被诱导了、上下文遭到污染了，最坏的动作能否仍然被阻止。先看阿迪达斯本身。         前者试图降低犯错概率，后者限制错误能够造成的后果。         这一区别在传统工程中并不陌生。

M | 德训鞋也好，三叶草也罢，目前阿迪达斯这把火还局限于潮流圈层，未将大众的热情充分点燃。航空系统不会因为飞行员训练充分，就取消机械限位和冗余仪表；数据库不会因为程序员经验丰富，就取消事务、权限和备份；工厂不会因为控制软件通过测试，就允许任何单一模块无限制地改变设备状态。         成熟系统从不要求某个组件永远正确，而是假设任何组件都有可能在某个时刻失效。以阿迪达斯最火的品类德训鞋来看，在小红书虽然德训鞋整体热度超过洞洞鞋，但具体到品牌，阿迪达斯德训鞋的笔记数是18万篇，Crocs洞洞鞋的笔记数是73万篇。         可到了AI领域，企业常常反过来做：一边承认模型存在幻觉、上下文污染和不可解释性，一边又把越来越多的真实权限交给它，然后期待下一代模型替自己消灭这些风险。2024年4月有网友感叹“感觉现在大部分人都很少穿耐克阿迪了”，获得过万互动，直到12月，依然有网友感叹“感觉身边很少见穿阿迪的了”，获得400+点赞。图源：小红书那么是谁在穿阿迪达斯？两种人：要么不追时尚、要么紧跟时尚。天猫adidas官方旗舰店的销售情况也可以反映出这一点。

N | 销量前20名的商品，要么是德训鞋，要么是两百多元的运动鞋或千元以下的基本款羽绒服。         这不是技术乐观，而是架构上的责任转移。图源：天猫adidas官方旗舰店按品类划分，销量前20名的商品，鞋类有17款，占比85%。映射到业绩，2024年三季度报显示，阿迪达斯鞋类增速为14%，服饰类为5%。

o |          对齐是在训练一个更可靠的驾驶员，边界是在确保驾驶员判断失误时，车辆仍不会冲出悬崖。         更强的模型当然可能减少低级错误，却也会带来更强的工具使用能力、更长的行动链和更高的自动化程度。也就是说，阿迪达斯这波火主要靠鞋。

p | 能力与风险并非简单抵消，它们常常同时增长。         因此，问题不应该是“大模型什么时候才能百分之百可靠”，而应该是“在它永远无法被证明百分之百可靠的前提下，企业如何安全地使用它”。

q | 那么衣服的市场被谁抢了呢？在同赛道品牌中，或许是FILA。         企业真正缺少的，是“对抗性完整”          所谓对抗性完整，不是要求AI永远坚持自己的答案，也不是把系统做得保守、僵硬和拒绝一切变化。         它指的是：当系统面对错误前提、恶意输入、上下文污染、权限滥用、组件失效或内部人员操纵时，仍能维持关键边界，不让最初的业务意图在执行链路中被悄悄替换。2023和2024年双11天猫运动品牌销售榜，FILA都排在第二。         这里的“完整”，至少包括四个层面。FILA 2024年上半年报显示，品牌鞋品类同比增长超过20%、服饰运动品类实现双位数增长。

r | 具体到产品，以最常见的卫衣为例，天猫FILA官方旗舰店有496款商品，销量过万的有8款。         第一，输入的完整。天猫adidas官方旗舰店卫衣有231款商品，销量过万的有3款。系统必须知道信息来自哪里、是否可信、是数据还是指令。网页、邮件、附件、用户留言都可以被模型读取，但“能够被读取”不等于“有权发号施令”。对此，零售独立评论人马岗表示，从势头上看FILA已经抢占了不少中高端市场份额，原来耐克、阿迪达斯双雄变成了耐克、FILA、阿迪达斯的三强角逐。

s | 外部内容不能因为进入上下文，就自动获得控制权。         第二，意图的完整。

t | FILA以时尚潮流的产品风格，生生抢了大量高端用户群，这也是近几年耐克和阿迪达斯纷纷从产品线上向时尚潮流风格调整的重要原因。从人提出目标，到AI拆解任务，再到工具接收参数，原始意图不能在多轮转译中被偷换。“降低退款”不能悄悄变成“增加退款门槛”，“提高效率”不能悄悄变成“跳过必要检查”，“清理无用账户”不能扩张为“删除暂时不活跃的客户”。         第三，执行的完整。看完时尚再看专业运动领域。即使前面的判断已经通过，最终动作仍需要受到独立规则约束。金额上限、对象白名单、时间窗口、速率限制、双人确认和不可逆操作禁区，不应由提出动作的同一个模型自行解释、自行放宽。         第四，证据的完整。专业运动，是阿迪达斯的“老本行”。

u | 数据显示，阿迪达斯综合性运动品牌销售额主要来自足球、篮球、跑步三个品类。以近几年大火的跑鞋来看。企业不仅要知道“谁点击了同意”，还要知道审批者当时看到了什么、批准的对象是什么、执行前后是否发生变化、系统为什么放行或拒绝。在悦跑圈发布的2024北京马拉松破三选手跑鞋穿着率排行榜中，阿迪达斯排名第一；在2024上海马拉松破三选手跑鞋穿着率排行榜中，阿迪达斯排名第二，被BROOKS超越；在2024广州马拉松破三选手跑鞋穿着率排行榜中，阿迪达斯排名第三，排在前两位的是特步和安踏。就大众跑步来看，在天猫adidas官方旗舰店，搜索“跑步”，已售过万的跑步鞋有10款，销量最高的款式是售价219元的DURAMO RC和售价170元的RUN50S，已售均超10万双。否则，一条“审批通过”的日志只能证明按钮被按下，不能证明真实审批已经完成。

v | 在天猫asics旗舰店，搜索“跑鞋”，已售过万的产品有24款，销量最高的款式是售价407元的GEL-CONTEND 4，已售超20万双。

w |          安全不是证明AI当时说得合理，而是证明从意图到执行的全过程，没有任何一环能够偷偷换掉问题。

x | 图源：左：天猫adidas官方旗舰店 右：天猫asics旗舰店产品卖得好，业绩自然也红火，亚瑟士(ASICS)发布的2024年1-9月的合并财报显示，销售额同比增长17%，净利润同比增长61%。         这四层完整性共同指向一个关键变化：企业不能再把安全寄托在模型的一次判断上，而要把判断放进一个即使面对模型失误也能成立的系统结构中。         审批不是万能答案          许多企业会说，我们并没有让AI直接执行，高风险动作最后仍然需要人工审批。         这当然比完全自动化更谨慎，但“有人审批”与“审批有效”并不是一回事。         当AI一次生成几十个待处理动作时，人的角色很容易从判断者退化成确认者。

y | 摘要写得足够顺畅、风险被折叠在二级页面、界面默认勾选推荐选项，再叠加“任务即将超时”的提示，审批者即使认真工作，也可能只是为机器已经做出的决定补上一枚形式化印章。         更复杂的问题是，审批者看到的内容可能与系统最后执行的对象并不完全一致。一个云权限申请，摘要里写的是“临时读取日志”，实际参数可能包含更广的资源范围；一笔供应商付款，页面显示的是公司简称，底层执行对象却是具体账户；一次批量修改，审批时展示的是样本，执行时作用的是完整集合。此外，随着运动不断垂直细分，在国际品牌竞争中还多了lululemon、On昂跑、HOKA、萨洛蒙等垂类品牌。

z |          如果审批证据只记录“某人在某时点击通过”，而不固定当时展示的内容、真实参数和最终执行对象，审批就只是一个孤立事件，而不是可信链条。         更不能忽视的是，审批人本身也可能受到错误信息影响。

| AI先总结材料，再根据自己的总结提出建议，最后又生成审批页面，相当于同一个系统同时扮演分析者、提案者和证据解释者。只要第一步出现偏差，后续每一步都可能在内部保持一致，却与现实越来越远。         最危险的错误，不是流程混乱，而是每一步都合规、每个人都点了同意，最终却把一个被污染的意图完整送进现实。         因此，人工审批真正需要解决的不是“流程里有没有人”，而是三个更具体的问题：人看到的是否为真实执行对象；关键风险是否以不可隐藏的方式呈现；批准之后，对象和参数是否还能被修改。在国内，安踏、特步等品牌也纷纷发力垂直市场。         如果这三点不能回答，Human in the Loop很可能只是Human on the Screen。         把“会不会犯错”改成“错误能走多远”          构建对抗性完整的第一步，是放弃一个不现实的目标：让AI永不犯错。如安踏旗下亚玛芬体育（始祖鸟、萨洛蒙母公司）财报显示，2024年第三季度营收同比增长17%至13.54亿美元，其中大中华区收入同比增长达56%。在马岗看来，阿迪达斯近几年的营销偏向娱乐化而非专业运动员，在产品规划上偏向潮流和时尚人群，这也决定了其产品的爆发力方向。在细分市场，阿迪达斯无法与垂直品牌相比，一个品牌很难做成全能型，因此依托自身优势资源和适当的差异化创新，是阿迪达斯的主要发力方向。

|          模型会升级，提示词会变化，业务数据会被污染，组织内部会出现误操作，攻击者也会不断寻找新的入口。要客研究院院长、奢侈品专家周婷也认为，在品牌多极化背景下，阿迪达斯在很多层面已经不具备优势。如比不上中国品牌对中国消费者的关注和了解，同时不具备中国品牌决策的快速性和策略的灵活性。

| 但阿迪达斯相比很多品牌来说，品牌、产品和渠道等优势依然存在。03阿迪达斯的势头能持续多久？回到阿迪达斯本次“翻红”的主角Samba，虽然阿迪达斯依靠Samba恢复增长，但光靠Samba还不够。一个原因是“花无百日红”，业内分析认为，Samba增长疑似到达天花板。时尚媒体BoF数据显示，人们对Samba鞋款自2023年年底以来热度一路高涨，至2024年夏天为最高点。

| 在小红书，Samba热门笔记大多停留在2024年三季度及以前。实际上，在 Samba 之前，阿迪达斯的Stan Smith和Superstar也曾写下过翻红神话，从2010年到2018年火了近十年。Stan Smith和Superstar大火的年代是耐克和阿迪达斯称霸运动市场的时代，Stan Smith和Superstar的火是依托于阿迪达斯的品牌力。

| 而现在情况不同。在周婷看来，仅依靠Samba不会让阿迪达斯热度持续。“因为产品所导致的品牌热度，比因为品牌焕新所带来的热度，更不具备持续性，特别是在目前信息透明，消费者选择无限的市场情况下。企业能够真正控制的，并不是所有错误是否发生，而是错误发生后拥有多大的行动半径。         这需要重新设计Agent的权限。         今天不少AI产品为了展示效果，会让模型一次性获得完整工具列表和长期凭证。”为了拓展更大的市场，阿迪达斯表示未来将在中国三、四线等新兴城市加速布局，提供适合当地市场的高质价比产品。它能够读数据库，也能够修改数据库；能够生成付款计划，也能够提交付款；能够发现异常账户，也能够直接冻结账户。这样做演示最顺畅，却把理解权、建议权和执行权集中在同一个黑盒里。数据显示，2024年内，阿迪达斯已开设了近400家新店。         更稳妥的做法，是将能力拆成不同层次：模型可以观察更多，但默认只能建议；需要执行时，再按任务、对象、金额和时间签发短期权限；一旦动作触及不可逆区域，就交给独立于主模型的规则或执行控制层复核。

|          这个复核层不需要比大模型更聪明。但事实上，三四线城市的消费者并不缺少对阿迪达斯的认知。它甚至可以非常“笨”：只识别固定字段、核对确定规则、验证对象一致性，并在条件不满足时拒绝执行。

|          它的价值恰恰来自这种有限性。过去二十年，耐克、阿迪达斯最大的经销商滔博运动已将耐克、阿迪达斯开遍了城市的步行街。大模型能够解释复杂世界，所以容易受到复杂语境影响；边界系统只回答少数确定问题，因此不需要理解所有故事。随着耐克、阿迪达斯逐渐式微，滔博2025年上半财年（截至2024年8月底）营利双降，净关闭直营店达331家。         例如：这笔金额是否超过上限？收款对象是否在已确认名单中？审批时的参数与执行时是否一致？操作是否处于允许时段？当前是否出现异常速率？证据是否齐全？          只要有一项不满足，它就不负责“发挥智能”，而是保留说“不”的能力。

| 马岗认为，当下无论从城市发展还是消费者认知来看，一二线城市消费者与三四线城市消费者的差距都在不断缩小，并无特别的区别。

|          AI负责寻找更多可能，边界负责排除不能承受的可能。真正可靠的系统，需要聪明与克制同时存在。         在普通办公场景中，这一层可以由权限系统、策略引擎和审计服务承担；在资金转移、核心密钥、关键基础设施等不可逆场景中，它还可能需要与主要软件环境隔离，避免同一处失陷同时改写判断、规则与证据。

| 当下，新兴消费者不再热捧“国际品牌”这个头衔，反而对东西方文化融合和本土化风格的产品更有兴趣。但整体来看，专家依然对阿迪达斯的未来发展持积极态度。         重要的不是每家公司都采用同一种技术，而是最终否决权不能完全掌握在提出动作的系统手里。

| 周婷表示，阿迪达斯的运动时尚化路线符合从卖产品向卖生活方式转变的趋势，消费者越来越为自己而消费，为更好的生活方式买单，运动时尚化是未来。马岗认为，阿迪达斯近期增长势头好，说明找到了不错的增长模式，特别在当下的消费环境下，能达到这个收益，比较难得，也说明阿迪达斯尚有不错的潜力可挖。或许，要找回大众对阿迪达斯的热爱，制造多少个Samba不是最重要的，重要的是放下巨头的姿态，倾听市场需求，“别飘”。作者：贾诗卉编辑：田纳西。         企业部署Agent前，应该先回答六个问题          当AI项目仍停留在知识问答阶段，企业可以关注答案质量、响应速度和使用成本。一旦项目进入执行阶段，评估表就必须增加另一组问题。         第一，AI接收到的内容中，哪些是数据，哪些是指令？          如果一封邮件、一份网页或一段客户留言都能通过自然语言改变Agent的行为，那么系统实际上没有清晰的控制面。所有外部内容都应被默认视为不可信数据，除非经过明确的权限转换。         第二，AI能做什么，与它此刻需要做什么，是否被区分？          长期、宽泛的权限最方便，却也最危险。权限应尽可能围绕单次任务动态发放，而不是因为Agent“以后可能用到”，就提前开放整个系统。         第三，谁负责检查AI提出的动作？          如果答案仍然是“另一个调用同类模型的Agent”，企业需要继续追问：当两个模型受到相同上下文污染时怎么办？检查者是否拥有独立数据源和确定性规则？          第四，审批人看到的内容是否等于最终执行对象？          摘要可以帮助理解，但不能替代关键参数原文。

| 任何影响金额、范围、对象和不可逆性的字段，都应被明确展示并与最终动作绑定。         第五，最后一道防线能否独立拒绝？          如果AI可以修改策略、关闭告警、重写日志并继续执行，那么系统看似拥有许多安全组件，实际上仍只有一个权力中心。         第六，企业能否重建一次动作的完整过程？          真正有用的证据链，不是堆积更多日志，而是把原始意图、输入来源、模型建议、审批内容、最终参数、策略判断和执行结果连接起来。只有这样，事后复盘才能判断问题究竟发生在哪一环。

|          一个系统是否值得信任，不取决于它正常时能做多少事，而取决于它异常时还剩多少权力。         这六个问题不会让Agent看上去更炫，却决定了它能否从演示环境走进真正的生产系统。

|          下一轮AI竞争，不只是模型竞争          当基础模型能力逐渐成为标准化供给，企业应用的差距将越来越少来自“接入了哪个模型”，越来越多来自“如何把模型放进真实组织”。         在低风险场景，用户能够容忍偶尔的错误，因为人工可以快速纠正；进入财务、运维、供应链、身份权限和关键设备之后，客户购买的就不只是智能，而是可控的智能。

|          这会改变AI公司的产品逻辑。

|          过去，创业公司喜欢展示Agent可以连续完成多少步骤、替代多少人工、节省多少时间。未来，企业客户还会要求它证明：每一步权限从何而来，哪些动作永远不能自动完成，错误如何被局部隔离，审批对象如何保持一致，系统失效时能否安全停止。         过去的竞争关键词是自动化率，下一阶段的关键词可能是可否决性、可追溯性和故障半径。

|          这也意味着，安全不再只是产品上线前的一次测试，而会变成产品本身。

| 能够证明边界的系统，才有机会进入更高价值的业务；只能承诺模型“通常不会出错”的系统，最终仍会被限制在低权限的外围场景。

|          AI商业化真正的天花板，不是模型还不够聪明，而是企业还不敢把现实交给它。         对企业而言，这同样是一场组织变革。引入Agent不能只由业务部门追求效率，也不能只由技术部门比较模型指标。安全、合规、审计和一线操作者需要共同定义：什么是目标，什么是底线，什么情况必须停下来。         否则，AI会忠实放大组织本来就存在的问题——模糊的KPI会被更快优化，互相冲突的政策会被选择性解释，形式化审批会被批量化，原本藏在流程缝隙里的风险会获得机器速度。         AI并没有创造所有这些问题。

| 它只是让过去依靠人的犹豫、经验和低效率勉强维持的缓冲区迅速消失。         结语：真正的智能，也必须拥有拒绝执行的能力          企业对AI最大的误解，是把“更强的理解能力”直接等同于“更可靠的行动能力”。         理解复杂世界，需要开放、联想和推断；执行高风险动作，需要确定、克制和边界。这两类能力不仅不同，有时甚至彼此冲突。

|          我们当然应该继续改进模型，让它减少幻觉、抵抗诱导、识别错误前提。但一个负责任的系统设计不能等待完美模型出现，更不能把全部安全建立在这种期待之上。

|          真正的对抗性完整，不是让AI在任何环境中都保持绝对正确，而是让系统在面对错误、欺骗和失控时，仍然保有结构上的完整：数据不能伪装成命令，目标不能悄悄替换底线，审批不能脱离执行对象，执行者不能同时成为自己的裁判，证据不能只在事故之后拼凑。         当AI只负责说话时，我们可以要求它尽量正确；当AI开始做事时，我们还必须确保它能够被拒绝。         因为企业真正需要的，从来不是一个永远顺从的超级员工，而是一套即使面对最聪明的错误，也不会轻易交出最后边界的系统。         AI不需要永远正确，但任何不可逆的错误，都不应该只靠AI自己决定是否发生。         本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。

Current article:http://www.laojiusidaosenleliao.bond/1d806c/20260826/115091.pptx

Published on:03:53:38