二 | ”德国沃姆斯岸边出现了“饥饿之石”，这块石头2018年曾浮出水面。

三 |          问题是，AI真的可能永远正确吗？          答案恐怕是否定的。8月3日，西班牙瓦尔迪卡纳斯水库干涸，“巨石阵”显露出来。

四 |          我们无法消灭所有错误          AI Agent面对的不是一道标准答案明确的考试题，而是不断变化的现实环境。         它读取的邮件可能是伪造的，访问的网页可能包含恶意指令，接收到的数据可能已经被污染，用户给出的任务也可能存在歧义。

五 |          即使模型本身没有受到攻击，它也可能误解目标、遗漏条件，或者基于不完整的信息作出一个看起来合理的决定。英国韦尔努伊湖的水位下降，露出了曾被淹没的拉努辛村。

六 |          我们可以持续提高模型的准确率，却很难证明它在下一次任务中一定不会犯错。         试图让AI永远正确，是在追求一个无法验证的目标；阻止危险结果发生，才是一条可以真正落地的边界。今年夏天，欧洲遭遇罕见的热浪和干旱袭击，多地气温创下历史新高，旱情在8月初进一步扩大和恶化。

七 |          真正的问题不是AI会不会犯错。由于高温无雨，欧洲河流湖泊水位骤降甚至干涸。这不仅给航运和船只往来造成重大难题，也意外让一些长期淹没在水下的宝藏、沉船和历史遗迹再度显露在阳光之下。         它一定会。欧盟委员会联合研究中心发布的报告显示，欧洲近三分之二地区发生干旱或面临干旱风险，已影响到内河航运、水力发电和农业收成。

八 | 欧洲正在经历可能是500年来最严重的干旱，并且尚未看到干旱缓解迹象。

九 |          真正的问题是：当它犯错以后，系统是否会毫无阻碍地把这个错误执行出去。

十 |          模型错误不一定等于现实损失          一个AI在聊天窗口里回答错误，造成的可能只是一次糟糕的体验。         但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后，错误的性质就完全不同了。欧洲河流：有的已“见底”，有的水深已不到两米6月底以来，接连不断的热浪让欧洲人感受到难以承受的高温，南欧、西欧和东欧多地气温创下有记录以来新高。夏季炎热干燥是南欧地中海气候的特征，但温带海洋性气候的西欧今年夏天也没有了往常的凉爽湿润。

十一 |          它可能把钱转给错误的地址，删除重要数据，修改生产环境，扩大成员权限，或者关闭本应保留的审计记录。         模型只是产生了一个错误判断。         真正把错误变成事故的，是后面的执行能力。数据显示，葡萄牙、西班牙、法国和英国部分地区7月均出现40摄氏度以上高温，其中英国首次突破40摄氏度。         模型犯错只是答案错了，执行失控才是真的出事。西欧家庭多数没有安装空调，人们只能忍受酷热。         这也是为什么，AI安全不能只盯着模型内部。天气炎热，外加降雨明显少于往年，欧洲一些地方出现了干旱。         我们当然要防提示词注入，要提高推理能力，也要检测恶意输入。但即使前面的所有防线都失效了，系统仍然应该保留一道最后的底线。         这道底线不负责判断AI为什么犯错。法国卢瓦尔河部分河段几乎完全干涸，一些运河被迫关闭。

十二 |          它只负责确认：这件事到底能不能发生。莱茵河是欧洲黄金水道之一，8月中旬的数据显示，它流经德国科隆河段的水深已不到两米。

十三 |          守住钱袋子，比猜出所有骗子更现实          假设一个AI Agent正在替企业处理付款。

十四 |          我们可以训练它识别诈骗邮件，可以要求它核对合同，可以增加一个模型复核收款信息。         但我们无法保证它永远认得骗子。意大利最长河流波河水位创历史新低，今年夏天部分河段游船观光活动暂停。         骗子会改变话术，邮件账号可能被入侵，真实员工也可能被冒充。

十五 | 即使多个模型同时参与判断，它们仍可能基于同一份错误信息得出相同结论。

十六 |          更现实的做法，是直接守住付款的底线：          单笔金额不能超过限制；新收款地址不能立即付款；审批后收款目标不能被替换；超出风险阈值必须经过独立确认；任何远程管理员都不能临时关闭这些规则。塞尔维亚：二战德国战舰残骸现身干旱导致多瑙河水位降低。在塞尔维亚东部的普拉霍沃镇附近，数十艘第二次世界大战时期的战舰残骸裸露出来。

十七 | 有些船体已经变得扭曲，船上的栏杆破败，依稀还能看到船上的武器。这些沉船被证实属于纳粹德国的黑海舰队，1944年沉没，其中部分船上还装有数吨弹药和爆炸物，对多瑙河航运造成威胁。部分军舰残留的炮塔及舰桥部分较为完整，其余的大多仍被埋在河滩沙洲之下。军舰浮现水面还导致多瑙河位于普拉霍沃流域可航行的部分已从180米缩减至100米。意大利：二战遗留炸弹浮出水面意大利最长的河流波河出现创纪录的低水位，天文台的数据显示，这一地区已超过110天没有下雨。水下躺了很多年的弹药也重见天日。         这样，即使AI被欺骗，损失仍然会被限制。7月，曼图亚市附近一村庄数千名村民被疏散，专家拆除并安全引爆了一枚浮出水面的二战期间遗留炸弹。         你不需要保证AI永远认得骗子，只需要保证骗子无法轻易带走你的钱。         这就是大道至简。         前面可以有复杂的模型、提示词、工作流和检测系统。

十八 |          最后只需要一条明确的边界：          不符合条件，就不执行。         最后的系统不必比AI更聪明          很多人认为，保护AI的安全系统也应该是一套更强大的AI。据报道，这枚炸弹重量超过450公斤。         但位于最后一道边界的系统，未必需要理解自然语言，也不需要参与复杂推理。         它只需要知道几个确定事实：          这次操作要转多少钱，目标是谁，权限是否发生变化，数据是否可以恢复，风险条件有没有超限。

十九 | 波河水位下降，露出水面的还有德国人战时使用的一艘驳船。         这些事实不满足，就拒绝。这艘名为“齐贝罗号”的驳船于1943年沉没。最近两个月以来，当地居民目睹了驳船逐渐浮出水面。

| 随着干旱持续，船身越来越多地暴露出来。

|          安全不一定要比风险更聪明，它只需要守住风险最终必须经过的那道门。

| 捷克：水文遗迹“饥饿之石”再现干旱让大量“饥饿之石”重见天日。“饥饿之石”是中欧最古老的水文遗迹之一，一般用以纪念饥荒和警告，在干旱期间，这些石头被嵌入河流中，以标记水位，以此警告后世，如果水位再次下降到这一水平，他们将不得不忍受与饥荒相关的苦难。

|          越靠近最终执行，系统反而越应该简单、独立和保守。         因为复杂意味着更多配置、更多依赖、更多攻击面，也意味着系统可能被前面的同一套错误逻辑同时影响。

|          真正的最后防线，不应该和Agent使用同一个提示词、同一个上下文、同一套权限，也不应该因为SaaS中有人点击了“强制执行”就自动失效。深埋在捷克德辛易北河里的“饥饿之石”最近露出了水面，石碑上镌刻着岁月，最古老的是1616年的铭文，上面用德语刻着这样一句话：“如果你看到我，那就哭泣吧。”8月中旬，在德国沃姆斯，低水位致使岸边出现了“饥饿之石”。这些石头上还带有1947年、1959年和2018年等日期。

|          它存在的意义，就是在所有人都认为可以继续时，依然保留拒绝的能力。刻有数字“2018”的这块石头，当年曾经浮出过水面。         底线应该由人提前决定          当然，底线并不是系统自己创造的。西班牙：数千年前的“巨石阵”惊现在西班牙中部卡塞雷斯省，随着巴尔德卡尼亚斯水库水位骤降，一座环形“巨石阵”冒了出来。据悉，该“巨石阵”被称为瓜达尔佩拉尔石墓，由150块巨石组成，其历史可以追溯到公元前5000年，比英国的“巨石阵”至少要早2000年。         企业需要提前决定，什么事情绝对不能由AI单独完成。         可能是一笔超过限额的付款，可能是删除核心数据库，可能是修改管理员权限，也可能是让现实设备进入不可逆状态。它最初是在1926年由德国一位考古学家发现。         这些边界一旦确定，就不应该交给Agent在执行过程中临时解释。1963年当地实施农村发展项目，兴建水库，这些石头被淹没。从那以后，人们只看到过它四次。

|          真正的安全，不是让AI在最后一秒重新思考，而是让人类在风险发生之前提前划清边界。         AI可以负责分析、规划、推荐，甚至完成绝大部分自动化工作。         但越是不可逆、越是高价值、越可能造成现实损失的操作，越需要一道独立于AI判断的最终约束。

| 当然，这几次也都意味着发生干旱导致水位变得很低。         AI安全的终点，不是把模型训练成永不犯错的圣人，而是让系统在模型犯错时依然守得住自己的底线。人们对西班牙“巨石阵”了解不多，它这一次现身可能让考古学家最终揭开其古老的秘密。         未来的AI一定会越来越聪明，也会获得越来越多的工具和权限。

|          我们没有必要因为它可能犯错，就拒绝所有自动化。此前专家表示，西班牙“巨石阵”如果再经受长时间浸泡，可能会完全消失，因为花岗岩岩石很容易受到侵蚀。         但我们也不能因为它越来越强，就默认把最后的决定权一起交出去。佩拉莱达文化协会主席卡斯塔诺最近就发起一项请愿活动，要求将这个“史前纪念碑”从水中移出，移到它能保存的地方。英国：古村落遗迹时隔50年重现英国约克郡持续高温使贝廷思水库水位急剧下降，一座曾经沉入水下的古老村庄重现。         最后想和大家讨论一个问题：          对你来说，AI最不能越过的底线是什么——钱、管理员权限、核心数据，还是现实设备的控制权？          本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。据了解，建于1956年的水库淹没了贝廷思村，该村有一座拥有数百年历史的桥，这座桥曾是连接约克郡和兰开夏郡的桥梁，桥下的水库为韦克菲尔德市供水。约克郡水务公司8月中旬表示，水库水位已降至50%以下。

| 约克郡水务局局长尼尔·杜维斯说：“炎热干燥的气候导致约克郡的河流水位正在下降，水库的水位比往年同时期低20%左右。”高温干旱天气还导致英国威尔士中部韦尔努伊湖水位下降，被湖水淹没的拉努辛村的遗迹时隔近50年重见天日。拉努辛村位于如今的雪墩山国家公园范围内。

| 19世纪80年代，当地为给利物浦供水修建水库，形成韦尔努伊湖，淹没了拉努辛村。英媒发布的照片显示，被湖水淹没的石桥、石墙和废弃的房屋如今一目了然。拉努辛村遗迹上一次从水中“浮现”是在1976年的英国大旱。关注专家：欧洲最严重干旱未有缓解迹象欧盟委员会联合研究中心8月下旬发布报告称，欧洲正在经历可能是500年来最严重的干旱，而且仍然看不到干旱缓解迹象。报告显示，欧洲近三分之二地区发生干旱或面临干旱风险，部分地区旱情自8月以来持续恶化，已影响到内河航运、水力发电和农业收成。　　联合研究中心专家认为，目前欧洲的干旱应该是至少500年来最严重的，夏季结束后的最终数据将证实这一评估。根据报告，今年年初开始影响欧洲许多地区的严重干旱8月初以来进一步扩大和恶化。在意大利北部、法国东南部以及匈牙利和罗马尼亚等受到春季干旱影响的地区，情况恶化最为严重。报告说，干旱影响到内陆航运和电力生产，一些农作物出现减产。

| 今年玉米产量将比前五年的平均水平下降16%，大豆和葵花籽的产量将分别减少15%和12%。欧委会负责创新、研究、文化、教育和青年事务的专员玛丽亚·加布里埃尔表示，严重干旱和热浪给整个欧盟的水位造成前所未有的压力，山火明显高于平均水平，农作物生产受到严重影响。报告预测，到今年11月，毗邻地中海的欧洲地区会比往年同期“更暖和、更干燥”；在8月至10月，欧洲部分地区可能迎来正常水平的降雨，但可能不足以使这些地区从超过半年的降雨“赤字”中完全恢复；阿尔卑斯山地区的旱情可能缓解，但西班牙、葡萄牙和克罗地亚部分地区可能继续经历“比往常更干燥”的天气。采写：南都记者 史明磊图片来源：新华社 中新社返回搜狐，查看更多责任编辑：