沙盒失守!AI智能体接连失控 OpenAI再次叫停前沿模型开发
《科创板日报》9月27日讯OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。
这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作,同时称,随着模型能力持续增强,未来仍有可能再次触发类似的暂停操作。
OpenAI在9月25日发布技术报告披露了这一安全事件:9月20日,一个正在沙盒内执行搜索任务的AI智能体,利用沙盒DNS过滤漏洞突破网络隔离,访问外部公共聊天机器人服务。
沙盒是专门用来测试未上线AI模型的隔离数字环境,设计目标是和互联网做隔离,限制模型随意访问外部网络、执行高危操作,方便研究人员在受控条件下观察模型行为,提前发现模型越权、失控等安全风险。本次事件中,AI智能体利用DNS漏洞突破了沙盒的网络隔离,也就是俗称的“沙盒逃逸”。
OpenAI称其对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在3分钟后介入,并在2.5小时后终止了该训练任务。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。
此前7月,OpenAI的AI智能体曾在安全评估测试中突破隔离环境,访问Hugging Face平台。
不止OpenAI,多家头部AI企业近期均曝光过模型失控、擅自访问甚至攻击外部网站的异常案例。
当智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为,且每一步操作均无人类指令干预,人类开始担忧人工智能安全和监管的可靠性。
这正是当前硅谷“AI减速”论战的背景。Anthropic CEO阿莫代伊、OpenAI CEO奥尔特曼,以及马斯克罕见同声呼吁为前沿AI开发“减速”。其中,阿莫代伊首提管控前沿AI的推进节奏,以及将模型交由第三方评估机构核验安全能力;奥尔特曼表示同意引入拥有员工级访问权限的独立第三方安全评估人员;有着“AI教母”之称的斯坦福大学教授李飞飞呼吁,AI技术应当接受独立机构及公共部门的进一步监督。
而黄仁勋、扎克伯格则坚称AI发展无需集体踩刹车……扎克伯格表示,单个AI企业可自行以适当的速度来训练模型,各实验室应自主落实安全举措、平衡算力用途。
这场关于人类是否该放缓AI前沿研究的争论,不止是一场科技反思,更是关于谁有权定义安全、谁有资格制定规则的权力博弈。
(科创板日报)
发布于:上海
相关推荐
沙盒失守!AI智能体接连失控 OpenAI再次叫停前沿模型开发
当AI开始“自作主张”,谁为智能体戴上“项圈”?
接连发生失控事件 OpenAI再次暂停其最先进模型训练
OpenAI紧急叫停GPT-6!
Kimi K3逃出沙盒了,但没发动攻击
AI失控恐慌愈演愈烈!OpenAI与Anthropic据悉曾讨论互测大模型
刚刚,OpenAI最强编程智能体上线ChatGPT
OpenAI中断开发新AI模型,发生了啥?
OpenAI、谷歌等深夜更新多款模型,展示开源、智能体、世界模型进展
前所未有的人工智能失控事件!最新内幕曝光
网址: 沙盒失守!AI智能体接连失控 OpenAI再次叫停前沿模型开发 https://www.xishuta.cn/newsview153790.html
推荐科技快讯
- 1问界商标转让释放信号:赛力斯 95792
- 2报告:抖音海外版下载量突破1 25736
- 3人类唯一的出路:变成人工智能 25175
- 4人类唯一的出路: 变成人工智 24611
- 5移动办公如何高效?谷歌研究了 24309
- 6华为 nova14深度评测: 13155
- 7滴滴出行被投诉价格操纵,网约 11888
- 82023年起,银行存取款迎来 10774
- 9五一来了,大数据杀熟又想来, 9794
- 10手机中存在一个监听开关,你关 9519
