AI失控恐慌愈演愈烈!OpenAI与Anthropic据悉曾讨论互测大模型
财联社9月22日讯(编辑 卞纯)据媒体援引知情人士报道,Anthropic和OpenAI曾考虑签署一份具有法律约束力的协议,以相互对对方的大模型进行压力测试。
报道称,今年早些时候,这两家公司及其律师团队曾就此计划展开讨论。在该计划中,竞争对手公司可以对彼此最新可用模型进行深度测试,以寻找潜在的风险或安全漏洞。
值得注意的是,此类测试仅适用于已商业化的模型,且双方约定不得留存对方的数据。
不过,该报道并未明确双方最终是否达成了此类协议。
近来,在顶尖AI实验室之间推行某种形式的同行评审的想法越来越受到关注。就在上周,SpaceX首席执行官埃隆·马斯克建议,美国领先的几家大模型公司,以及部分中国AI公司,应当允许竞争对手进行交叉测试和同行评审。
"所有AI公司都有一套测试工具(test harness),也就是用来检验模型是否会帮助制造生物武器、核武器,或是否存在蓄意欺骗行为的一系列测试。"马斯克在洛杉矶举行的“All-In Summit”峰会上表示。"让每家公司都用别家的测试工具跑一遍,可能是我们为确保自身安全所能做的最好的事,应当尽快推动。"
他形容,这意味着AI公司不再"自己给自己的作业打分",而是至少由竞争对手来批改,一旦发现问题就可拉响警报。
近期,OpenAI、Anthropic、Meta以及谷歌开发的AI智能体系统接连发生入侵事件,引爆网络安全担忧。
本月早些时候,Anthropic 的一名研究员Jacob Coxon宣布辞职,并警告称,领先的人工智能公司在没有适当的防护措施的情况下加速开发,是在“拿我们的生命冒险” 。
仅仅几天后,Anthropic CEO 达里奥·阿莫代伊就发表了一篇文章,呼吁整个行业放缓AI开发步伐,并要求AI公司引入第三方评估机制。他认为,如果不提高安全标准,人工智能代理可能在不到一年的时间内“接管整个互联网”,并“造成数千亿美元的损失”。
OpenAI CEO奥尔特曼、SpaceX CEO马斯克等人对这一主张表示支持,并由此掀起了更广泛的讨论,焦点包括AI风险不断上升,以及需要采取哪些措施来降低这些风险。
Anthropic 上周五宣布,将与全球咨询公司埃森哲(Accenture)建立合作伙伴关系,由埃森哲担任第三方评估机构,对Anthropic的前沿AI模型进行安全合规性评估。这一举措被视为Anthropic首席执行官阿莫代伊之前提出的“放缓AI发展步伐”计划中的关键第一步。
(财联社 卞纯)
发布于:上海
相关推荐
AI“失控”?OpenAI最新模型拒绝关闭自己,还有模型用隐私威胁人类,马斯克:这令人担忧
Anthropic据悉考虑在IPO前发布新AI模型
Anthropic新研究!模型失控率降至7%,对齐数据训练量仅需1/60
曝苹果Siri考虑换脑!或放弃自研大模型,转用OpenAI或Anthropic,国行版咋办?
AI季报26Q1:OpenClaw、OpenAI与Anthropic的三重对阵、自进化
OpenAI反击Anthropic:聚焦企业AI落地,模型Spud等
不止OpenAI,谷歌和Anthropic AI模型开发也被爆遇瓶颈
OpenAI承认:AI模型失控入侵事件涉及多个平台
黄仁勋反对放缓AI发展的呼声,称2030年不会是世界末日
OpenAI最强竞对Anthropic:正确的大模型评测应该是怎样的?
网址: AI失控恐慌愈演愈烈!OpenAI与Anthropic据悉曾讨论互测大模型 https://www.xishuta.cn/newsview153628.html
推荐科技快讯
- 1问界商标转让释放信号:赛力斯 95792
- 2报告:抖音海外版下载量突破1 25736
- 3人类唯一的出路:变成人工智能 25175
- 4人类唯一的出路: 变成人工智 24611
- 5移动办公如何高效?谷歌研究了 24309
- 6华为 nova14深度评测: 13155
- 7滴滴出行被投诉价格操纵,网约 11888
- 82023年起,银行存取款迎来 10774
- 9五一来了,大数据杀熟又想来, 9794
- 10手机中存在一个监听开关,你关 9519
