OpenAI提议建立前沿AI全球技术标准,聚焦“递归自我改进”
当地时间9月21日,OpenAI公开发布一份关于下一阶段人工智能发展的政策提案,呼吁由美国牵头,与其他国家合作制定面向前沿人工智能的全球技术标准,并将“递归自我改进”(Recursive Self-Improvement,RSI)纳入标准讨论范围。
OpenAI表示,随着AI系统能力不断提升并承担越来越多的AI研究和开发工作,对齐研究也需要同步推进,以确保相关系统能够与人类价值保持一致,并处于人类控制之下。
OpenAI将此次提案的重点放在两个方向:建立能够衔接各国和国际层面的前沿AI标准机制,以及推动统一的AI能力测量、风险评估和事故报告机制。
此次提案中特别受到关注的是“递归自我改进”(RSI)。
OpenAI在文件中解释称,自动化AI研究可以在不同程度的人类监督下进行。当AI系统承担越来越多开发下一代AI系统的工作时,就可能逐渐推动递归自我改进过程。随着这一过程进一步自动化,AI能力发展的速度可能明显加快。
不过,OpenAI同时强调,目前尚未出现完全自主的递归自我改进,并认为在无法确保安全的情况下,不应推动完全自主的 RSI。
OpenAI表示,如果缺乏足够的安全措施和谨慎,递归自我改进可能导致人类失去对AI发展的实际控制,也可能使人类无法有效监督无法理解的AI研究过程。
OpenAI还指出,自动化AI研究并不意味着一定要走向快速递归自我改进。未来是否以及如何推进相关技术,应取决于能否保持人类控制,以及对相关收益和风险的判断。
OpenAI认为,随着前沿AI研发在多个国家和企业同时推进,仅依靠单个国家或AI公司的安全措施已经难以应对跨国风险,因此需要建立共同的技术标准。
OpenAI提出,可以利用目前正在形成的各国AI安全研究机构网络,推动相关标准制定。其官方文件提到的相关机构包括澳大利亚、加拿大、德国、法国、肯尼亚、日本、韩国、新加坡、印度和英国等国家的AI安全机构。
按照OpenAI的设想,未来标准可以重点覆盖两类对象:一是根据能力基准确定的前沿AI模型及其开发者;二是自动化AI研究,包括涉及递归自我改进的收益与风险管理。
除了AI能力评估和递归自我改进,OpenAI还建议建立更加统一的AI事故分类、跟踪和报告机制。
具体而言,未来相关标准可以包括:
对与递归自我改进相关的AI能力进展进行评估;
衡量AI公司内部正在进行的自动化研究程度;
明确哪些自动化AI研究流程需要立即启动人工审查;
建立统一的AI安全事件严重程度分级和报告门槛;
建立针对AI对齐和自动化研究问题的事故跟踪、报告与响应机制。
OpenAI表示,这些共同标准有助于减少不同国家之间在AI评估、报告要求和事故定义方面的差异,使各方更容易比较技术证据、识别新出现的风险并应对跨境事件。
在提案中,OpenAI明确提出,美国应该牵头与世界各国合作,制定前沿AI的全球技术标准,包括针对递归自我改进的标准。
澎湃科技
发布于:上海
相关推荐
从种子AI到奇点:人工智能的递归式自我改进
AI面临失控?OpenAI首席科学家:AI自我改进"为时不远",呼吁行业主动减速
大模型自指:代码生成的递归式自我提升
谢尔盖・布林再次进入「创始人模式」?Google押注「AI自我进化」
突发!离开创业公司后,翁荔或将重返 OpenAI
不再是美说了算!中国主导前沿技术标准制定,开创技术合作新时代
硅谷AI巨头集体踩刹车,他们到底在害怕什么?
谷歌前CEO谈AI:若AI开始自我改进,我们应“认真考虑”暂停它
AI季报26Q1:OpenClaw、OpenAI与Anthropic的三重对阵、自进化
OpenAI被曝本月将发GPT-5.6,奥尔特曼预估一年内完成IPO
网址: OpenAI提议建立前沿AI全球技术标准,聚焦“递归自我改进” https://www.xishuta.cn/newsview153626.html
推荐科技快讯
- 1问界商标转让释放信号:赛力斯 95792
- 2报告:抖音海外版下载量突破1 25736
- 3人类唯一的出路:变成人工智能 25175
- 4人类唯一的出路: 变成人工智 24611
- 5移动办公如何高效?谷歌研究了 24309
- 6华为 nova14深度评测: 13155
- 7滴滴出行被投诉价格操纵,网约 11888
- 82023年起,银行存取款迎来 10774
- 9五一来了,大数据杀熟又想来, 9794
- 10手机中存在一个监听开关,你关 9519
