首页科技快讯输入长度是GPT-4o的32倍，国产开源大模型突破瓶颈，迎接智能体时代

输入长度是GPT-4o的32倍，国产开源大模型突破瓶颈，迎接智能体时代

来源：晰数塔互联网快讯时间：2025年01月15日 21:26

转自：上观新闻

今天，上海稀宇科技公司（MiniMax）发布并开源了新一代01系列人工智能模型，包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型MiniMax-VL-01。该系列模型实现突破性创新，以大规模应用“线性注意力”机制突破了Transformer（转换器）大模型架构的记忆瓶颈，不仅在综合性能上比肩GPT-4o、Claude-3.5等国外领先模型，而且能高效处理高达400万token（词元）的输入，可输入长度是GPT-4o的32倍、Claude-3.5-Sonnet的20倍。

目前，MiniMax-01系列开源模型已应用于“海螺AI”并在全球上线，企业与个人开发者可登录MiniMax开放平台，使用API（应用程序编程接口）。

多个国际知名大模型的输入长度和处理效率比较

2017年，谷歌研发团队的一篇重要论文发表，提出Transformer架构。近年来，这一架构已成为大模型的主流技术范式。然而从2023年起，自然语言处理领域出现了一股创新浪潮，对模型架构的创新需求日益增加。“线性注意力”机制就是一种潜在的新架构，它通过算法优化，把传统模型架构中输入长度和计算复杂度之间的平方增长关系变成线性关系，跨出了“实现无限长的输入和输出”的关键一步。

如今，MiniMax-01系列模型首次将“线性注意力”机制扩展到商用模型级别，并使其综合能力跻身全球大模型第一梯队。受益于架构创新，该系列模型在处理长输入时具有非常高的效率，接近线性复杂度。稀宇科技选择的模型参数量为4560亿，其中每次激活459亿，能高效处理高达400万token的上下文，将有效替代Transformer架构，开启“超长文本输入”时代。

除了应用创新架构，MiniMax还大规模重构了01系列模型的训练和推理系统，包括更高效的MoE（混合专家模型）All-to-all（所有设备之间进行数据交换）通信优化、更长的序列优化，以及推线性注意力层的高效Kernel（实时操作系统）实现，使模型能力可与国际顶级闭源模型相媲美。

面对文本和多模态理解任务，MiniMax-01系列模型在大多数情况下能追平GPT-4o-1120和Claude-3.5-sonnet-1022这两个国外领先大模型。过去的模型能力评测中，谷歌研发的Gemini大模型有显著的长文优势。而今，在Gemini参与的长文任务评测中，01系列模型随着文本输入长度变长，性能衰减最慢，显示出很好效果。