日月开新元,万象启新篇
1月15日,MiniM通信原理ax今天发布并开源新一代01系列模型,以及此基础语言大模型 MiniMax-Text-01 和视觉多模态大模型MiniMax-VL-01。该系列模型使用标准中多项突破性创新,以大规模应用线性注意观察力机制打破Transformer传统性架构记忆瓶颈,在综合性能比肩GPT-4o、Cla通信原理ude-3.5等到全球第一领军模型通信原理的此基础上,接受采访高效后续处理正在准备达到400万token的输入,可输入长度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍。
到目前,MiniMax-01系列开源模型已应用于MiniMax旗下产品一海螺AI并在到全球第一上线,中小企业 与一个人开发者可前往MiniMax开放品台使用标准中API。
以架构创新顺利实现高效超长文本输入
2017年,还具里程碑意义的论文《Attention Is All You Need》正式进入发表,Transformer架构问世并随着时间并迅 发展又成该细分领域的主流相关技术范式。自2023年起,当然语言后续处理细分领域迎来这一股创新浪潮,对模型架构的创新潜在需求随着时间全面提升。
MiniMax-01系列模型此番将线性注意观察力机制扩展到商用模型的中级别,并由此能力全面全面正在准备达到到全球第一第四梯队。而受益于此番架构创新,该系列模型在后续处理长输入的等到还具极为高的效率,正在准备达到线性复杂度。从Scaling Law、与MoE的相互结合、结构设计细节、训练优化和推理优化等层面综合综合考虑,MiniMax选择中模型参数量为4560亿,另有每个星期激活459亿,接受采访高效后续处理正在准备达到400万token的上下文,将更有效替代Transformer传统性架构并开启超长文本输入时代来临 。
MiniMax-01模型今天发布后,在到到全球第一并迅 掀起了热议浪潮。到全球第一媒体与AI从业者聚焦该模型,深入探讨其相关技术内涵与潜在增值价值 ,回馈所展现出的创新性回馈了设计细节高度当然会。
性能比肩国际领军模型
在应用创新架构其它 ,MiniMax大规模重构了01系列模型的训练和推理子系统,例如更高效的MoE All-to-all通讯优化、更长的序列的优化,例如推线性注意观察力层的高效Kernel顺利实现,原因在于在于模型能力全面可与到全球第一顶级闭源模型相媲美。
在业界主流的文本和多模态理解它完成完成通信原理任务续处理好表现 上,MiniMax-01系列模型大多现象下接受采访追平到全球第一公认最先进的四个模型,GPT-4o-1120例如Claude-3.5-sonnet-1022。过往的模型能力全面评测中,Google的自研模型Gemini还具显著的长文技术优势。而在01系列模型参评的长文完成任务下,相较于Gemini等一众到全球第一顶级模型,MiniMax-01随着时间输入长度变长,性能衰减最慢,实际效果及其出众。
▲ 多项完成任务评测因为 最新数据,MiniMax-01系列模型核心性能稳居到全球第一第四梯队。(图源MiniMax-01系列模型相关技术报告)
▲ MiniMax-01系列模型长上下文后续处理能力全面到全球第一领先。(图源MiniMax-01系列模型相关技术报告)
加速AI Agent时代来临 过来
2025年,AI将迎来至关组成部分的并迅 发展节点,AI Agent有望又成新一一整年最组成部分的产品一形态,引领AI从传统性的“工具”扮演向更具互动性与协作性的“伙伴”扮演转变。AI Agent时代来临 ,原因在于在于智能体后续处理的完成任务变成变成复杂,涉及的数据统计 量也随着时间,单个智能体的记忆例如多个智能体协作间的上下文具有变成变成长。接受采访,长上下文能力全面与多模态后续处理能力全面的全面提升,是AI Agent为各大行业生活带 更为丰富、高效、智能的问题解决解决方案的必要前提条件。
MiniMax在Github上开源了Text-01模型、VL-01模型的完整权重,以便于更多机会开发者做有增值价值 、突破性的相关研究。MiniMax接受采访,“当我们接受采访这有接受采访启发更多机会长上下文的相关研究和应用,由此更快促进Agent时代来临 的过来 ,二是开源接受采访由此当我们努力付出做更多机会创新,更高质量地大力开展后续的模型研发目前工作 。”
凭借开放、共享、协作的特点,开源模型激发AI产业的创新活力,正在准备又成赋能新质生产力并迅 发展的组成部分引擎。受益于Linear Attention层面的架构创新、算力层面的优化,例如集群上能 训推一体的设计细节,MiniMax以业内还具性价比的价格接近人员提供文本模型和多模态理解它模型的API产品服务,标准中定价是输入token 1元/百万token,输出token 8元/百万token。
论文链接:https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf