西风 发自 凹非寺量子位 | 公众号 QbitAI

开源模子坎坷文窗口卷到超长，达400万token

刚刚，“大模子六小强”之一MiniMax开源最新模子

MiniMax-01系列，包含两个模子：基础讲话模子MiniMax-Text-01、视觉多模态模子MiniMax-VL-01。

MiniMax-01初次大范围膨胀了新式Lightning Attention架构，替代了传统Transformer架构，使模子大略高效料理4M token坎坷文。

在基准测试中，MiniMax-01性能与顶级闭源模子推崇十分。

MiniMax-Text-01性能与前段时间大火的DeepSeek-V3、GPT-4o等打的有来有回：

如下图(c)所示，当坎坷文跳跃20万token，MiniMax-Text-01的上风迟缓领路。

在预填充延长方面也有显耀上风，在料理超长坎坷文时更高效，延长更低：

网友直呼“难以置信”：

怒放权重，领有400万token的坎坷文窗口！我蓝本以为这可能要五年后才会终了。

官方暗示，MiniMax-01是为相沿之后Agent联系行使而策画的：

因为Agent越来越需要膨胀的坎坷文料理才能和抓续的内存。

现在官方还公开了MiniMax-01的68页时刻论文，而且已将MiniMax-01在Hailuo AI上部署了，可免费试用。

另外，新模子API价钱也被打下来了：

输入每百万token0.2好意思元，输出每百万token1.1好意思元。

底下是模子更多细节。

4M超长坎坷文MiniMax-Text-01

MiniMax-Text-01，参数456B，每次推理激活45.9B。

它革命性地聘用了夹杂架构，谐和了Lightning Attention、Softmax Attention以及Mixture-of-Experts（MoE）。

而且通过LASP+、varlen ring attention、ETP等优化的并行政策和高效的诡计通讯叠加局面，MiniMax-Text-01实验坎坷文长度达100万token，推理时不错膨胀到400万token坎坷文。

模子架构细节如下：

在Core Academic Benchmark上，MiniMax-Text-01在GPQA Diamond上取得54.4分，非凡GPT-4o。

在长基准测试之4M大海捞针测试，MiniMax-Text-01一水儿全绿。

也等于说，这400万坎坷文里，有细节MiniMax-Text-01是真能100%捕捉到。

除此除外，还有LongBench v2、Ruler基准测试，锤真金不怕火的是模子长坎坷文确认才能，包含基于长坎坷文输入的逻辑推理才能。

MiniMax-Text-01模子在料理Ruler的长坎坷文推理任务时推崇出显耀的上风。

在64K输入级别的推崇与顶尖模子GPT-4o、Claude-3.5-Sonnet等竞争力十分，变化轻微，但从128K脱手泄清楚领路的上风，并非凡了统统基准模子。

LongBench-V2包括不同难度级别的问答任务，涵盖多种坎坷文类型，包括单文档和多文档、多轮对话、代码仓库和长结构化数据等。团队接洽了两种测试时势：不使用念念维链推理（w/o CoT）和使用念念维链推理（w/ CoT）。

MiniMax-Text-01在w/ CoT建树中终澄澈统统评估系统中的最好效果，在w/o CoT中推崇也很显耀。

团队还用MTOB（ Machine Translation from One Book）数据集评估了模子从坎坷文中学习的才能。

该任务条目模子在英语和Kalamang（一种在公开数据中相配有限的讲话）之间进行翻译，因此在实验语料库中，LLM仅从一部语法书的部天职容和375个翻译示例中学习该讲话。

测试效果自满，MiniMax-Text-01在无坎坷文场景下eng→kalam (ChrF)得分最低，团队合计其它模子可能是在预实验或后实验数据中集加入了kalam联总计据。在delta half book和full book上，MiniMax-Text-01跳跃了统统模子。

在kalam→eng(BLEURT)得分上MiniMax-Text-01也与其它模子推崇十分。

MiniMax-VL-01

MiniMax-VL-01聘用多模态大讲话模子常用的“ViT-MLP-LLM”框架：

一个具有3.03亿参数的ViT用于视觉编码一个立时开动化的双层MLP projector用于图像适配以及四肢基础LLM的MiniMax-Text-01

MiniMax-VL-01绝顶具有动态分辨率功能，不错笔据预设网作风整输入图像的大小，分辨率从336×336到2016×2016不等，并保留一个336×336的缩略图。

调度后的图像被分割成大小调换的不叠加块，这些块和缩略图分辩编码后组合，酿成完好的图像暗示。

MiniMax-VL-01的实验数据涵盖标题、描写和领导。ViT从新脱手在6.94亿图像-标题对上进行实验。在实验经由的四个阶段，料理了共计5120亿token。

最终，MiniMax-VL-01 在多模态名次榜上推崇杰出，线路注解了其在料理复杂多模态任务中的上风和可靠性。

网友们已脱手第一波实测

得知新模子已在Hailuo AI上部署，网友们已紧忙赶往测试。

有网友使用调换的prompt将它和Gemini、o1对比，惊羡MiniMax-01推崇令东谈主印象深入。

底下这个测试也没能难倒它：

给我5个奇数，这些数的英文拼写中不包含字母“e”。

感兴味的童鞋不错玩起来了。

时刻论文：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

[1]https://x.com/MiniMax__AI/status/1879226391352549451[2]https://huggingface.co/MiniMaxAI/MiniMax-Text-01[3]https://huggingface.co/MiniMaxAI/MiniMax-VL-01