中房网讯 5月27日，上海稀宇科技有限公司（MiniMax）在X平台发布推文，预告将推出MiniMax M3系列模型。

  据悉，M3最核心的变化是架构层级的重构。它采用自研的稀疏注意力机制，通过索引分支（Index Branch）快速扫描上下文并筛选关键Token，再交由稀疏计算分支（Sparse Branch）进行精准注意力计算。传统Transformer处理序列时的计算复杂度是O(n²)，意味着上下文每增长10倍，计算量膨胀100倍。M3的稀疏设计将计算量压缩至原来的十分之一甚至更低，从底层解决了长文本场景下计算效率低、推理成本高、序列越长性能衰减越严重这三大痛点。