DeepSeek发布《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》论文

2月18日，DeepSeek团队发布了题为《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》的技术论文，介绍NSA（Natively Sparse Attention）机制。NSA结合算法创新和硬件优化，旨在高效处理长文本建模。

核心创新包括：

• 动态分层稀疏策略，融合粗粒度令牌压缩与细粒度令牌选择，保留全局上下文信息和局部精度；
• 通过平衡算术强度设计和硬件优化，显著提升计算速度；
• 支持端到端训练，降低预训练成本，保持模型性能。

实验结果显示，NSA在长文本任务和指令推理中表现出色，尤其在64k长度序列处理中，实现了解码、前向传播和反向传播的显著加速。