2月18日,DeepSeek推出NSA(稀疏注意力机制),该机制与硬件高度适配并支持本地训练,旨在加速长上下文的训练和推理。通过优化设计,NSA显著降低预训练成本,同时保持模型性能。
官方表示,NSA在通用基准测试、长上下文任务及指令推理中表现出色,甚至优于完全注意力模型。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com