当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek发布最新技术论文,梁文锋是共创之一

4个月前 (02-18)Deepseek最新资讯219

2月18日,DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告,论文主要内容是关于NSA(Natively Sparse Attention,原生稀疏注意力),官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

具体来说,NSA针对现代硬件进行了优化设计,能够加速推理过程,同时降低预训练成本,且不牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

记者注意到,在这篇名为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的论文署名中,DeepSeek创始人梁文锋也作为共创在列。

在论文中,DeepSeek团队表示,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性,推动这一需求的应用包括深度推理、仓库级代码生成和多轮自主代理系统。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。

论文提到,理论估计表明,在使用softmax架构(一种用于多分类问题的神经网络架构)时,注意力计算占解码64k长度上下文总延迟的70%-80%,这凸显了对更高效注意力机制的迫切需求。

记者将这一论文提供给DeepSeek,并让其评价对业界的影响与意义,DeepSeek称,这一技术的核心价值在于平衡效率与性能,既降低计算成本,又保持甚至提升模型能力。对行业而言,NSA为处理长上下文任务提供了一种高效的解决方案,有助于推动更强大、更经济的语言模型的发展,尤其是在需要处理长文本的应用场景中。

NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、代码仓库或多轮对话(如千轮客服场景),扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。例如,Gemini 1.5 Pro已展示长上下文潜力,NSA可进一步降低此类模型的训练与推理成本。

此外,DeepSeek提到,NSA能够降低算力门槛与部署成本。端到端稀疏训练可以减少预训练所需的计算资源(如减少A100 GPU小时数),降低企业开发大模型的资金与技术门槛。同时,可以加速推理,使长文本生成(如代码补全、故事续写)的实时性更高,适用于边缘设备或低延迟场景。

一位X用户在DeepSeek帖子下表示,“NSA 机制改变了游戏规则。超快速长上下文训练对于扩大教育领域 AI 至关重要,这与个性化学习愿景完美契合。”还有网友对此调侃“RIP Nvidia”。

自1月20日发布DeepSeek-R1并搅动AI圈以来,DeepSeek方面一直较为低调,这是这么多天以来DeepSeek唯一发布的技术动态。

“DeepSeek team is cooking! ”(DeepSeek 团队正在积极工作!)有X网友表示。

(本文来自第一财经)


“DeepSeek发布最新技术论文,梁文锋是共创之一” 的相关文章

DeepSeek引领AI风潮,酒店业或迎新变革

DeepSeek引领AI风潮,酒店业或迎新变革

近期,DeepSeek不仅登上了热搜榜,还强势占据了各大应用榜单的榜首,引发了广泛关注。DeepSeek的崛起也为酒店行业带来了新的启示。面对行业竞争白热化与消费者需求升级,AI技术成为破局关键,如何...

总编视点|DeepSeek能给运营带来多大“深度”

总编视点|DeepSeek能给运营带来多大“深度”

运营商的终极目标不应是“引入一个DeepSeek”,而是将自身重塑为AI原生企业。DeepSeek的横空出世,不仅打破美国企图在算力上卡中国“脖子”的局面,更推动算力普惠千行百业。在这样的背景下,国内...

AI选股亏了!看三大模型怎么“狡辩”,DeepSeek硬刚到底

AI选股亏了!看三大模型怎么“狡辩”,DeepSeek硬刚到底

让AI去选股,会比散户强吗?昨天,A股收盘之后我们做了一个试验,让DeepSeek、豆包、同义千问分别各自选择一只看好的股票,在今天开盘买入。三大AI经过各自的分析之后,分别给出了以下三只股票:Dee...

当环评拥抱DeepSeek:30分钟出报告、5分钟生成准入意见 | 智能环评篇

当环评拥抱DeepSeek:30分钟出报告、5分钟生成准入意见 | 智能环评篇

让环评“拥抱”智能化手段为生态环境治理体系和治理能力现代化建设注入全新活力已成为各地开展环评改革工作的重要关注点浙江杭州30分钟自动生成环评报告表15分钟完成智能审查以往建设单位需要委托环评中介机构查...

继DeepSeek席卷全网之后 Manus再度霸屏

继DeepSeek席卷全网之后 Manus再度霸屏

阅读提示DeepSeek、Manus相继火爆全网,是中国人工智能产业厚积薄发的有力见证,彰显出中国在该领域蕴藏的巨大潜力。AI的“狂飙”给企业发展带来了前所未有的启示:科技创新激起澎拜动能,进而带动全...

湖南召开deepseek专题研讨会,释放出了什么信号?

湖南召开deepseek专题研讨会,释放出了什么信号?

为深入分析deepseek对湖南省产业发展带来的影响和挑战,加速推动人工智能赋能新型工业化,2月17日上午,湖南省工业和信息化厅组织基础通信运营商和数字化服务商、高校和科研院所、行业协会等五大类人工智...