【AI】2024年度AI十大趋势报告-量子位.pdf

1、序言从今年起，量位智库做了个改变在过往三年连续围绕整个前沿科技来提供年度科技趋势参考后，今年聚焦在了AI。过去，AI是前沿科技主轴上的核技术。现如今，AI正在吞噬整个世界、整个产业、全部赛道。没错，AI已经完全成为了科技发展主旋律。尽管有诸多类，如开始类互联命，到后来类电（第次业）命，再到现如今最宏的种说法是：第次地球明命。所以不论如何，可AI正在展开的冲击、带来的影响是如何全深刻，甚度被以科幻的式谈论它。AI当然不是科幻，AI先是科学，其次是项程，最后正在变成种业。这就意味着AI不仅可以观测、可以学习，还能预测或者更准确来说，我们就是站在新进展新信息的最前沿，站在产学研交汇地带，把正在从学术

2、研究进产业变程序的技术向，总结并举例说明呈现给所有。在今年，我们还通过更具规模的数据统计，在AI应的创新创业和投资，也提供了结论性参考，希望对整个产业提供第三视下的助益。总之，希望这份年度趋势报告，能够对你在岁末年初了解时代技术进展提供最直接的帮助。处技术航海时代，即便你未能出海探索，也希望你能感知到潮涌动的向。量位智库总裁科技合作伙伴*以上排名先后顺序目录2024年度AI趋势PART 1技术篇趋势 模型创新：架构优化加速涌现，融合迭代势所趋趋势 Scaling Law泛化：推理能成皇冠明珠，倒逼计算和数据变趋势三 AGI探索：视频成点燃世界模型，空间智能统虚拟和现实/02/10/16趋势四

3、AI应格局：第轮洗牌结束，聚焦20赛道5场景趋势五 AI应竞争：多领域竞速运营于技术，AI助兵家必争趋势六 AI应增：AI+X赋能类产品快上，原AI爆款难求趋势七 AI产品趋势：多模态上，Agent席卷切，度个性化呼之欲出PART 2产品篇/25/35/45/50结语趋势 AI智变千百业：左变产，右重塑业态趋势九 AI业渗透率：数据基础决定初速度，需求成为加速度趋势 AI创投：投融资太效应明显，国家队出频率提升千百业AI优秀落地案推荐PART 3业篇/54/75/78/8701TECHNOLOGY?1.架构层创新助解决算瓶颈现实问题2.创新混合架构挑战Transformer垄断技术原理1.路径

4、：循环神经络及其变种（以RWKV为代表）2.路径：状态空间模型（以Mamba为代表）3.路径三：层次化卷积模型（以UniRepLKNet为代表）4.路径四：多尺度保持机制模型（以RetNet为代表）5.路径五：液体神经络模型（以LFM为代表）?Scaling LawScaling Law?技术原理1.AI模型的性能强烈依赖于规模2.全新的Scaling Law?AGIAGI?技术原理1.视频成：从扩散模型出发2.世界模型：从动驾驶领域到整个世界3.具智能：回到现实世界，回到产业链4.空间智能：连结具智能与空间计算/02/02/03/05/06/07/08/10/13/16/19/20/22?0

5、21.架构层创新助解决算瓶颈现实问题Transformer架构是前应最泛的主流模型架构，注意机制（Self-Attention,SA）则是Transformer架构的核它允许模型进并计算，在序列中线性地直接捕捉任意两个位置之间的关联权重，幅提模型能上限。但另，这也使模型的算需求、计算复杂性和消耗资源成本都随参数增加呈指数级增，在规模任务中快速触达天花板。图：Transformer模型架构，歌、多伦多学2024年以来，随着模型参数量的速规模化以及训练与部署的深落地，Transformer架构的上述弊端愈发显著，成为助推全球性算紧缺的重要因素，也为模型的端侧落地提出了挑战。为寻求突破，对模型架构的

6、创新性探索逐渐成为不容忽视的趋势。2.创新混合架构挑战Transformer垄断2017年Attention Is All You Need出世提出Transformer架构以来，7年已过。AI业对Transformer的路径依赖引发了越来越多的“过时”争论，体现出渐迫切的架构创新需求。2023年以来，RWKV和Mamba引起热议，多种新架构加速涌现，世界范围内的学者从多个向努，试图在保留Transformer架构优势的基础上创新性引其他架构特点，解决算开销问题，Transformer的绝对统治地位得到挑战，兼采众家之的混合模型（Hybrid）已成未来趋势。模 型 创 新01若能突破Trans

7、former在算和数据需求的限制，新架构有望在然语处理和计算机视觉领域引发新轮技术新。明势创投Transformer架构、Next-Token Prediction和Scaling Law是当前模型的算法基，但这些领域也越来越需要新的突破，以构建强且效的新代基础模型。强意味着卓越的性能、泛化能和抵抗幻觉能；效则指低成本、效率和低能耗。只有具备这两特质，智能才能真正成为和电样的基础设施。微软亚洲研究院这些新兴模型架构不仅在性能上可以与Transformer模型竞争，还在内存效率和可扩展性上展现出优势。梅花创投杨颜媛表，部分新架构更易于进并计算，能够充分利现代硬件的并计算能，提训练和推理的速度。它

8、们的出现，为AI领域带来了新的活，也为未来的研究和应开辟了新的可能性。随着这些模型的不断发展和优化，我们有理由相信，模型创新架构将在AI未来发展中扮演越来越重要的。?031.路径：循环神经络及其变种（以RWKV为代表）循环神经络（RNN）通过循环式处理序列数据，能够对过去的输保留记忆，但存在难以并化的问题，Transformer架构的诞最早就是为弥补这缺陷。但仍有很多学者认为，RNN的潜还远未达到天花板，在Transformer架构越来越受到诟病的今天，RNN凭借其独特优势再度获得了越来越多学者的探索创新。模 型 创 新01Hyena Hierarchy2023.04Michael Poli,

9、Stefano Massaroli,Eric Nguyen,Daniel Y.Fu,Tri Dao,Stephen Baccus,Yoshua Bengio,Stefano Ermon,Christopher RStanford University,Mila and Universit de MontralRWKV2023.05Bo Peng,Eric Alcaide,Quentin Anthony等RWKV元始智能RetNet2023.07Yutao Sun,Li Dong,Shaohan Huang,Shuming Ma,Yuqing Xia,Jilong Xue,Jianyong Wa

10、ng,Furu Wei微软亚洲研究院KAN2024.04Ziming Liu,Yixuan Wang,Sachin Vaidya,Fabian Ruehle,James Halverson,Marin Soljacic,Thomas Y.Hou,Max TegmarkMIT,Caltech,Northeastern University,IAIFITimeMixer2024.05Shiyu Wang,Haixu Wu,Xiaoming Shi,Tengge Hu,Huakun Luo,Lintao Ma,James Y.Zhang,Jun Zhou蚂蚁集团,清华学Mamba-22024.05A

11、lbert Gu,Tri Dao普林斯顿、卡内基梅隆学Falcon Mamba2024.08Jingwei Zuo,Maksim Velikanov,Rhaiem,Ilyas Chahed,Younes Belkada,Guillaume Kunsch阿布扎Technology Innovation Institute(TII)LFM2024.09Ramin Hasani,Mathias Lechner,Alexander Amini,Daniela RusLiquid AI前这路径的架构创新主要使循环神经络（RNN）替代注意机制，通过循环式处理序列数据，使模型对过去的输保留记忆。04RWKV

12、联想记忆法区别于Transformer的Query-Key-Value参数，RWKV架构由四个重要参数组成：R、W、K、V，除了可训练的权重参数w（Weight），RWKV还使r（Receptance）参数来控制对信息的接受程度。RWKV与Transformer架构的本质区别在于背后的记忆机制，与Transofrmer的内存寻址机制相，RWKV更像是种联想记忆法。模 型 创 新01?我相信RNN是正确的，但现在的RNN远远没有做到它真正的平，它的上限其实是常的，现在我们还远远没有到那个地步，还有很多空间。因为RNN更接近脑和宇宙的运作式。例如，在物理上，宇宙的下状态只与上状态有关，这是所谓的l

13、ocality和causality，量场论遵循这原则。彭博，RWKV作者RWKV（Recurrent Weighted Key-Value）模型核思想是将RNN的循环结构与Transformer的并计算能相结合，在实现效推理、节省存储开销的同时保持模型的性能。这使得RWKV可以“像Transformer样”进并训练，同时在推理阶段可以以递归形式进解码，“像RNN样”推理。Token Shift：token shift在时间混合计算中，通过对当前和前输的线性组合进线性投影，成于时间混合的向量；在通道混合计算中，也采类似的法成通道混合输向量WKV运算符：WKV运算符利时间衰减因对权重进更新，使得每

14、个时间步的输出依赖于之前所有时间步的信息，从保留了RNN的记忆能，这种设计使得RWKV模型在保持较低计算复杂度的同时，能有效捕捉序列数据中的期依赖关系（1）RWKV核思想（2）RWKV的创新点Transformer=Addressing Memory 寻址记忆：RWKV=Associative Memory 联想记忆：05图：RWKV内部架构图，彭博等RWKV提出以来已经经历了多次版本迭代，最新版本RWKV-7预览版已在今年9正式发布。（3）RWKV的发展与应2023年12，Mamba架构次被提出，引了选择性状态空间模型，实现了对输数据的有选择性处理。这种选择机制使得模型能够根据当前输的tok

15、en决定哪些信息是重要的，忽略不相关的信息，提升模型处理序列的能和推理吞吐量，达到Transformer模型的五倍。2.路径：状态空间模型（以Mamba为代表）状态空间模型可以看作是循环神经络（RNN）和卷积神经络（CNN）的融合，由其发展来的结构化的状态空间序列模型（SSM）是另颇具潜的模型创新架构代表。这类模型利状态空间处理序列问题，通过循环或卷积运算实现效计算，使得计算开销与序列度呈线性或近线性关系，从显著降低计算成本。（1）Mamba次提出 模 型 创 新01输出控：RWKV通过在时间混合和通道混合块中使sigmoid函数对接收向量进控，控制信息的流动和记忆更新，确保在每个时间步只传递

16、和处理相关信息，从减少梯度消失和爆炸问题，增强了模型的稳定性和训练效率Mamba的核在于其硬件感知算法，利现代硬件（如GPU）的内存层次结构，通过扫描卷积计算模型，减少不同级别GPU内存间的IO访问，提计算效率。此外，Mamba简化了深度序列模型设计，需注意机制或多层感知器（MLP）块，使模型更加简洁。图：选择性状态空间模型（Selective State Space Model），卡内基梅隆、普林斯顿学（2）Mamba核思想硬件友好设计：Mamba-2的另个重要贡献是其对硬件友好的设计，允许使更的状态维度，提训练速度。在处理需要更状态容量的任务，如多查询关联回忆（MQAR）任务时，Mamba-2显出Mamba-1显著的性能提升混合模型的探索：Mamba-2还探索了将注意层与SSM层结合的混合模型，发现适量的注意层可以进步提升模型性能（4）Mamba-2创新点06今年5，Mamba-2发布，提出了状态空间对偶（SSD）框架，揭了状态空间模型与结构化掩码注意之间的联系。Mamba-2的核层通过引新的SSD算法，在训练效率上提升了2-8倍，同时保持了与Transformer在语建模的相似平