端侧AI大模型很可能是为5G而生？

2023-08-23 10:10:57来源：维科网通信关键词：边缘计算 AI大模型阅读量：25243

导读：Al 技术用于端侧可以第一时间对收集的数据进行处理，不需要通过网络上传到云侧的处理中心，极大加快了系统响应也减少了系统处理延迟。

　　就在前几天小米的年度演讲中，雷军提到小米的AI大模型能力，小爱同学正式升级为生成式大模型，现已经进入测试阶段。小米高管公式在8月17号表示，小米将会很快实现端侧AI模型能力。

　　01.端侧AI的优势

　　端侧也就是我们常说的边缘计算，这种模式可以更好的支持AloT场景。也就是：AI+IoT(Internet of Things 物联网)=AIoT。边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算也是一种分布式计算。它将数据资料的处理、应用程序的运行甚至一些功能服务的实现，由网络中心下放到网络边缘的节点上，以减少业务的多级传递，降低核心网和传输的负担。它的应用程序是在边缘侧发起，产生更快的网络服务相应。对物联网而言，边缘计算技术取得突破，意味着许多控制将通过本地设备实现而无需交由云端，处理过程将在本地边缘计算层完成。

　　端侧AI具有如下优点:

　　Al 技术用于端侧可以第一时间对收集的数据进行处理，不需要通过网络上传到云侧的处理中心，极大加快了系统响应也减少了系统处理延迟;

　　端侧计算可以更高效的处理有价值的关键数据，其余的数据只是临时性的，在端侧结合 AI 能力，不仅可以更及时处理数据，而且减轻网络带宽的限制和缓解对中心侧数据存储的压力;

　　在端侧的 Al 技术可以高效地对用户的源数据进行处理，将一些敏感的数据进行清洗和保护，端侧设备只将 Al 处理后的结果上报云端。

　　端侧AI的技术难点：

　　硬件资源限制

　　存储、内存、计算资源

　　模型的版本管理、生命周期

　　终端的种类很多，不同硬件架构的适配和模型迁移成本过高

　　第三点同时导致了端侧AI应用复杂度增加

　　02.5G和端侧计算相辅相成

　　5G 是一项长期演进的技术，也许最开始，我们对它的感知只是手机网速更快、时延更低，但 5G 的意义远不止于此。随着 5G 标准从 Rel-15、Rel-16 到 Rel-17 等的不断演进，5G 也将不断扩展到更多行业。数据显示，全球有200多家运营商已经部署了5G商用网络，另有将近300家运营商正在投资部署5G技术。在我国，目前已累计建成5G行业虚拟专网16000余个，应用案例涵盖交通、医疗、教育、智慧城市、农业等多个领域。

　　在5G网络在诞生之初，便定义了它的三大应用场景：eMBB(增强移动宽带)、mMTC (海量机器类通信)和 uRLLC(超可靠低时延通信)，相应的为满足高清视频、智慧城市、车联网等业务需求提供技术支持。

　　但值得关注的是，每个业务场景在发展过程中都有其自身所面临的一些挑战。例如，eMBB将对网络带宽产生数百Gbps的超高需求，从而对回传网络造成巨大传输压力，单方面投资扩容汇聚与城域网络将大幅提高单位媒体流传输成本，无法实现投资收益；uRLLC需要端到端1ms级超低时延支撑，仅仅依赖无线与固网物理层与传输层技术进步，无法满足苛刻的时延需求；mMTC将产生海量数据，导致运营管理的巨大挑战，仅仅由云端集中统一监控无法支撑如此复杂的物联系统。

　　边缘计算恰好可以为这些问题带来解决方案。首先，边缘计算设备将为新的和现有的边缘设备提供连接和保护；其次，尽管5G将为基于云的应用程序提供更好的连接性和更低的延迟，但仍然存在处理和存储数据的成本，混合边缘计算/5G解决方案可以降低这些成本；最后，边缘计算可以让更多应用程序在边缘运行，例如分析，网络安全或合规性/监管应用程序，减短了由数据传输速度和带宽限制所带来的延时，并可对本地数据做初步分析，为云分担了一部分工作。

　　高通中国区研发负责人徐晧认为，面对当前AI技术取得重大突破，未来AI与5G-Advanced融合发展，将对智能终端和AI应用发展带来非常深远的影响。在5G-Advanced更大带宽、更低时延的网络能力支撑下，未来AI处理将通过“云-边-网-端”架构不断从云端向边缘、终端侧扩展，从而在手机、汽车、XR、无人机等多种形式的智能终端上催生出大量新兴AI应用。而多种形式的智能终端和丰富的AI应用又会反过来进一步促进5G-Advanced繁荣发展。

上一篇：机器人上岗种树？新概念植树机器人或将拯救濒危森林

下一篇：2023年将塑造5G技术未来的四大趋势

我要评论

昵称

匿名

文明上网，理性发言。（您还可以输入200个字符)

表情

所有评论仅代表网友意见，与本站立场无关。

传统制鞋业的AI突围！鞋企借智能制造重构行业创新范式
2025年将投入1.2亿元建设“AI智造基地“，计划实现从智能设计到个性定制生产的全链路数字化，目标将定制鞋履的交付周期压缩至72小时以内。
传统制鞋智能制造AI大模型
2025-04-29 17:41:52
早报|阿里通义千问登顶全球开源模型榜首；2025年全球GenAI支出将达6440亿美元
4月2日，全球最大的AI开源社区Hugging Face更新了大模型榜单，阿里通义千问近期开源的端到端全模态大模型Qwen2.5-Omni登上总榜榜首；Gartner预测，2025年全球生成式人工智能(GenAI)支出将达到6440亿美元，较2024年增长76.4%......
AI大模型生成式人工智能
2025-04-03 09:33:40
AI推理时代，边缘计算成新战场
面对新兴的AI推理需求，推理性能、效率以及成本毫无疑问是最核心的问题，而边缘计算在靠近数据生成源的地方进行处理和推理，具有低延迟、数据隐私保护和高效能等优势，被视作AI推理的理想位置，由此将成为竞争的新战场。
AI推理边缘计算
2025-03-28 13:31:24
IDC：到2028年全球边缘计算支出将接近3800亿美元
报告对边缘计算行业进行了估值，计算出2025年全球边缘计算服务支出总额将达到近 2610亿美元，预计年复合增长率为13.8%，到2028年将达到3800亿美元。
边缘计算边缘服务
2025-03-21 13:45:57
边缘计算在人工智能云解决方案中的作用
边缘计算将数据存储在靠近设备的位置，AI系统直接在网络边缘处理数据。即使没有互联网连接，设备仍可正常运行。这使得可以在几毫秒内处理数据，并提供实时反馈。
边缘计算人工智能云解决方案
2025-03-14 13:38:16
AI大模型在消防领域应用落地生花
AI大模型凭借其强大的多模态数据处理能力、实时决策支持和知识迁移特性，正在消防领域开辟智能化转型的新路径。
AI大模型消防领域
2025-03-14 10:03:26

版权与免责声明：

凡本站注明“来源：智能制造网”的所有作品，均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品，未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：智能制造网”。违反上述声明者，本站将追究其相关法律责任。

本站转载并注明自其它来源（非智能制造网）的作品，目的在于传递更多信息，并不代表本站赞同其观点或和对其真实性负责，不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时，必须保留本站注明的作品第一来源，并自负版权等法律责任。如擅自篡改为“稿件来源：智能制造网”，本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多，如涉及作品内容、版权等问题，请与本站联系并提供相关证明材料：联系电话：0571-89719789；邮箱：1271141964@qq.com。