利用紧凑型工业计算机系统实现边缘人工智能推理

2022年03月31日 15:30:02人气：128来源：广州市微嵌计算机科技有限公司

　　人工智能(AI)技术摆脱了静态的基于规则的编程，用动态学习的推理系统代替了更智能的决策。*的人工智能技术与物联网技术相结合，正在用智能应用重新定义整个行业。

　　这些行业的一个重要趋势是人工智能推理系统向边缘转移，更接近传感器和控制元件，减少延迟并改善响应。从可穿戴设备到嵌入式系统，所有类型的边缘人工智能硬件的需求都在快速增长。据估计，到2026年，单位年复合增长率为20.3%，超过22亿单位。

　　边缘AI推理平台面临的挑战是实时提供高带宽数据，并对AI和控制算法使用有限的空间和功率进行决策。接下来，我们将看到NVIDIA的三个强大的AI应用开发支柱如何帮助工业计算机使边缘AI推理解决方案成为现实。

　　Edge AI推断支持应用程序中当前发生的事情，并在继续学习的过程中展望未来数月和数年。

　　什么是人工智能推理

　　支持人工智能的系统有两种：一种用于训练，另一种用于推理。训练系统检查数据集和结果，寻找建立一个决策算法。对于大型数据集，培训系统可以使用服务器、云计算资源或在情况下使用超级计算机进行扩展，还可以花费数天或数周的时间来分析数据。

　　在训练中发现的算法被传递给人工智能推理系统，用于处理真实世界的实时数据。虽然推理的计算强度不如训练，但它需要有效的人工智能加速来快速处理决策，并与传入的数据保持同步。由于熟悉的编程工具、高性能和强大的生态系统，一个流行的加速选择是使用GPU内核。

　　传统上，AI推断系统是在服务器级平台上通过在PCIe扩展插槽中添加GPU卡来创建的。大多数人工智能推理仍然发生在支持人工智能的服务器或云计算上，一些应用程序需要服务器级平台来提高人工智能加速性能。在考虑延迟和响应的情况下，低功耗嵌入式系统可以将人工智能推理扩展到边缘。

　　边缘人工智能推理体系结构的优点

　　边缘计算在处理大量实时数据的分布式体系结构中具有很大的优势。将所有这些数据移入云中或服务器进行分析会带来网络和存储方面的挑战，从而影响带宽和延迟。更接近数据源的本地化处理(如使用AI进行预处理)可以减少这些瓶颈，降低网络和存储成本。

　　还有其他边缘计算的好处。个人识别信息可以匿名化，提高隐私。安全区域减少了系统范围内的漏洞。局部算法执行实时确定性，使系统处于控制之下，许多错误警报或触发器可以在工作流的早期消除。

　　扩展边缘计算与人工智能推理增加了更多的好处。边缘人工智能推理应用程序通过添加更小的平台有效地扩展。通过在一个边缘节点上进行推理而获得的任何改进都可以上传并部署到整个节点系统中。

　　如果一个边缘人工智能推理平台能够加速整个应用程序堆栈，包括数据接收、推理、本地化控制、连接性等等，那么它就为系统架构师创造了引人注目的可能性。

全年征稿/资讯合作 联系邮箱：1271141964@qq.com

凡本网注明"来源：智能制造网"的所有作品，版权均属于智能制造网，转载请必须注明智能制造网，https://www.gkzhan.com。违反者本网将追究相关法律责任。
企业发布的公司新闻、技术文章、资料下载等内容，如涉及侵权、违规遭投诉的，一律由发布企业自行承担责任，本网有权删除内容并追溯责任。
本网转载并注明自其它来源的作品，目的在于传递更多信息，并不代表本网赞同其观点或证实其内容的真实性，不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时，必须保留本网注明的作品来源，并自负版权等法律责任。
如涉及作品内容、版权等问题，请在作品发表之日起一周内与本网联系，否则视为放弃相关权利。