依托边缘处理，生成式 AI 在物联网设备中绽放
当前，生成式人工智能尚处于早期发展阶段，仅为少数尝鲜者所用，被视为一种新奇事物。但在不久的将来，它必将深度融入我们的日常生活，成为不可或缺的一部分。届时，生成式人工智能需具备在各类消费设备上运行的能力，摆脱对云处理的依赖，让所有人都能便捷使用，而不是仅服务于那些有能力支付云人工智能订阅费用，或拥有高端计算机、智能手机甚至汽车的群体。
举例来说，若汽车制造商计划将生成式人工智能融入汽车（事实上许多车企已在行动），那么即便车辆处于断网状态，车载处理器也应能够独立处理相关任务。作为一项具有广泛普及潜力的技术，生成式人工智能不应仅局限于豪华车型，而应覆盖各类汽车。
要实现消费者随时可用的生成式人工智能，主要涉及两大工程难题：一是在边缘设备上实现生成式人工智能功能，二是采用低成本的构建方式。下面我们来详细剖析。
边缘生成式人工智能
自 ChatGPT 问世以来，软件开发人员便致力于开发基于大型语言模型（LLM）的应用程序与服务，以方便消费者创建人工智能生成的内容。例如，不少微软 Windows 用户某天登录系统后，发现任务栏中出现了 Copilot。然而，当他们将笔记本电脑切换至飞行模式，或在 Wi-Fi 信号不稳定的咖啡店进行演示时，就会收到 “您处于离线状态” 的提示。
这是因为与 Copilot 交互所依赖的大型语言模型和人工智能处理器集群位于数据中心，而非用户的笔记本电脑。展望未来，计算机和智能手机制造商正努力将生成式人工智能转化为设备自身的固有功能，而非仅依赖云端。
除了保障消费者在设备离线时仍能使用生成式人工智能外，让生成式人工智能在边缘设备运行还有诸多重要原因。其一，关乎应用程序性能。当前生成式人工智能服务依赖云端的模式不可避免地会产生延迟。对于像人工智能驱动的语言翻译器或计算机视觉处理器这类应用而言，在设备本地进行人工智能处理，才能确保实时性。
其二是用户隐私问题。能够总结视频通话内容、生成电子邮件回复、从照片中去除不需要的物体，或诊断潜在健康状况的人工智能应用，在本地处理能最大程度避免用户数据流向云端，更好地保护用户隐私。
再者是基础设施需求。随着生成式人工智能用户数量不断攀升，云处理负担也日益加重。在边缘设备上处理生成式人工智能任务，可有效平衡不断增长的工作负载，使应用程序得以更稳定、可持续地扩展，同时减轻云数据中心高昂的处理压力。
此外，通过在边缘设备分担更多生成式人工智能处理任务，能减少对云订阅服务的依赖，降低消费者使用成本，进而推动生成式人工智能服务更广泛、更普遍地普及。
边缘 AI 处理的需求
为在边缘设备上实现生成式人工智能处理，开发人员需创建可在笔记本电脑、智能手机或其他边缘设备运行的大型语言模型，同时还需针对这一任务设计专门的边缘人工智能处理器。
前者可通过构建更精简的数据模型来达成。拥有 600 亿个参数的云端模型难以在边缘设备运行，而业界已逐渐出现更多针对特定生成式人工智能任务（如翻译服务、计算机视觉、汽车交互式用户手册等）优化的 40 亿参数模型。特定的人工智能应用将拥有专属的小型大型语言模型，其更新方式与当下应用程序相同，以此保持模型的精简与时效性。
然而，除开发面向边缘设备的人工智能模型外，消费者还需要配备专用生成式人工智能处理器的设备，比如神经处理单元（NPU），它专门为满足人工智能的独特需求而设计。与通常为高端系统人工智能应用重新设计的图形处理器（GPU）不同，神经处理单元为边缘设备提供了更高效、成本更低的解决方案。为充分挖掘生成式人工智能的潜力，并将其无缝融入日常生活，这些处理器必须在各种设备形态中，以合理价格提供适配的性能。这还需要一种全新的节能架构，既能强大到足以运行生成式人工智能任务，又不会过度消耗电池电量。
专为边缘生成 AI 而设计
目前，专用的边缘人工智能处理器已进入市场。部分领先的新一代处理器制造商推出了兼具中央处理器（CPU）和神经处理单元功能的高性能处理器。不过，这些处理器大多价格不菲，且会占用设备的内存带宽，因此更适用于高端设备。
专用的生成式人工智能加速器是昂贵的中央处理器和神经处理单元的替代方案，这类加速器从设计之初就考虑到如何在设备和应用中扩展性能与功耗。例如，Hailo 公司的 Hailo - 10H 生成式人工智能加速器，每秒最高可执行 40 万亿次运算，功耗通常低于 3.5 瓦。它将提供多种外形规格，并配备紧密集成的内存，以满足不同性能水平和价格区间的需求。
Hailo 采用可扩展的分布式数据流架构，作为一款真正的神经处理单元，它针对生成式人工智能处理进行了优化，使边缘设备能够高效、稳定地运行大型语言模型。而且，它可在个人电脑、智能手机、汽车、家庭安防系统等多种设备上运行，成本低于其他替代方案。
在不远的将来，生成式人工智能有望成为众多设备的基本功能，人们随时随地都能使用，无需为高端硬件或生成式人工智能订阅服务额外付费。
声明：本站所使用的图片文字等素材均来源于互联网共享平台，并不代表本站观点及立场，如有侵权或异议请及时联系我们删除。