聆思科技韩超阳：端侧推理市场将比云端大一个数量级 四大场景将率先爆发

　　上证报中国证券网讯7月17日，聆思科技亮相2026世界人工智能大会（WAIC 2026），公司市场副总裁韩超阳在大会期间发表《端侧大模型推理芯片驱动AI终端范式升级》主题演讲。

　　聆思科技专攻端侧AI推理芯片，于近期完成近5亿元B轮融资。本轮融资由安徽省及合肥市多家国资平台联合领投，讯飞创投、深报一本、盈科投资、永鑫资本等跟投，多家老股东持续加注。

　　“AI推理需求将远超训练需求，而端侧推理需求又将远超云端推理，端侧推理市场将比云端推理市场大出一个数量级。”在接受上证报记者采访时，韩超阳认为，四条端侧AI落地方向有望率先爆发：

　　首先是AI PC和AI办公硬件，包括小龙虾一体盒子等形态；其次是智能座舱，隐私保护和弱网环境下的需求，促使车厂积极提升端侧算力；第三是具身智能机器人，目前运动控制已较为成熟，但大脑的智力水平仍显不足，现有端侧GPU在功耗、成本和性能上均未达标；第四是智慧家庭，隐私问题曾经长期制约智慧家居AI化，后续端侧算力的提高，隐私数据不上云，有望为智能家居带来新的解法。

　　不过，相比于目前端侧推理市场迫切的需求，供给侧仍处于萌芽阶段，因为现有端侧芯片尚无法同时满足推理性能、功耗和成本的要求。端侧也无法直接“挪用”云端芯片，因为云端芯片追求性能优先和灵活性，端侧芯片则更关注成本和功耗。

　　因此，聆思科技两年前便开始布局端侧芯片，其自研的Nebula端侧大模型AI推理芯片计划于2026年底正式推出。Nebula单芯片可支持3B-13B LLM/VLM/VLA模型，覆盖当前多数端侧大模型应用需求；在7B模型推理场景下，可实现Decode 100 tok/s，并将典型平均功耗控制在5W-15W。这意味着终端设备不仅能“跑得起大模型”，更能在本地承载语言理解、多模态推理和任务规划能力。

　　不过，主流芯片厂商以及部分终端厂商亦在布局端侧产品，相较之下，聆思科技的差异化优势何在？

　　“我们更懂算法。”韩超阳强调，公司从成立之初便拥有算法研究院和大模型团队，所有NPU均为自研。端侧大模型落地的关键，不是单点算力补强，而是面向端侧大模型推理负载进行芯片架构设计。只有从端侧大模型算法特征、存储访问模式、算子执行效率和功耗控制机制出发，才能真正突破端侧推理在性能、功耗和成本之间的结构性矛盾。

　　在他看来，端侧大模型AI推理芯片不能只是在通用芯片上“打补丁”，而应当从端侧大模型算法本质出发，进行系统级架构设计。“未来的芯片公司必须比算法更前置，更早进行研发投入，因为芯片研发周期长达两三年，必须预判后续算法架构将发生怎样的演变。”

（文章来源：上海证券报·中国证券网）

(原标题：聆思科技韩超阳：端侧推理市场将比云端大一个数量级 四大场景将率先爆发)

(责任编辑：73)