面对端侧AI大模型全面爆发的市场需求,如何帮助客户高效落地并抢占AI先机,已成为行业的核心命题。
在WAIC 2026(世界人工智能大会)期间,移远通信宣布其端侧AI大模型解决方案迎来全面升级。本次升级聚焦“多模态感知”与“推理加速”两大维度,为行业打通AI商业化落地“最后一公里”提供了全新思路。
移远AI前沿技术中心总负责人王韬表示:“当整个行业都在为参数突破而欢呼时,我们选择了一条更务实的路——沉下心来,在端侧大模型领域持续深耕。因为我们深知,技术的终极意义不在于跑分,而在于落地。我们甘愿做连接前沿技术与真实世界的‘摆渡人’,聚焦医疗康养、情绪陪伴、智能家居等场景,沉淀出四大工程化能力——工作流设计、模型增强、边缘部署与多硬件平台支撑。”
过去,基于“ASR+LLM+TTS”架构,设备获得了出色的“听觉”与“表达”能力。此次端侧视觉大模型的加入,使移远方案完成从“单维倾听”到“全感官认知”的跨越。设备不仅能听懂指令,更能“看懂场景、理解意图、自主决策”,进化为全能智能体。
这一升级重塑了交互逻辑:设备从“听声辨位”进阶为“眼见为实”,能精准识别环境中的物体与人员动作;从“机械问答”走向“情境共情”,结合视觉焦点与语音指令提供精准解答;从“被动响应”变为“主动干预”,即便无语音指令,也能自主发现环境异常(如安全隐患、老人跌倒等),并主动通过语音进行预警或采取干预措施。
作为“下一代多模态交互基座”,该方案可无缝嵌入各类智能终端,深度赋能千行百业:
依托工业巡检机器人等设备,无需繁琐标注即可通过自然语言定制识别模型,轻松搞定高危环境下的缺陷检测与流程管控。
赋能车载智能座舱、AI智能眼镜等设备,实现全模态场景感知,提供主动式贴心服务,解放用户双手。
借助智能督导系统与智能导购终端,自动识别运营异常,精准推荐商品并协助消费者完成下单。
将大模型部署于终端设备,最大的痛点在于“慢”。受限于端侧算力与内存带宽,推理卡顿成为普遍难题。为此,移远通信率先引入MTP(多Token预测)与SD(投机采样)两大加速技术。
MTP通过在训练阶段引入额外的预测头,使模型能够同时预测多个未来的词元,提升数据效率并为推理加速奠定基础;SD则采用“小模型快速生成草稿,大模型并行验证”的机制,在保证输出质量无损的前提下,显著减少计算步数并加速生成。
日前,移远端侧大模型解决方案已全面支持MTP与SD加速,并成功落地客户项目。值得一提的是,该方案在高通技术团队的深度协同下,完成了多平台的严苛验证与深度优化。在移远内部实验室基于高通跃龙Q-8750平台(移远SP895BD-AP模组)部署Qwen系列大模型的实测中,推理加速比达到2.0x,模型平均生成速度由传统的25 tokens/s跃升至50+ tokens/s,在保持极低功耗的同时获得了成倍的输出收益。
推理能效的翻倍,直接转化为客户可感知的商业价值。简单来说,就是同样的芯片、同样的模型,体验直接跃升一个台阶;或者同等体验下,硬件成本大幅降低。
从“听懂”到“看懂”,再到推理速度的大幅提升,移远正在完成一场从感知到认知的智能跃迁!这不只是技术的叠加,更是为终端设备注入真正的“灵魂”。凭借在端侧大模型领域构筑的深厚工程化壁垒与实战积淀,移远已率先跨越了从技术探索到规模化落地的鸿沟。
未来,移远将以领先的工程化能力为基石,携手千行百业的合作伙伴,用高效的端侧AI,共同定义和打造下一代终端产品!
WAIC 2026期间,欢迎莅临移远通信展台( 展位号:H1-A1018 ),感受更多精彩!