涂鸦智能接入豆包大模型,端云协同让AI硬件“能说会看”
2025-04-24 13:42 涂鸦智能

4月23日,全球化 AI 云开发者平台——涂鸦智能举办的2025 TUYA 全球开发者大会在深圳开幕,汇聚全球智能硬件开发者与产业先锋,共探产业智能化转型。作为 AI 硬件技术与生态共建的重要力量,火山引擎智能算法负责人吴迪受邀出席主论坛圆桌,围绕 “AI 如何重塑行业生态”分享了火山引擎在 AI+IoT 领域的洞察。
    涂鸦智能是全球领先的 AI 云平台服务提供商,致力于构建智慧解决方案的 AIoT 开发者生态,赋能万物智能。

吴迪指出,未来几年 AIoT 芯片与端侧能力将呈几何级爆发,端侧需承担“数据优化师”角色——提供更精确的传感器输入、更聪明的信息预处理、低功耗低延迟完成意图识别。云侧则依托大模型处理高难度、高智商的任务。

关于端云协同,吴迪补充道,在断网或高隐私场景下,AIoT 与端模型不可或缺;联网时,端侧完成预处理后与云侧大模型协作处理复杂任务。长期来看,端侧与云侧互为增益、深度协同。端侧越强,采集数据越丰富,反哺云侧大模型智能提升;云侧越智能,越能推动用户拥抱 AGI 与智能硬件,形成正向循环。

火山引擎智能算法负责人 吴迪

技术驱动:模型与平台的双向奔赴

今年初,火山引擎与涂鸦智能达成合作,将豆包大模型接入涂鸦 AI 云开发者平台,推进 AI 大模型及云原生技术多场景落地。目前,合作已在涂鸦智能 AI 玩具等产品中验证效果,为用户带来更自然、有趣的交互体验:

依托 ASR 能力,涂鸦智能 AI 产品语音指令识别准确率提升超20%,日常或嘈杂环境下均能快速“听清”指令,交互更流畅;

TTS 技术让 AI 产品发出的声音宛如真人,同时 TTS 提供了丰富的音色种类,让用户有了更个性化的产品体验;

大语言模型更强的语言理解和生成能力,让 AI 产品既能准确回答用户问题,又能进行创意对话,例如编故事、诗词对答等,极大增强了产品趣味性和用户粘性。

涂鸦智能技术副总裁柯都敏表示:火山引擎在多模态与大语言模型领域的突出能力,正是我们选择其作为核心技术伙伴的重要原因。火山引擎大模型ASR 技术具备很高的准确率,即使在嘈杂环境或面对多种口音时,也能精准识别语音指令,这与我们对智能设备语音交互精准性的严苛要求高度契合。其 TTS 技术生成的语音自然流畅,音色种类丰富,能够赋予产品更加亲切友好的'声音',提升用户的交互体验。”

端云协同:火山方案助力AI硬件创新

除了原子级 API 接口外,火山引擎同时推出了「实时对话式 AI」嵌入式硬件解决方案,助力客户与开发者基于端云协同实现 AI 硬件落地。方案深度融合端侧芯片、实时音视频 RTC、大模型及语音技术,赋予智能硬件“听、看、懂、说”全链路交互能力,实现自然流畅对话。

在端侧:依托自研音频处理技术,集成自动唤醒与音频3A(自动增益控制、噪声抑制、回声消除)模块,保障复杂环境下音频输入的高清与精准,确保“听清”指令;

在云侧:深度融合大模型、语音识别/合成等 AI 技术,搭载 FunctionCall 与知识库能力,让设备既能“听懂”需求,更能“读懂”深层意图,提供个性化服务与智能决策,实现从交互到理解的跨越。

未来,火山引擎与涂鸦智能将进一步深化 AIoT 生态领域合作,共同探索智能健康监测、智慧节能等场景的技术应用。借助火山引擎多模态技术,涂鸦智能将以更智能、更人性化的交互能力,开拓全新增长点。同时,双方也将携手打造更完善的开发者生态,吸引更多开发者加速创新,丰富智能硬件生态。