模型选型

// MODEL SELECTION

查看端侧方案在不同设备上的内存、功耗和响应表现,
并对照云端模型的响应与生成速度,缩小选型范围。

端侧实测方案

每一行都是经过验证的「设备 × 模型 × 推理配置」组合

3 个方案
排名 / 测试方案加入对比0/4
1

Edge0 8B

iPhone 16 Pro+ · ANE

INT4

1 GiB1.4 W5.3 s10.7 tok/s3.6 s
2

ark-chat-flash

Mac (M3) · Apple M3

INT4

2.5 GiB15 W120 ms40 tok/s600 ms
3

Edge0 8B

地瓜 S100 · 80 TOPS

INT4

3.7–4.2 GiB5.7 W2.3–2.8 s8.4 tok/s8.8 s
6 个方案
排名 / 测试方案加入对比0/4
1

ark-asr-nano

iPhone 16 Pro+ · ANE

INT4 / FP16

320 MiB3.5 W115 msRTF 0.0714 路1.1 s
2

ark-asr-nano

安卓手机(骁龙 8 Elite)

FP16

610 MiB3 W—RTF 0.156 路17 s
3

ark-asr-nano

地瓜 S100 · 80 TOPS

INT8

768 MiB2.7 W200 msRTF 0.061–0.1251 路15 s
4

ark-asr-nano

安卓手机(Helio G99,CPU only)

INT8

840 MiB1.5 W1.42 sRTF 0.283 路1.4 s
5

ark-asr-nano

地瓜 X5 · 10 TOPS

INT8 / INT4

879 MiB2.1 W7.06 sRTF 0.8–2.37—18.8 s
6

ark-asr-nano

安卓手机(骁龙 8 Elite)

INT8

2.4 GiB4 W—RTF 0.224 路4.6 s
4 个方案
排名 / 测试方案加入对比0/4
1

ark-tts-nano

安卓手机(Helio G99,CPU only)

FP32

230 MiB1.1 W310–450 msRTF 0.33 路4.4 s
2

ark-tts-mini

安卓手机(骁龙 8 Elite)

INT8

1004 MiB7 W300 msRTF 0.811 路6.3 s
3

ark-tts-mini

地瓜 S100 · 80 TOPS

INT8

1.1 GiB5.5 W379 msRTF 0.821 路7.9 s
4

ark-tts-mini

安卓手机(骁龙 8 Elite)

FP32

1.3 GiB7 W800 msRTF 0.861 路5.8 s

“—”表示该指标暂无数据,不代表数值为 0 或设备不支持。

真实设备实测
已覆盖设备Mac (M3)iPhone 16 Pro+安卓手机(Helio G99,CPU only)安卓手机(骁龙 8 Elite)地瓜 X5地瓜 S100

Selection Guide

还不知道怎么选?
按部署环境和首要目标,查找候选方案

选择部署环境和首要目标,查看语音识别、大语言模型和语音合成的候选方案;需要更精确的结论,可以按你的真实负载和设备复测。

测试条件与配置,完整保留

保留模型与量化版本

记录测试条件与设备配置

支持客户设备复测验证