模型选型
// MODEL SELECTION
查看端侧方案在不同设备上的内存、功耗和响应表现,
并对照云端模型的响应与生成速度,缩小选型范围。
端侧实测方案
每一行都是经过验证的「设备 × 模型 × 推理配置」组合
LLM · 大语言模型3 个方案
| 排名 / 测试方案 | 量化 | 内存峰值 | 平均功耗 | 首包延迟 | 吞吐 | 冷启动 | 加入对比0/4 |
|---|---|---|---|---|---|---|---|
1 Edge0 8B iPhone 16 Pro+ · ANE | INT4 | 1 GiB | 1.4 W | 5.3 s | 10.7 tok/s | 3.6 s | |
2 ark-chat-flash Mac (M3) · Apple M3 | INT4 | 2.5 GiB | 15 W | 120 ms | 40 tok/s | 600 ms | |
3 Edge0 8B 地瓜 S100 · 80 TOPS | INT4 | 3.7–4.2 GiB | 5.7 W | 2.3–2.8 s | 8.4 tok/s | 8.8 s |
ASR · 语音识别6 个方案
| 排名 / 测试方案 | 量化 | 内存峰值 | 平均功耗 | 首包延迟 | 实时率 | 实时路数 | 冷启动 | 加入对比0/4 |
|---|---|---|---|---|---|---|---|---|
1 ark-asr-nano iPhone 16 Pro+ · ANE | INT4 / FP16 | 320 MiB | 3.5 W | 115 ms | RTF 0.07 | 14 路 | 1.1 s | |
2 ark-asr-nano 安卓手机(骁龙 8 Elite) | FP16 | 610 MiB | 3 W | — | RTF 0.15 | 6 路 | 17 s | |
3 ark-asr-nano 地瓜 S100 · 80 TOPS | INT8 | 768 MiB | 2.7 W | 200 ms | RTF 0.061–0.125 | 1 路 | 15 s | |
4 ark-asr-nano 安卓手机(Helio G99,CPU only) | INT8 | 840 MiB | 1.5 W | 1.42 s | RTF 0.28 | 3 路 | 1.4 s | |
5 ark-asr-nano 地瓜 X5 · 10 TOPS | INT8 / INT4 | 879 MiB | 2.1 W | 7.06 s | RTF 0.8–2.37 | — | 18.8 s | |
6 ark-asr-nano 安卓手机(骁龙 8 Elite) | INT8 | 2.4 GiB | 4 W | — | RTF 0.22 | 4 路 | 4.6 s |
TTS · 语音合成4 个方案
| 排名 / 测试方案 | 量化 | 内存峰值 | 平均功耗 | 首包延迟 | 实时率 | 实时路数 | 冷启动 | 加入对比0/4 |
|---|---|---|---|---|---|---|---|---|
1 ark-tts-nano 安卓手机(Helio G99,CPU only) | FP32 | 230 MiB | 1.1 W | 310–450 ms | RTF 0.3 | 3 路 | 4.4 s | |
2 ark-tts-mini 安卓手机(骁龙 8 Elite) | INT8 | 1004 MiB | 7 W | 300 ms | RTF 0.81 | 1 路 | 6.3 s | |
3 ark-tts-mini 地瓜 S100 · 80 TOPS | INT8 | 1.1 GiB | 5.5 W | 379 ms | RTF 0.82 | 1 路 | 7.9 s | |
4 ark-tts-mini 安卓手机(骁龙 8 Elite) | FP32 | 1.3 GiB | 7 W | 800 ms | RTF 0.86 | 1 路 | 5.8 s |
“—”表示该指标暂无数据,不代表数值为 0 或设备不支持。
真实设备实测
已覆盖设备Mac (M3)iPhone 16 Pro+安卓手机(Helio G99,CPU only)安卓手机(骁龙 8 Elite)地瓜 X5地瓜 S100
Selection Guide
还不知道怎么选?
按部署环境和首要目标,查找候选方案
选择部署环境和首要目标,查看语音识别、大语言模型和语音合成的候选方案;需要更精确的结论,可以按你的真实负载和设备复测。
测试条件与配置,完整保留
保留模型与量化版本
记录测试条件与设备配置
支持客户设备复测验证