端侧LLM推理部署 （5090 Laptop & AMD Strix Halo）

背景

开源模型排行榜 2026/07

• Kimi K3

• GLM 5.2

• MiniMax-M3

• Deepseek V4 Pro

• MiMo-v2.5-Pro

• Kimi K2.7、K2.6

• Hy3：295B/A21B

• Nex-N2-Pro：395B

• Inkling：975B

• Deepseek V4 Flash：284B/A13B

• Nemotron 3 Ultra：550B/A55B

• MiMo-v2.5：310B/A15B

• Qwen3.6-27B：27B Dense

Nvidia CUDA 系列（主要是3090 4090 5090）

Qwen3.6-27B （IQ4，TurboQuant）

• 实测效果（5090 Laptop 175W）
• 最大上下文：256k
• 生成速度：Prefill ~500tok/s， Decode 29~35 tok/s
 

• 实现：发现了这个
  llama-cpp-mtp-turboquant-sm120-blackwell-windows

  Github

  llama-cpp-mtp-turboquant-sm120-blackwell-windows

  Owner

  Andgihat

  Updated

  Jun 27, 2026

  
• 这个仓库编译的时候开了AVX512，导致在Core Ultra 290H上无法运行
• 手动重新编译后可以用了

• 权重量化：https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF
• 实测Q4 IQ3 IQ4都能跑

• KV量化：TurboQuant 3 / 4

• 实测可用组合：
• 权重Q4 K-turbo4 V-turbo4
• 权重Q3 K-turbo4 V-turbo4
• 权重IQ4 K-turbo4 V-turbo3

Deepseek-V4-Flash（REAP-162B，Q2）

• 实测效果（5090 Laptop 175W）
• 最大上下文：1M
• 生成速度：Prefill ~40tok/s， Decode 25~30 tok/s
• 由于prefill速度太慢，基本不可用

• 实现：
• 一开始是发现了：
• neutronstar

  Github

  neutronstar

  Owner

  giannisanni

  Updated

  Jul 17, 2026

  
  ds4

  Github

  ds4

  Owner

  antirez

  Updated

  Jul 23, 2026

  
• https://huggingface.co/0xSero/DeepSeek-V4-Flash-162B-GGUF
• 这个模型删减了deepseek的expert数量，所以我按照他的
  deepseek-spark

  Github

  deepseek-spark

  Owner

  0xSero

  Updated

  Jul 20, 2026

  
  修改了上面的ds4，但是效果非常差（~5tok/s）
• 然后我发现其实用llama.cpp速度反而不错
• -fit on 自动 offload到内存即可

AMD GMKTec Evo X2

初始配置

• 按照
  strix-halo-guide

  Github

  strix-halo-guide

  Owner

  hogeheer499-commits

  Updated

  Jul 23, 2026

  
  的Ubuntu 24.04配好（我是装的26.04）
• sudo apt update && sudo apt upgrade -y
• sudo apt install vim curl wget zsh git
• 没法切X11，算了：Ubuntu 26.04 LTS (released April 2026) ships with Linux 7.0, Mesa 26.0, and native apt install rocm. However, 26.04 is Wayland-only (X11 switch above does not work) and the performance-relevant components (kernel, Mesa RADV) are already available on 24.04 via the kisak PPA and mainline kernel PPA. Upgrading is not needed for LLM performance. This guide stays on 24.04 LTS.

sudo tee -a /etc/gdm3/custom.conf > /dev/null << 'EOF'
WaylandEnable=false
EOF

• GRUB_CMDLINE_LINUX_DEFAULT="splash amdgpu.gttsize=131072 ttm.pages_limit=31457280 amdgpu.cwsr_enable=0"
• sudo update-grub

sudo tee /etc/modprobe.d/amdgpu_llm_optimized.conf > /dev/null << 'EOF'
options amdgpu gttsize=122800
options ttm pages_limit=31457280
options ttm page_pool_size=31457280
EOF

sudo tee /etc/udev/rules.d/99-amd-kfd.rules > /dev/null << 'EOF'
SUBSYSTEM=="kfd", GROUP="render", MODE="0666"
SUBSYSTEM=="drm", KERNEL=="card[0-9]*", GROUP="render", MODE="0666"
SUBSYSTEM=="drm", KERNEL=="renderD[0-9]*", GROUP="render", MODE="0666"
EOF

sudo usermod -aG render $USER
sudo usermod -aG video $USER

• 性能调优
• 实测发现amd的性能管理有比较大的问题，实际拿到的设备总是自动降低GPU频率到600Mhz，没有办法，所以直接弄了个循环来持续配置

Llama.cpp的坑

• --kv-unified：所有的slot共用kv cache显存，而不是每个等分，这样可以np开大一点

• --cache-ram 65536：让kv cache存在内存里，这样不受显存大小限制

• --slot-prompt-similarity 1.00 ：直接相当于禁用了similar判断（因为不可能到1.0）

• -np 1：虽然np理论上可以开大，但是实测中可能存在一些兼容性问题，开大了就报错