Tag: Inference
All the articles with the tag "Inference".
在四块 2080 Ti 上跑 Qwen3.8-Flash-Next（Strata）
4×RTX 2080 Ti + 188 GB RAM，用 Strata 跑 125B MoE：71–85 tok/s 解码、1.4K tok/s prefill，专家缓存驻留显存，HumanEval 40/41。附部署过程、coding bench、调参结论和踩坑清单。
All the articles with the tag "Inference".
4×RTX 2080 Ti + 188 GB RAM，用 Strata 跑 125B MoE：71–85 tok/s 解码、1.4K tok/s prefill，专家缓存驻留显存，HumanEval 40/41。附部署过程、coding bench、调参结论和踩坑清单。