Tag: LLM
All the articles with the tag "LLM".
Pi：一个最小 agent harness，和我怎么把它跑在本地
Pi 1.2.0 的设计理念和架构：agent loop、JSONL 会话树、context 组装。记录本地部署、接 llama.cpp/Ollama 本地模型，以及 pi-web-ui 这个浏览器界面日常用下来的感受。
在四块 2080 Ti 上跑 Qwen3.8-Flash-Next（Strata）
4×RTX 2080 Ti + 188 GB RAM，用 Strata 跑 125B MoE：71–85 tok/s 解码、1.4K tok/s prefill，专家缓存驻留显存，HumanEval 40/41。附部署过程、coding bench、调参结论和踩坑清单。