入选理由本地模型接 QClaw 时客户端强发 grammar 字段报 400,升级无效,改用 Ollama 原生接口并量化 KV Cache 压显存。
本地 智能体 部署全记录(一)
原文摘录这个念头在我脑子里转了至少大半年——在本地部署一个AI,让家人打开微信就能用。 不是什么“智能体”“Agent”“RAG”这些概念,就是一个能对话、能搜索、能帮忙的助手,不需要注册账号,不需要学习提示词,发条消息就行。 其实技术条件早就齐了。硬件一直摆在那——Titan RTX …
打开原文 知乎没登录时,原文可能整页显示成乱码(知乎的反爬措施),登录知乎或用知乎 App 打开就正常。
内容在原平台,这里不转载全文。版权归原作者。权利人如需下架,请看下架说明。
踩坑复盘进阶长文只有经验个人#本地部署#接口兼容#显存优化