微调一开长序列就爆显存|Liger-Kernel 我在 Mac 上没装成,账倒是算明白了
LinkedIn 开源的 Liger-Kernel 用分块算子把微调时最占显存的 logits 层干掉,官方口径吞吐加两成、显存省六成。我在 Mac 上连装都没装成,但把它的三档用法、编译摩擦、GRPO…
收藏夹里的 browser-use 教程全过期了|1.0 换了引擎,我装完真跑了一遍
browser-use 1.0 把执行引擎推倒重写,收藏夹里的旧教程大多失效了。我装了一遍,用本机 Ollama 跑通最小任务,把新引擎的能力边界、成本变化和六个真实坑一次算清。
换一家模型只改 base_url|Bifrost 我装完真跑了一遍,两个坑先记下
Bifrost 是 Maxim 开源的 Go 单二进制 AI 网关,23+ 家模型供应商共用一个 OpenAI 兼容入口。我没停在 README,本机 npx 装完连上 Ollama 真跑通了端到端,踩到 ollama_key_config 静默跳 key 和 file-only 模式砍掉治理两个坑,failover…
同一套超参,微调分数差了 18 个点|Axolotl 我还没跑训练,先把这本账翻了
Axolotl 把整个微调流程压进一份 YAML,训练、推理、合并权重同源可复现,多卡并行是它真正的护城河。但这水不浅:多卡组合坑密集,还有用户测出同超参比 LlamaFactory 低 18 个点的悬案。我把安装文档和高频 issue…
RAG 只管答案从哪来,不管你学会没有|港大 DeepTutor 我还没装,先把三层记忆拆开了
港大开源的 DeepTutor 把「学会没有」做成正经功能:三层可审计记忆、多引擎知识库、kb eval 量化检索、错题复习闭环。我还没装,先翻完它 190 个 open issue…
生图一套、配音一套、视频再一套|vLLM-Omni 我还没装,2,894 条 issue 先翻了一轮
多模态模型推理至今还是一套模型一套脚本的散装局面,vLLM 亲儿子 vLLM-Omni 想用统一的 stage 流水线把 TTS、生图、视频甚至机器人策略全接走。我手头没 N 卡没装它,但官方文档和 2,894 条 issue…
两台设备一起算,答案从 Paris 变成了 Rome|distributed-llama 我编译真跑了一遍
把家里闲置设备串成推理集群这个念头,我拿 distributed-llama 真编真跑了一遍:单节点 Qwen3 0.6B 每秒 165 个 token,可拆成两节点后答案竟从 Paris 漂成了…
外语视频搬成中文成片,我以前要串五个工具|OpenCreator 我还没装,坑先替你翻了一遍
OpenCreator(前身 KrillinAI)把下载、转写、翻译、配音、横竖屏排版装进一个安装包,执行引擎直接复用 Codex CLI。我还没装机,先把 README、CLI 契约和一百五十条 issue…
文档散在五个系统里,问一句靠翻|腾讯 WeKnora 我还没装,账先算清了
腾讯 WeKnora 把检索问答、智能体和自动 Wiki 压在同一套知识库上。我还没把它装进机器,但官方文档、社区实测和四百多个 open issue…
vLLM 一重启缓存就失忆|LMCache 把 KV cache 搬出进程外,这笔账我替你算过
LMCache 把 KV cache 从推理进程里搬出来,落到 CPU 内存和 SSD 里跨请求、跨重启复用。我翻完官方文档、兼容性矩阵和 909 个开放 issue:官方基准 TTFT 降 75%,但短…