生图一套、配音一套、视频再一套|vLLM-Omni 我还没装,2,894 条 issue 先翻了一轮
多模态模型推理至今还是一套模型一套脚本的散装局面,vLLM 亲儿子 vLLM-Omni 想用统一的 stage 流水线把 TTS、生图、视频甚至机器人策略全接走。我手头没 N 卡没装它,但官方文档和 2,894 条 issue…
两台设备一起算,答案从 Paris 变成了 Rome|distributed-llama 我编译真跑了一遍
把家里闲置设备串成推理集群这个念头,我拿 distributed-llama 真编真跑了一遍:单节点 Qwen3 0.6B 每秒 165 个 token,可拆成两节点后答案竟从 Paris 漂成了…
外语视频搬成中文成片,我以前要串五个工具|OpenCreator 我还没装,坑先替你翻了一遍
OpenCreator(前身 KrillinAI)把下载、转写、翻译、配音、横竖屏排版装进一个安装包,执行引擎直接复用 Codex CLI。我还没装机,先把 README、CLI 契约和一百五十条 issue…
文档散在五个系统里,问一句靠翻|腾讯 WeKnora 我还没装,账先算清了
腾讯 WeKnora 把检索问答、智能体和自动 Wiki 压在同一套知识库上。我还没把它装进机器,但官方文档、社区实测和四百多个 open issue…
vLLM 一重启缓存就失忆|LMCache 把 KV cache 搬出进程外,这笔账我替你算过
LMCache 把 KV cache 从推理进程里搬出来,落到 CPU 内存和 SSD 里跨请求、跨重启复用。我翻完官方文档、兼容性矩阵和 909 个开放 issue:官方基准 TTFT 降 75%,但短…
别的助手用完就忘|Hermes Agent 自己攒技能自己长记性,25.9 万 star 我先拆了它的安装脚本
Hermes Agent 是 Nous Research 的开源智能管家,25.9 万 star。我把它的记忆与技能闭环、MCP 集成和 1302 行安装脚本拆开对了一遍:学习闭环是真本事,但 smart 审批出过数据丢失,token…
改提示词别再靠手感了|promptfoo 被 OpenAI 收编后,我把它装了一遍
改一版系统提示词就上线,翻车了才发现没有基线。promptfoo 用 YAML 把测试矩阵固化进 CI,我装完用内置 echo provider 零 key 跑通了第一张矩阵。被 OpenAI 收编后它仍维持 MIT 开源,26,708 个 star,近四周 441…
每天 2000 次免费请求的攻略都过期了|Qwen Code 装完一遍,我把新旧两本账算清
我顺着群里还在传的免费攻略去装 Qwen Code,结果发现 OAuth 免费通道 4 月就停了。装完、翻完源码和文档,把它的多协议真本事、Agent Arena、烧 token 的坑和现在的正确用法一次说清。
Agent 挂在哪一步,print 查不出来|Langfuse 我没急着装,先把运维账算清
Langfuse 我没急着装:先把它 3.6 万 star、近四周 839 次提交的家底翻了一遍。六容器自托管的内存账、密钥三件套的坑、v4 宽表架构的取舍,加上我抽检 SDK 的真实结果,都在这篇手记里。
让模型学会说你的行话|ms-swift 上手前,我把它 600 条 issue 翻了一遍
ms-swift 是魔搭官方的微调框架,我对着文档和 600 条 issue 把它翻了一遍:600 多个模型一条命令微调,单卡 13GB 就能跑 Qwen3,新模型当天适配。坑集中在思考标签和分布式…