跳至正文
-
关注
IT极限技术分享汇

ITmax

IT极限技术分享汇

ITmax

  • 首页
  • 商店
  • 我的帐户
  • 结账
  • 购物车
  • 首页
  • 商店
  • 我的帐户
  • 结账
  • 购物车
关

搜索

Liger-Kernel 项目封面:显存不够先换 kernel 再想加卡,6,704 star、最新版 0.8.5、近四周 26 次提交
技术分享

微调一开长序列就爆显存|Liger-Kernel 我在 Mac 上没装成,账倒是算明白了

mumupudding 的头像
作者 mumupudding
2026年11月17日 4 分钟阅读
0

微调一开长序列就爆显存|Liger-Kernel 我在 Mac 上没装成,账倒是算明白了

显存到底被谁吃掉的,我算过一笔很憋屈的账

上个月帮同事调一个 8B 模型的微调任务,序列长度从 4K 拉到 8K,第二个 step 就 CUDA out of memory。他的第一反应是熟悉的套餐:降 batch size、开 gradient checkpointing、再把 LoRA rank 砍半。折腾到凌晨,显存是下来了,吞吐也跟着腰斩——gradient checkpointing 本质是拿时间换显存,反向时把丢掉的激活重算一遍,多出两成左右的 step 时间,这笔账怎么算都不舒服。我当时就纳闷:模型权重十几 GB 有办法量化,优化器状态有 ZeRO 分摊,怎么还有一大块显存谁都啃不动?

后来我把账摊开算了一遍,元凶居然是最不起眼的 loss 层。8B 级模型的词表普遍在 128K 上下,Hugging Face 那套标准实现要先把整个 logits 张量物化出来再算交叉熵:batch size 8、序列 4096、词表 128256、bf16 存下来,光 logits 就是 8 × 4096 × 128256 × 2 字节,差不多 8.4 GB。这还只是前向,反向要保留的东西更多。序列翻倍这块就翻倍,跟模型大小无关,纯粹是词表和上下文长度在乘。当年训 BERT 词表才三万,这块根本不叫事;现在大词表加长上下文,loss 层反倒成了显存的头号杀手。

更气人的是这笔开销的性质:它不是权重、不是优化器状态,纯粹是「算 loss 的中间过程」,算完就扔,却要求全程驻留显存。权重可以量化、优化器可以分片、激活可以重算,唯独这一块在标准实现里没有任何回旋余地——除非你把「先物化 logits 再算 loss」这个顺序本身改掉。

顺着这个结论去找解法,就撞见了 LinkedIn 开源的 Liger-Kernel——一套专门给 LLM 训练写的 Triton 算子库,主打的就是把 RMSNorm、RoPE、SwiGLU、交叉熵这几个高频层换掉,其中最狠的一招叫 FusedLinearCrossEntropy:不让 logits 整个落地,按 chunk 分块算完就丢,官方口径下多卡训练吞吐提升 20%、显存省 60%,原本 4K 上下文就 OOM 的 LLaMA 3-8B 能一路撑到 16K。数字先放在这,下面我会拆开讲哪些是真金、哪些要打折。

一行 patch 背后,其实有三档用法

Liger-Kernel 的接入方式分三档,复杂度和灵活性递增。

第一档最省事,换一个模型加载类:

from liger_kernel.transformers import AutoLigerKernelForCausalLM

model = AutoLigerKernelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B")

模型类型在支持列表里就自动 monkey-patch,默认全开。第二档是显式指定算子,比如只要融合交叉熵、不要动 RoPE:

from liger_kernel.transformers import apply_liger_kernel_to_qwen3

apply_liger_kernel_to_qwen3(
    rope=True,
    swiglu=True,
    cross_entropy=True,
    fused_linear_cross_entropy=True,
    rms_norm=False,
)

第三档是把单个算子当普通模块用,适合自己攒模型的人:

from liger_kernel.transformers import LigerFusedLinearCrossEntropyLoss

loss_fn = LigerFusedLinearCrossEntropyLoss()
loss = loss_fn(lm_head.weight, hidden_states, targets)

按能力分组说我的判断。模型 patching 这一档是成熟主力:README 的支持表从 Llama、Qwen2/2.5/3/3.5、Gemma2/3/4、Mistral、DeepSeek-V3/V4 一直到 GLM-4、InternVL3,几十个模型有专属 patch API,Hugging Face Trainer(PR #32860 起)和 TRL 也内置了开关,Axolotl、LLaMA-Factory、ms-swift、oumi 这些框架全部接了进去。后训练 loss 是第二增长曲线:DPO、ORPO、SimPO、KTO、JSD、GRPO 都有分块实现,GRPO 还带 bnpo、dr_grpo、dapo、cispo 等一串变体,官方称对齐类任务最高省 80% 显存——v0.5.0 发布时的卖点就是这组。用法是普通模块,直接喂 lm_head 权重:

from liger_kernel.chunked_loss import LigerFusedLinearORPOLoss

orpo_loss = LigerFusedLinearORPOLoss()
y = orpo_loss(lm_head.weight, x, target)

这类对齐 loss 比交叉熵更吃显存,因为偏好训练要同时过 chosen 和 rejected 两条序列,logits 翻着倍地长,分块化的收益也跟着翻倍。新后端属于激进区:cuTile 和 CuTe DSL 面向 Hopper(SM90)和 Blackwell(SM100/110),README 里 H100 上那份 Fused Scaled Cross Entropy 表格很漂亮,CuTe SM90 路径 3.12 毫秒 706 TFLOPS,对比 Verl 的 Torch fallback 11.36 毫秒 194 TFLOPS,差着三倍多;B200 上 cuTile 前反向全程 11.36 毫秒、峰值 2.64 GiB,对 Torch 的 7.22 GiB。但这套东西需要 CUDA Toolkit 13.1 这类环境,普通用户暂时当新闻看就行。另外它对昇腾 NPU 的支持在 2026 年推进得很猛,issue 区甚至挂着专门的 NPU 路线图(#969,33 条评论),提交记录里能看到一批 fix(npu) 进 main。

哪些只是噱头?我现在没有发现明显的——这个项目业务上很克制,只做算子层,不碰分布式通信和显存管理,没有那种「一站式训练平台」的膨胀叙事。要说水分,是第三方转述里的:网上不少文章把它说成「Lightning AI 开源」「字节跳动出品」,都不是,它从 2024 年 8 月起就在 LinkedIn 的 GitHub 组织下,官方 engineering blog 写得清清楚楚。

拿 logits 换显存,这笔交易在三处会露馅

设计上它和 Flash-Attention 是同一个思路的延伸:不近似、算得精确,靠 kernel fusion、原地替换和分块省显存省带宽。拿最核心的 FusedLinearCrossEntropy 说人话:标准流程是「lm_head 全量投影出 logits → 算交叉熵 → 反向」,它改成把 token 按 chunk 切开,每个 chunk 投影完立刻算 loss、立刻把梯度攒回 lm_head,中间 logits 用完即弃,全程不落地。代价是那个「立刻」必须在同一个 Triton kernel 里完成,于是你拿到的不再是张量而是标量 loss,凡是要「看看 logits 长什么样」的代码都得改道。我认同这个取舍——数值上它有对齐测试兜底,README 明确说反向也做了单元测试和收敛比对,省下的可是实打实的 8 GB 级峰值。但天下没有白省的显存,代价在三个地方,都很具体。

第一处,logits 没了。FusedLinearCrossEntropy 不物化 logits,这是它省 8 GB 的全部原理,副作用是任何依赖完整 logits 的下游统计都断了。TRL 集成文档里写得直白:Liger 模式下不返回 logits,手动算熵之类的逻辑得改走内核返回的 token_accuracy;loss_type='chunked_nll' 和它直接冲突,启用就抛 ValueError。如果你的训练脚本里塞了一堆自定义的 logits 后处理,先做好重构的准备。

第二处,编译摩擦。issue #174「torch.compile() throws exception when LigerKernel is used」从 2024 年 8 月挂到现在还是 open,24 条评论。有意思的是翻最近的提交记录:11 月 10 日的 fix(compile): use tl.cast for scalar kernel params so torch.compile does not fall back(#1544)和 11 月 14 日的 fix(utils): skip device_context guard under torch.compile(#1590)都在修这个方向的问题。维护态度没问题,但如果你指望 Liger 和 torch.compile 无痛叠加,现阶段要留一手,逐版本验证。

第三处,平台锁定。Triton 后端意味着 Linux + NVIDIA / AMD ROCm / 昇腾,Mac 是彻底出局。这件事我不是猜的,下一段有我的安装实录。

这三处里,「什么情况下不可接受」我说得很明确:训练管线里大量依赖 logits 自定义统计、又没人力重构的团队,以及生产环境要求 torch.compile 全开的流水线,现在上 Liger 是给自己找活干。反过来,标准 SFT/DPO 流程加 HF Trainer 的组合,摩擦最小。

安装这件事,我在 Mac 上折戟,但死得明明白白

先交代立场:我手上只有一台 M2 的 MacBook,没有 N 卡。我还是决定真装一遍试试,因为「支不支持 Mac」这件事网上说法不一,值得亲手验。

虚拟环境建好,pip install liger-kernel,依赖解析直接报 ResolutionImpossible。拆开看:torch 本身没意见,2.15.0 顺利装上;卡住的是 triton——PyPI 上翻遍了它的发布记录,压根没有 macOS 的 wheel,Linux 专属。Triton 装不上,triton>=2.3.1 这条依赖就死锁了,一行 kernel 都别想跑。所以结论很干净:Mac 用户不用挣扎,这不是装不装得费劲的问题,是门都没有;Apple Silicon 想蹭这类算子优化,目前只能等 MLX 生态自己长。

正经的安装发生在 Linux 服务器上,姿势就两条:

# 稳定版
pip install liger-kernel

# 需要用模型 patching API 的话,transformers 是可选依赖
pip install "liger-kernel[dev]"  # 或自行确保 transformers >= 5.0.0

依赖门槛官方写得清楚:torch >= 2.1.2、triton >= 2.3.1。AMD 卡走 ROCm,要求 torch >= 2.5.0、triton >= 3.0.0;昇腾要求 torch 2.10.0 配 CANN 9.1.0 和 triton-ascend。追新的人还有 nightly 渠道(pip install liger-kernel-nightly),要源码装就 clone 仓库跑 pip install -e .,setup.py 会自动探测本地后端选依赖;追 H100/B200 极致数字的再补 liger-kernel[lck] 那组原生通信 kernel extra,官方连「CUDA 12.9 的原生 wheel、CUDA 13 走源码编译、Blackwell MoE 反向还有阻塞」这种细节都写在 README 里了,坦诚得少见。依赖这么少(只有 Torch 和 Triton 两个硬依赖)是它的另一个卖点——训练环境被 CUDA 版本地狱折磨过的人都懂这意味着什么。

硬件门槛要单独说:官方没给整机配置表——一个算子库确实也不该给,你的显存需求由训练的模型决定,Liger 只负责把峰值往下压。我按官方 benchmark 条件反推两档供参考:官方那张「吞吐 +20% / 显存 -60%」图是在 8 张 A100 上全参微调 LLaMA 3-8B 跑的,这是它的「主场」;单卡场景下第三方实测(RTX 4090、Llama-3-8B QLoRA)是显存 14.8 GB 降到 13.2 GB、吞吐 42 到 51 samples/s,提升 21%。粗略换算,8 GB 级单卡做 7B QLoRA 可以进门,这是经验推算不是官方数字;想复现官方那个 60% 的显存收益,请按 8×A100 的全参场景对号入座,消费级单卡拿不到这个数。

上手跑一遍:我没有 GPU,但流程核到了每一行

老实交代:我本机连装都装不上,端到端示例没法亲手跑。下面这套流程是我对着官方 examples、Hugging Face Trainer 文档和 TRL 集成说明逐行核过的,命令、参数名、预期行为都有出处,有一条对不上我都会写出来。

最小验证路径用 HF Trainer 内置开关,连 patch API 都不用自己调:

from transformers import AutoModelForCausalLM, TrainingArguments

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B")

args = TrainingArguments(
    output_dir="./out",
    use_liger_kernel=True,       # HF Trainer 内置开关,PR #32860 引入
    per_device_train_batch_size=8,
)

# 正常的 Trainer 流程,数据、损失都不用改

预期行为:训练启动日志里 Liger 相关 patch 生效,loss 曲线与不开开关时对齐(官方做过收敛比对);显存峰值显著低于不开的对照组,4K 上下文的 8B 模型不再起步 OOM。如果想确认哪些算子真的被换掉了,用显式 patch 再验一次:

import transformers
from liger_kernel.transformers import apply_liger_kernel_to_qwen3

apply_liger_kernel_to_qwen3()
model = transformers.AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B")
# patch 发生在实例化时;RMSNorm/SwiGLU/交叉熵被替换为 Liger 实现

这一步有个官方文档里写明的前提:patching API 要 transformers >= 5.0.0,模型本身也得在支持列表里。如果你用的是 Axolotl 或 ms-swift 这类框架,事情更简单:两边都是同一个开关名,Axolotl 配置写 use_liger_kernel: true,ms-swift 命令行挂 --use_liger_kernel true,框架自己处理版本兼容,这也是我推荐普通用户走的路——别自己 patch,让框架背锅。ms-swift 仓库里那个官方示例脚本连账都替你算好了:4 张 A100 全参微调 Qwen2.5-7B 加 packing,开 Liger 每卡 42 GB、1 小时 35 分,不开 54 GB、1 小时 40 分——省 12 GB 显存,多出来的显存直接换成更大的 batch 或更长的序列。我核下来的唯一保留意见是「预期输出」里的显存数字——它依赖你的 batch、序列长度和是否开 gradient checkpointing,官方口径只在特定配置下成立,别拿自己的单卡数字去对标那 60%,对不上不代表装错了。

别人踩过的坑,我挑了五个有出处的

高频 issue 我按评论数翻了,开源 issue 总量 250 上下(当前 open 251,含大量已合并的 RFC),下面五条最值得提前知道:

一,torch.compile 摩擦是老大难。 issue #174,2024 年 8 月开、至今 open、24 条评论,现象是叠加 compile 直接抛异常。好消息是 11 月还有两个 fix 在这个方向合并,坏消息是「老大难」三个字就是现状,用前先在自己的 torch 版本上验。

二,特定模型 loss 不收敛。 issue #257「Loss does not drop when using Liger Kernel at Qwen2.5」,14 条评论,还是 open。虽然大概率是配置组合问题,但「loss 不降」这种坑一旦撞上,你第一反应永远是怀疑自己的数据——记得先关 Liger 对照跑一轮,排除它再排查别的。

三,GRPO 的 grad_norm 差了两个数量级。 issue #1082,标题直接写明 Liger 的 GRPO loss 产出的 grad_norm 比 TRL 非 Liger 路径大 100 倍左右,归因指向缺 vLLM 重要性采样修正等差异。做强化对齐的人要盯住这条,梯度范数失真会影响裁剪策略。

四,小模型小 batch 几乎白开。 有篇 GitCode 上的实践文(Qwen2-0.5B 在 Colab T4 上的对照)测得很扎实:batch 2、序列 128 时开不开 Liger 显存纹丝不动,拉到 batch 8、序列 512 后差距才出来——不开直接 OOM,开了稳稳跑完。它省的是 logits 这类随 token 数线性涨的中间量,token 总量上不去就无账可省。

五,正面案例也是真的。 Reddit 讨论里有用户报告 4 张 3090 做 4B 全参微调,总时长从 15 小时降到 9.5 小时;51CTO 那篇 4090 QLoRA 实测的 +21% 吞吐和前文引用一致。方向对、场景对,收益是真金。补充一条兼容性旧账:PEFT 加 BitsAndBytes 量化与 Liger 的组合早期撞过兼容问题(issue #235,已关),现在走 QLoRA 前还是建议拿小任务验一遍版本组合,量化库的 patch 顺序和算子替换是两套 monkey-patch 在抢同一批模块。

公开讨论整体不算喧闹,Reddit 和 HN 上主要是发布期的讨论(还有条神评论:「LinkedIn 居然搞开源 LLM 训练组件,这可不在我的宾果卡上」),中文圈的深度文章以集成实践为主。上面的坑单基本就是社区反馈的全部重心了。

我的判断:全参和对齐训练的显存救兵,单卡 LoRA 不必激动

值不值得上手,我的结论分两半。

值得:你在做多卡全参微调、长上下文(4K 往上)、或 DPO/GRPO 这类对齐训练,显存是当前瓶颈,那么 Liger-Kernel 是目前摩擦最小的方案——一行开关,数值有收敛测试背书,Axolotl、LLaMA-Factory、ms-swift 全都内置了。这几个框架我都摸过,它们开 Liger 的姿势基本就是配置文件里改一个布尔值。

不必激动:你的主战场是 8 GB 级单卡的 LoRA/QLoRA,序列短、batch 小。这条赛道上 unsloth 是更对口的选择——它把 LoRA 算子融合、数据预处理、训练流程打包成一站式,单卡收益覆盖更全,代价是流程被它接管、多卡 FSDP 场景不是它的主场。第三个可选项是干脆只用 torch.compile:不用引第三方、没有 monkey-patch 摩擦,但它省的是另一种账(算子编译优化),对 logits 物化这个具体痛点无效。对比维度就三条:单卡还是多卡、LoRA 还是全参、要不要保留训练流程控制权。单卡 LoRA 选 unsloth,多卡全参选 Liger,想要零依赖就用 compile 加自己调 batch。

最后说句实在的。这个项目我从显存那笔憋屈的账追过来,本来以为是个小工具,翻完发现它是 ms-swift、Axolotl 这些训练框架脚下那层公共地基——顺手拉了下,现在是 6,704 个 star,BSD-2 许可,最新版 0.8.5 在 10 月 21 日发的,最近四周 26 次提交,节奏不算猛但每一笔都是实打实的 fix。我自己的 Mac 装不上它,反倒把「平台锁定」这个代价验得明明白白;等哪天公司在 Linux 机器上排到我跑全参,我会第一时间把 use_liger_kernel=True 打开,然后再来还这篇欠下的实测账。

mumupudding 的头像
作者

mumupudding

关注我
其他文章
browser-use 封面图:浏览器智能体库,GitHub 121,116 星,最新版本 1.0.6,近四周 603 次提交
上一个

收藏夹里的 browser-use 教程全过期了|1.0 换了引擎,我装完真跑了一遍

暂无评论!成为第一个。

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

Copyright 2026 — IT极限技术分享汇. 备案号:浙ICP备17006560号-2