bacow/happy-llm
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

update C6

Browse Source
This commit is contained in:
Logan Zou
2025-04-26 21:52:12 +08:00
parent bdf3be98f3
commit 360dd41c56
3 changed files with 2 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
docs/chapter6/第六章 大模型训练流程实践.md
View File

@@ -766,7 +766,7 @@ trainer.save_model()
具体而言，其在预训练模型每层中插入用于下游任务的参数，即 Adapter 模块，在微调时冻结模型主体，仅训练特定于任务的参数。
![Adapter](./figures/4-1.jpg)
![Adapter](./images/3-1.jpg)
每个 Adapter 模块由两个前馈子层组成，第一个前馈子层将 Transformer 块的输出作为输入，将原始输入维度 $d$ 投影到 $m$，通过控制 $m$ 的大小来限制 Adapter 模块的参数量，通常情况下 $m << d$。在输出阶段，通过第二个前馈子层还原输入维度，将 $m$ 重新投影到 $d$，作为 Adapter 模块的输出(如上图右侧结构)。
@@ -815,7 +815,7 @@ $$h = W_0 x + \Delta W x = W_0 x + B A x$$
训练思路如图：
![LoRA](./figures/4-2.png)
![LoRA](./images/3-2.png)
#### （2）应用于 Transformer