Commit Graph

20 Commits

Author SHA1 Message Date
KMnO4-zx
6a47afc997 fix: 修正 5.1.2 中输出张量形状的错误 2025-06-12 09:08:38 +08:00
KMnO4-zx
9efbb69dfd docs(chapter5): 添加LLaMA2结构图并更新依赖
更新requirements.txt中的pytorch为torch以保持一致性
2025-06-09 22:14:01 +08:00
KMnO4-zx
9569c9fdca fix(tokenizer): 将add_prefix_space配置改为false 2025-06-08 09:27:21 +08:00
KMnO4-zx
04e14a978b docs(chapter5): 修正RMSNorm公式中的变量和描述
- 将公式中的权重变量 $w_i$ 改为输入变量 $x_i$ 以匹配实际实现
- 添加可学习的缩放参数 $\gamma$ 到公式中
- 更新变量描述使其更准确
2025-06-05 10:54:45 +08:00
KMnO4-zx
f909cd1a87 docs:修改内容结构 && update readme 2025-06-03 18:52:33 +08:00
KMnO4-zx
32c3f16b8c fix: add chapter5 reauirements 2025-06-03 18:42:51 +08:00
KMnO4-zx
f9fe12d99a docs:add docsify deploy 2025-05-25 00:02:24 +08:00
KMnO4-zx
7127aa48b3 docs:第五章 动手搭建大模型 修改图片、引用格式 2025-05-13 20:10:12 +08:00
KMnO4-zx
7638cee514 Create 第五章 动手搭建大模型 & 第七章 大模型应用 2025-04-26 20:28:25 +08:00
KMnO4-zx
3512f55993 update ch05 2025-02-26 20:31:51 +08:00
KMnO4-zx
ca3e727e1c update ch05 2025-02-26 11:24:19 +08:00
KMnO4-zx
86c76cb09b update 5.3 transformers pretrain 2024-10-15 11:01:59 +08:00
KMnO4-zx
9e6d8a3f77 Add: ch5.3 code 2024-09-22 16:02:14 +08:00
KMnO4-zx
c579aff59d docs: ch05 Done 2024-09-22 16:00:36 +08:00
KMnO4-zx
629f1293ae refactor: Optimize LLaMA2Model's configure_optimizers method 2024-08-24 18:59:48 +08:00
KMnO4-zx
f63e6895fa complete tokenizer 2024-08-11 21:45:57 +08:00
KMnO4-zx
001a87bdfa chore: Update tokenizer documentation and finish GPT mode 2024-07-18 09:50:11 +08:00
KMnO4-zx
f4007e8fd8 chore: Update tokenizer documentation and finish GPT mode 2024-07-17 23:37:01 +08:00
KMnO4-zx
73ff50be2b Fix: 5.1 llama 2024-05-28 16:18:07 +08:00
logan_zou
dbced843e5 init 2024-05-28 12:25:44 +08:00