KMnO4-zx
|
30f3f01619
|
refactor(dataset): 使用tokenizer动态生成a_sequence并替换硬编码值
fix(ddp_sft_full): 修正参数默认值和优化器类型
docs(ddp_pretrain): 添加详细注释和优化参数描述
|
2025-06-21 11:39:40 +08:00 |
|
MengYue-MK2000
|
b1ac936d36
|
created windows_download_dataset.sh, deleted original changes in download_dataset.sh
|
2025-06-19 17:52:24 +08:00 |
|
Reagan Zhang
|
18ff1a73a8
|
Update download_dataset.sh
Update Mac installation for modelscope
|
2025-06-19 16:09:59 +08:00 |
|
Reagan Zhang
|
56fb0c34d4
|
Update download_dataset.sh
|
2025-06-19 16:06:05 +08:00 |
|
KMnO4-zx
|
2601c45444
|
docs(chapter5): 修复LLaMA2 Attention结构图中图片链接格式
|
2025-06-18 16:33:43 +08:00 |
|
KMnO4-zx
|
2fca30c239
|
docs(chapter5): 更新LLaMA2注意力机制图示
|
2025-06-18 16:32:07 +08:00 |
|
KMnO4-zx
|
ce535629ca
|
docs(chapter5): 更新模型文档并添加数据处理脚本
- 更新LLaMA2模型文档，修正图片引用和编号
- 添加Attention结构示意图
- 新增数据处理脚本download_dataset.sh和deal_dataset.py
- 优化文档中的代码示例说明
|
2025-06-18 16:26:33 +08:00 |
|
KMnO4-zx
|
ada2e0c44f
|
fix(download.py): 修复解压命令未指定目标目录的问题
|
2025-06-18 12:34:52 +08:00 |
|
KMnO4-zx
|
1f46fc1dd5
|
docs: 更新文档中的图片链接为绝对路径
将所有文档中的相对图片路径替换为完整的GitHub raw链接，确保图片在文档中能够正确显示
|
2025-06-17 17:07:09 +08:00 |
|
KMnO4-zx
|
5713a54960
|
fix(docs): 修正文档中torch拼写错误
|
2025-06-12 09:10:18 +08:00 |
|
KMnO4-zx
|
6a47afc997
|
fix: 修正 5.1.2 中输出张量形状的错误
|
2025-06-12 09:08:38 +08:00 |
|
KMnO4-zx
|
9efbb69dfd
|
docs(chapter5): 添加LLaMA2结构图并更新依赖
更新requirements.txt中的pytorch为torch以保持一致性
|
2025-06-09 22:14:01 +08:00 |
|
KMnO4-zx
|
9569c9fdca
|
fix(tokenizer): 将add_prefix_space配置改为false
|
2025-06-08 09:27:21 +08:00 |
|
KMnO4-zx
|
04e14a978b
|
docs(chapter5): 修正RMSNorm公式中的变量和描述
- 将公式中的权重变量 $w_i$ 改为输入变量 $x_i$ 以匹配实际实现
- 添加可学习的缩放参数 $\gamma$ 到公式中
- 更新变量描述使其更准确
|
2025-06-05 10:54:45 +08:00 |
|
KMnO4-zx
|
f909cd1a87
|
docs：修改内容结构 && update readme
|
2025-06-03 18:52:33 +08:00 |
|
KMnO4-zx
|
32c3f16b8c
|
fix: add chapter5 reauirements
|
2025-06-03 18:42:51 +08:00 |
|
KMnO4-zx
|
f9fe12d99a
|
docs：add docsify deploy
|
2025-05-25 00:02:24 +08:00 |
|
KMnO4-zx
|
7127aa48b3
|
docs：第五章 动手搭建大模型 修改图片、引用格式
|
2025-05-13 20:10:12 +08:00 |
|
KMnO4-zx
|
7638cee514
|
Create 第五章 动手搭建大模型 & 第七章 大模型应用
|
2025-04-26 20:28:25 +08:00 |
|
KMnO4-zx
|
3512f55993
|
update ch05
|
2025-02-26 20:31:51 +08:00 |
|
KMnO4-zx
|
ca3e727e1c
|
update ch05
|
2025-02-26 11:24:19 +08:00 |
|
KMnO4-zx
|
86c76cb09b
|
update 5.3 transformers pretrain
|
2024-10-15 11:01:59 +08:00 |
|
KMnO4-zx
|
9e6d8a3f77
|
Add: ch5.3 code
|
2024-09-22 16:02:14 +08:00 |
|
KMnO4-zx
|
c579aff59d
|
docs: ch05 Done
|
2024-09-22 16:00:36 +08:00 |
|
KMnO4-zx
|
629f1293ae
|
refactor: Optimize LLaMA2Model's configure_optimizers method
|
2024-08-24 18:59:48 +08:00 |
|
KMnO4-zx
|
f63e6895fa
|
complete tokenizer
|
2024-08-11 21:45:57 +08:00 |
|
KMnO4-zx
|
001a87bdfa
|
chore: Update tokenizer documentation and finish GPT mode
|
2024-07-18 09:50:11 +08:00 |
|
KMnO4-zx
|
f4007e8fd8
|
chore: Update tokenizer documentation and finish GPT mode
|
2024-07-17 23:37:01 +08:00 |
|
KMnO4-zx
|
73ff50be2b
|
Fix: 5.1 llama
|
2024-05-28 16:18:07 +08:00 |
|
logan_zou
|
dbced843e5
|
init
|
2024-05-28 12:25:44 +08:00 |
|