KMnO4-zx
|
643226e252
|
docs(chapter5): 更新tokenizer训练数据加载说明
使用出门问问序列猴子开源数据集替代wikitext数据集，并添加JSONL文件读取方法
|
2025-06-26 11:02:10 +08:00 |
|
KMnO4-zx
|
3b24a9fd1e
|
docs: 更新README和文档内容，添加模型下载链接
- 在README中新增模型下载章节，包含ModelScope链接
- 更新模型示例代码中的默认检查点路径
- 优化训练脚本的注释和参数说明
- 添加中文文档的模型下载和体验地址
- 修复文档中的训练时长和设备信息
|
2025-06-22 10:05:36 +08:00 |
|
KMnO4-zx
|
2601c45444
|
docs(chapter5): 修复LLaMA2 Attention结构图中图片链接格式
|
2025-06-18 16:33:43 +08:00 |
|
KMnO4-zx
|
2fca30c239
|
docs(chapter5): 更新LLaMA2注意力机制图示
|
2025-06-18 16:32:07 +08:00 |
|
KMnO4-zx
|
ce535629ca
|
docs(chapter5): 更新模型文档并添加数据处理脚本
- 更新LLaMA2模型文档，修正图片引用和编号
- 添加Attention结构示意图
- 新增数据处理脚本download_dataset.sh和deal_dataset.py
- 优化文档中的代码示例说明
|
2025-06-18 16:26:33 +08:00 |
|
KMnO4-zx
|
1f46fc1dd5
|
docs: 更新文档中的图片链接为绝对路径
将所有文档中的相对图片路径替换为完整的GitHub raw链接，确保图片在文档中能够正确显示
|
2025-06-17 17:07:09 +08:00 |
|
KMnO4-zx
|
5713a54960
|
fix(docs): 修正文档中torch拼写错误
|
2025-06-12 09:10:18 +08:00 |
|
KMnO4-zx
|
6a47afc997
|
fix: 修正 5.1.2 中输出张量形状的错误
|
2025-06-12 09:08:38 +08:00 |
|
KMnO4-zx
|
9efbb69dfd
|
docs(chapter5): 添加LLaMA2结构图并更新依赖
更新requirements.txt中的pytorch为torch以保持一致性
|
2025-06-09 22:14:01 +08:00 |
|
KMnO4-zx
|
9569c9fdca
|
fix(tokenizer): 将add_prefix_space配置改为false
|
2025-06-08 09:27:21 +08:00 |
|
KMnO4-zx
|
04e14a978b
|
docs(chapter5): 修正RMSNorm公式中的变量和描述
- 将公式中的权重变量 $w_i$ 改为输入变量 $x_i$ 以匹配实际实现
- 添加可学习的缩放参数 $\gamma$ 到公式中
- 更新变量描述使其更准确
|
2025-06-05 10:54:45 +08:00 |
|
KMnO4-zx
|
f9fe12d99a
|
docs：add docsify deploy
|
2025-05-25 00:02:24 +08:00 |
|
KMnO4-zx
|
7127aa48b3
|
docs：第五章 动手搭建大模型 修改图片、引用格式
|
2025-05-13 20:10:12 +08:00 |
|
KMnO4-zx
|
7638cee514
|
Create 第五章 动手搭建大模型 & 第七章 大模型应用
|
2025-04-26 20:28:25 +08:00 |
|