From 9efbb69dfd30353173374cc7f2f15bead5194b52 Mon Sep 17 00:00:00 2001
From: KMnO4-zx <1021385881@qq.com>
Date: Mon, 9 Jun 2025 22:14:01 +0800
Subject: [PATCH] =?UTF-8?q?docs(chapter5):=20=E6=B7=BB=E5=8A=A0LLaMA2?=
=?UTF-8?q?=E7=BB=93=E6=9E=84=E5=9B=BE=E5=B9=B6=E6=9B=B4=E6=96=B0=E4=BE=9D?=
=?UTF-8?q?=E8=B5=96?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
更新requirements.txt中的pytorch为torch以保持一致性
---
docs/chapter5/code/requirements.txt | 2 +-
docs/chapter5/第五章 动手搭建大模型.md | 7 +++++++
docs/images/5-images/LLama2.png | Bin 0 -> 928995 bytes
3 files changed, 8 insertions(+), 1 deletion(-)
create mode 100644 docs/images/5-images/LLama2.png
diff --git a/docs/chapter5/code/requirements.txt b/docs/chapter5/code/requirements.txt
index 405c07d..429cb3e 100644
--- a/docs/chapter5/code/requirements.txt
+++ b/docs/chapter5/code/requirements.txt
@@ -1,4 +1,4 @@
-pytorch==2.4.0
+torch==2.4.0
torchvision==0.19.0
datasets==2.16.1
jsonlines==4.0.0
diff --git a/docs/chapter5/第五章 动手搭建大模型.md b/docs/chapter5/第五章 动手搭建大模型.md
index 93786a5..ed0b4e9 100644
--- a/docs/chapter5/第五章 动手搭建大模型.md
+++ b/docs/chapter5/第五章 动手搭建大模型.md
@@ -4,6 +4,13 @@
Meta（原Facebook）于2023年2月发布第一款基于Transformer结构的大型语言模型LLaMA，并于同年7月发布同系列模型LLaMA2。我们在第四章已经学习了解的了LLM，记忆如何训练LLM等等。那本小节我们就来学习，如何动手写一个LLaMA2模型。
+LLaMA2 模型结构如下图5.0所示：
+
+
+
+
图 5.0 LLaMA2结构
+