From 73ff50be2b5a5381f40b0d6f728b4cf30171b80d Mon Sep 17 00:00:00 2001 From: KMnO4-zx <1021385881@qq.com> Date: Tue, 28 May 2024 16:18:07 +0800 Subject: [PATCH] Fix: 5.1 llama --- docs/chapter5/5.1 模型结构-LLaMA.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/chapter5/5.1 模型结构-LLaMA.md b/docs/chapter5/5.1 模型结构-LLaMA.md index 4577731..f5a538a 100644 --- a/docs/chapter5/5.1 模型结构-LLaMA.md +++ b/docs/chapter5/5.1 模型结构-LLaMA.md @@ -543,7 +543,7 @@ class LLaMA2Model(nn.Module): return logits ``` -同样大家可以使用下面的代码来对`LLaMA2Model`模块进行测试,可以看到代码最终输出的形状为`torch.Size([1, 50, 32000])`,与我们输入的形状一致,说明模块的实现是正确的。 +同样大家可以使用下面的代码来对`LLaMA2Model`模块进行测试,可以看到代码最终输出的形状为`torch.Size([1, 1, 32000])`,与我们输入的形状一致,说明模块的实现是正确的。 ```python # LLaMA2Model.forward 接受两个参数,tokens和targets,其中tokens是输入的张量, 应为int类型