From 067b855c844628f697f8ff632561d0e2d28e1d34 Mon Sep 17 00:00:00 2001 From: Logan Zou Date: Sat, 26 Apr 2025 21:38:20 +0800 Subject: [PATCH] update C3 --- docs/chapter3/第三章 预训练语言模型.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/chapter3/第三章 预训练语言模型.md b/docs/chapter3/第三章 预训练语言模型.md index a86ba44..ec37e58 100644 --- a/docs/chapter3/第三章 预训练语言模型.md +++ b/docs/chapter3/第三章 预训练语言模型.md @@ -419,7 +419,7 @@ GLM 最初是由清华计算机系推出的一种通用语言模型基座，其 3. 激活函数从 ReLU 换成了 GeLUS。ReLU 是传统的激活函数，其核心计算逻辑为去除小于 0的传播，保留大于 0的传播；GeLUS 核心是对接近于 0的正向传播，做了一个非线性映射，保证了激活函数后的非线性输出，具有一定的连续性。 -####（2）预训练任务-GLM +#### （2）预训练任务-GLM GLM 的核心创新点主要在于其提出的 GLM（General Language Model，通用语言模型）任务，这也是 GLM 的名字由来。GLM 是一种结合了自编码思想和自回归思想的预训练方法。所谓自编码思想，其实也就是 MLM 的任务学习思路，在输入文本中随机删除连续的 tokens，要求模型学习被删除的 tokens；所谓自回归思想，其实就是传统的 CLM 任务学习思路，也就是要求模型按顺序重建连续 tokens。