diff --git a/docs/chapter3/3.2 Eocoder-Decoder.md b/docs/chapter3/3.2 Eocoder-Decoder.md index 34ad2d8..f0e944d 100644 --- a/docs/chapter3/3.2 Eocoder-Decoder.md +++ b/docs/chapter3/3.2 Eocoder-Decoder.md @@ -12,4 +12,15 @@ T5 的大一统思想将不同的 NLP 任务如文本分类、问答、翻译等 ![alt text](./figures/2-0.png) +> 图片出自参考文献 [1] + ### (1)模型结构:Encoder-Decoder + +T5 模型采用了 Encoder-Decoder 结构,其中编码器和解码器都是基于 Transformer 架构设计的。编码器用于处理输入文本,解码器用于生成输出文本。编码器和解码器之间通过注意力机制进行信息交互,从而实现输入文本到输出文本的转换。其主要结构如下所示: + +![](./figures/2-1.jpg) + + +**参考文献** + +1. [Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer](http://arxiv.org/abs/1910.10683) \ No newline at end of file diff --git a/docs/chapter3/figures/2-1.jpg b/docs/chapter3/figures/2-1.jpg new file mode 100644 index 0000000..30a6669 Binary files /dev/null and b/docs/chapter3/figures/2-1.jpg differ