chore: Update Encoder-Decoder PLM details in README.md

This commit is contained in:
KMnO4-zx
2024-06-02 11:36:46 +08:00
parent 76e89ec149
commit ec6c8125fe
2 changed files with 11 additions and 0 deletions

View File

@@ -12,4 +12,15 @@ T5 的大一统思想将不同的 NLP 任务如文本分类、问答、翻译等
![alt text](./figures/2-0.png) ![alt text](./figures/2-0.png)
> 图片出自参考文献 [1]
### 1模型结构Encoder-Decoder ### 1模型结构Encoder-Decoder
T5 模型采用了 Encoder-Decoder 结构,其中编码器和解码器都是基于 Transformer 架构设计的。编码器用于处理输入文本,解码器用于生成输出文本。编码器和解码器之间通过注意力机制进行信息交互,从而实现输入文本到输出文本的转换。其主要结构如下所示:
![](./figures/2-1.jpg)
**参考文献**
1. [Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer](http://arxiv.org/abs/1910.10683)

Binary file not shown.

After

Width:  |  Height:  |  Size: 156 KiB