47 lines
3.3 KiB
Markdown
47 lines
3.3 KiB
Markdown
# Happy LLM
|
||
|
||
很多小伙伴在看完《self-llm 开源大模型食用指南》后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。
|
||
|
||
本项目是一个开源的 LLM 教程，包含了大语言模型的基本原理、训练过程和应用案例。我们将从基础知识开始，逐步深入到大语言模型的核心原理和训练过程，最后介绍一些实际应用案例。通过本项目，你将能够深入理解大语言模型的原理，并能够动手实现一个简单的大语言模型。
|
||
|
||
本项目内容包括：第一～二章介绍 NLP 的基本概念和大语言模型的基本原理；第三～四章介绍大模型结构及大模型训练流程；第五～六章会带领大家动手搭建一个大模型并完成模型训练；第七章介绍大模型的应用案例，如：RAG，Agent等等。我们会在每一章中提供详细的代码示例和注释，帮助大家理解每一个细节。
|
||
|
||
## 内容导航
|
||
|
||
| 章节 | 关键内容 |
|
||
| ------------------------- | ------------------------------------------------------------ |
|
||
| [第一章 NLP 基础概念](./docs/chapter1/第一章%20NLP基础概念.md) | 什么是 NLP、NLP 发展历程、NLP 任务、文本表示的发展历程 |
|
||
| [第二章 Transformer 架构](./docs/chapter2/第二章%20Transformer架构.md) | 注意力机制、Encoder-Decoder、搭建一个 Transformer |
|
||
| [第三章 预训练语言模型](./docs/chapter3/第三章%20预训练语言模型.md) | Encoder-only PLM、Encoder-Decoder PLM、Decoder-Only PLM |
|
||
| [第四章 大语言模型](./docs/chapter4/第四章%20大语言模型.md) | 什么是 LLM、如何训练一个 LLM |
|
||
| [第五章 动手搭建大模型](./docs/chapter5/第五章%20动手搭建大模型.md) | 动手实现一个 LLaMA2 大模型、训练 Tokenizer、预训练一个小型LLM |
|
||
| [第六章 大模型训练实践流程](./docs/chapter6/第六章%20大模型训练流程实践.md) | 模型预训练、模型有监督微调、高效微调 |
|
||
| [第七章 大模型应用](./docs/chapter7/第七章%20大模型应用.md) | LLM 的评测、RAG、Agent |
|
||
|
||
## 致谢
|
||
|
||
### 核心贡献者
|
||
|
||
- [宋志学-项目负责人](https://github.com/KMnO4-zx)(Datawhale成员-中国矿业大学(北京))
|
||
- [邹雨衡-项目负责人](https://github.com/logan-zou)(Datawhale成员-对外经济贸易大学)
|
||
|
||
### 其他
|
||
|
||
- 特别感谢[@Sm1les](https://github.com/Sm1les)对本项目的帮助与支持
|
||
- 如果有任何想法可以联系我们 DataWhale 也欢迎大家多多提出 issue
|
||
- 特别感谢以下为教程做出贡献的同学！
|
||
|
||
<div align=center style="margin-top: 30px;">
|
||
<a href="https://github.com/datawhalechina/happy-llm/graphs/contributors">
|
||
<img src="https://contrib.rocks/image?repo=datawhalechina/happy-llm" />
|
||
</a>
|
||
</div>
|
||
|
||
## 关于我们
|
||
|
||
扫描下方二维码关注公众号：Datawhale，获取更多开源项目和最新资讯！
|
||
|
||
<div align='center'>
|
||
<img src="./images/datawhale.png" alt="alt text" width="30%">
|
||
</div>
|