Happy LLM

很多小伙伴在看完 self-llm 开源大模型食用指南后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。

本项目是一个开源的 LLM 教程，包含了大语言模型的基本原理、训练过程和应用案例。我们将从基础知识开始，逐步深入到大语言模型的核心原理和训练过程，最后介绍一些实际应用案例。通过本项目，你将能够深入理解大语言模型的原理，并能够动手实现一个简单的大语言模型。

本项目内容包括：第一～二章介绍 NLP 的基本概念和大语言模型的基本原理；第三～四章介绍大模型结构及大模型训练流程；第五～六章会带领大家动手搭建一个大模型并完成模型训练；第七章介绍大模型的应用案例，如：RAG，Agent等等。我们会在每一章中提供详细的代码示例和注释，帮助大家理解每一个细节。

内容导航

章节	关键内容
第一章 NLP 基础概念	什么是 NLP、NLP 发展历程、NLP 任务、文本表示的发展历程
第二章 Transformer 架构	注意力机制、Encoder-Decoder、搭建一个 Transformer
第三章预训练语言模型	Encoder-only PLM、Encoder-Decoder PLM、Decoder-Only PLM
第四章大语言模型	什么是 LLM、如何训练一个 LLM
第五章动手搭建大模型	动手实现一个 LLaMA2 大模型、训练 Tokenizer、预训练一个小型LLM
第六章大模型训练实践流程	模型预训练、模型有监督微调、高效微调
第七章大模型应用	LLM 的评测、RAG、Agent

扫描下方二维码关注公众号：Datawhale，获取更多开源项目和最新资讯！