生成式预训练语言模型：理论与实战

本章节梳理了NLP技术的发展进化过程的四阶段，分别是：起源、基于规则的方法、基于统计的语言模型、大数据驱动的深度学习模型。同时介绍了NLP演进过程中的各种关键技术，着重介绍了语言模型的原理。

本章节进一步诠释“语言模型的内涵是一种用于计算和预测自然语言序列概率分布的模型”，并通过N-gram模型来解释语言模型如何通过分析语言数据来建立数学模型，推断和预测下一个单词，并通过代码实践实现一个N-gram语言模型。

本章节重点介绍词向量表示的概念和学习方法，以Word2Vec的Skip-Gram和CBOW算法为例，详细讲解其原理和实现。通过代码实践，学生将了解如何使用Word2Vec模型将词汇表达为词向量，以捕捉词汇之间的语义关系。

本章节将介绍神经概率语言模型（NPLM）的基本原理和实现，学生将了解NPLM如何利用神经网络来学习语言表示，并为后续的各种深度学习语言模型的学习奠定基础。实践部分，将带领学生一起搭建一个以RNN网络为内部层结构的神经概率语言模型，预测句子中的下一个单词。

本章节介绍一种重要的NLP模型架构——序列到序列（Seq2Seq），详细讲解其编码器-解码器结构的基本原理与应用场景。通过学习本课，学生将了解为何Seq2Seq在处理序列到序列的任务时具有优势，以及如何利用Seq2Seq模型处理各种序列到序列任务，这将为后续Transformer模型的学习打下坚实基础。代码实践部分，将带领学生一起搭建一个以RNN网络为内部层结构的Seq2Seq模型，完成简单的文本翻译任务。

本章节重点介绍Transformer模型的核心机制——注意力（Attention）机制。我们将详细解析缩放点积注意力、编码器-解码器注意力、自注意力（Self-Attention）、多头注意力（Multi-Head Attention）的工作原理和代码实现。通过本课的学习，学生将了解注意力机制如何帮助Seq2Seq模型捕捉长距离依赖和实现并行计算。

本章节深入剖析Transformer模型的架构和原理及实现细节。通过本课的学习，学生将完全学透Transformer模型的关键技术和底层逻辑。实践部分，将带领学生一起搭建一个完整的Transformer模型，并完成一个文本翻译任务。

本章节带领学生训练一个简化版的生成式预训练模型——GPT。我们将详细讲解如何准备数据、搭建模型架构、进行训练和评估，实现文本生成任务。通过本课的学习，学生将了解到GPT模型的实际操作流程，为自己的项目奠定基础。

本章节使用对话数据集对上一章中训练的GPT模型进行优化，以实现具备聊天对话功能的mini-ChatGPT模型。同时还将初步探讨如何通过基于人类反馈的强化学习方法来优化ChatGPT模型，实现更高质量的生成效果。

本章节通过GPT-4(3.5)API实战来介绍Prompt Engineering（提示工程）的原则、技巧，以及注意事项。我们会讲解OpenAI API的使用方法，通过实际案例演示，让学生将了解如何在自己的项目中快速实现高效的自然语言处理功能。