202301期

生成式预训练语言模型:理论与实战

从0到1构建自己的mini-ChatGPT

完整PyTorch代码实操细讲,经典论文复现

NLP技术关键技术发展脉络精讲,注意力机制和Transformer架构全面剖析

  • 讲师:黄佳

 对课程有疑问? 点击视频立即观看课程介绍!

课程服务

3个月

作业批改

助教1v1批改

课程有效期

365天

学习时长

10周

¥599.00

更多信息添加客服叶子语咨询,请备注【ChatGPT】
请确认
X
生成式预训练语言模型:理论与实战 您已经是《生成式预训练语言模型:理论与实战》-学员,是否购买最新一期?

i提示:

1. 您的《生成式预训练语言模型:理论与实战》-暂未到期,可直接学习

2. 针对以上信息如有问题,您可联系工作人员进行咨询

购买最新一期
课程介绍 课程大纲 学习服务 售前疑问
¥599.00

课程持续10周 · 每周建议学习8小时

本课程包括:
3个月群内答疑,讲师助教及时解答
课程有效期为1年,建议合理规划学习
课程配有作业练习,助教一对一批改
班主任带班,严格督学,告别拖延
根据学习情况颁发结业证书、优秀学员证书

黄佳

新加坡科技研究局人工智能高级研究员,主攻方向为NLP大模型的研发与应用、持续学习、AI in FinTech、AI in Spectrometry Data。曾著有《零基础学机器学习》、《数据分析咖哥十话》等多部畅销书籍,深耕数据科学领域多年,积累了丰富的科研项目和政府、银行、能源、医疗等领域AI项目落地实战经验。

随着ChatGPT的爆火,大语言模型(LLM)得到了空前的关注,各行各业的从业者开始应用ChatGPT提升日常工作效率。那么该如何构建属于自己的mini-ChatGPT?又需要掌握哪些核心技术呐?本课程会给你答案!课程会从语言模型的概念以及经典方案开始讲起,逐渐演进到ChatGPT中使用的基于Transformer的语言模型以及注意力(Attention)机制,并从思想层面透彻地解释Attention机制为什么有效,最后带着大家实现自己的mini-ChatGPT。在讲解原理的同时,课程非常注重代码实践,算法的代码实现穿插于每个算法理论之中。上述的课程设计,极大降低了课程学习门槛,相信每一位学习过Python以及概率论、线性代数的同学,都能够收获颇丰。

课程目标

透彻理解以ChatGPT为代表的生成式语言模型的原理以及代码实现
自主开发属于自己的ChatGPT

目标 O1

掌握语言模型的经典与主流算法,及其发展脉络

目标 O2

深刻理解ChatGPT的若干核心技术

目标 O3

动手实现mini版本的ChatGPT

课程脉络

从基础到进阶,从理论模型到实战剖析
  • 01 基础概念 1

    基础概念:ChatGPT属于大语言模型的一类,那么首先课程会通俗地讲解“什么是语言模型,什么是大语言模型”,在讲解语言模型时,会引出词向量、词嵌入等NLP领域几个最常用的概念,以及经典方法Word2Vec。

  • 02 核心算法 2

    核心算法:过去的十余年,语言模型的算法层出不穷,课程案例算法的演变脉络,精选了早期的N-gram以及基于浅层神经网络的NPLM进行详细讲解,并逐步过渡到基于深层网络的语言模型(生成式语言模型GPT)。GPT模型的深层网络不再采用CNN, RNN或者LSTM等结构,而是采用表达能力更强的Transformer,因此在讲解GPT模型时会细致讲解“Transformer的思想是什么,其核心组件有哪些,为什么其表达能力更强”。

  • 03 综合实践 3

    综合实践:每个核心算法的原理讲解,都会配套其代码实现,便于同学们学以致用。同时,课程也会带大家实现一个mini版本的ChatGPT:考虑到同学们算力资源有限,课程提供一个小型的数据集,将详细讲解如何准备数据、搭建模型架构、进行训练和评估,进而在该小型数据集上训练GPT模型。

课程大纲

  • 第1章:从图灵测试到ChatGPT-NLP技术发展简史

    本课梳理了NLP技术的发展进化过程的四阶段,分别是:起源、基于规则的方法、基于统计的语言模型、大数据驱动的深度学习模型。同时介绍了NLP演进过程中的各种关键技术,着重介绍了语言模型的原理。

  • 第2章:语言模型的早期形式-N-gram实战

    本课进一步诠释“语言模型的内涵是一种用于计算和预测自然语言序列概率分布的模型”,并通过N-gram模型来解释语言模型如何通过分析语言数据来建立数学模型,推断和预测下一个单词,并通过代码实践实现一个N-gram语言模型。

  • 第3章:词的向量表示是如何习得的-Word2Vec实战

    本课重点介绍词向量表示的概念和学习方法,以Word2Vec的Skip-Gram和CBOW算法为例,详细讲解其原理和实现。通过代码实践,学生将了解如何使用Word2Vec模型将词汇表达为词向量,以捕捉词汇之间的语义关系。

  • 第4章:BERT,GPT等大模型的起点-神经概率语言模型NPLM

    本课将介绍神经概率语言模型(NPLM)的基本原理和实现,学生将了解NPLM如何利用神经网络来学习语言表示,并为后续的各种深度学习语言模型的学习奠定基础。实践部分……

点击此处查看完整目录

学习收获

  • 1你将获得现代NLP技术的关键内核和完整脉络(摒弃一切已经不需要过多了解的过时东西)
  • 2你将掌握NLP领域编程基本功和PyTorch主要内容
  • 3你将搭建起一个属于你自己的简版ChatGPT(生成式语言模型)
  • 4你将掌握注意力机制和Transformer架构的核心思想以及代码实现
课程适合谁学习
NLP领域学生、研究人员
任何对ChatGPT和生成式模型有兴趣的人
基础不深,但是想入门AI的初学者
课程所需的基础知识
Python基本知识
概率论、线性代数等数学基础知识
最好有PyTorch基础知识

全方位的学习服务

个性化增值服务,学习有保障更高效

  • 作业批改

    作业批改 助教1V1批改作业,定期针对作业中的“通病”进行点评

  • 结业证书

    结业证书 本课程将根据作业完成情况评选结业学员及优秀学员,颁发证书

  • 实时答疑

    实时答疑 讲师微信群答疑,及时解决大家遇到的问题

  • 班班督学

    班班督学 班主任全程带班,不定时“关照”未交作业的同学,克服拖延

课程相关问题请咨询客服

添加时请备注【ChatGPT】

点击查看
课程大纲
点击了解
学习服务
  • 第1章: 从图灵测试到ChatGPT-NLP技术发展简史 5节课程

    本章节梳理了NLP技术的发展进化过程的四阶段,分别是:起源、基于规则的方法、基于统计的语言模型、大数据驱动的深度学习模型。同时介绍了NLP演进过程中的各种关键技术,着重介绍了语言模型的原理。

  • 第1节: 语言是什么?

  • 第2节: 语言模型的进化

  • 第3节: 语言模型发展的里程碑

  • 第4节: 预训练语言模型:BERT和GPT

  • 第5节: 大模型的使用模式

  • 第2章: 语言模型的早期形式-N-gram实战 5节课程

    本章节进一步诠释“语言模型的内涵是一种用于计算和预测自然语言序列概率分布的模型”,并通过N-gram模型来解释语言模型如何通过分析语言数据来建立数学模型,推断和预测下一个单词,并通过代码实践实现一个N-gram语言模型。

  • 第1节: 再谈什么是语言模型

  • 第2节: N-gram:最早最简单的语言模型

  • 第3节: NLP中的分词

  • 第4节: 实践:创建一个bigram字符预测模型

  • 第5节: N-gram的优点与局限

  • 第3章: 词的向量表示是如何习得的-Word2Vec实战 8节课程

    本章节重点介绍词向量表示的概念和学习方法,以Word2Vec的Skip-Gram和CBOW算法为例,详细讲解其原理和实现。通过代码实践,学生将了解如何使用Word2Vec模型将词汇表达为词向量,以捕捉词汇之间的语义关系。

  • 第1节: 计算机如何表示词?

  • 第2节: One-Hot编码

  • 第3节: 词的分布式表示

  • 第4节: 词向量的定义

  • 第5节: 语言模型与词向量之间的关系

  • 第6节: Word2Vec:一种高效的词向量学习方法

  • 第7节: 实践:创建一个Skip-Gram词向量模型

  • 第8节: Word2Vec总结:训练过程及其局限

  • 第4章: BERT,GPT等大模型的起点-神经概率语言模型NPLM 4节课程

    本章节将介绍神经概率语言模型(NPLM)的基本原理和实现,学生将了解NPLM如何利用神经网络来学习语言表示,并为后续的各种深度学习语言模型的学习奠定基础。实践部分,将带领学生一起搭建一个以RNN网络为内部层结构的神经概率语言模型,预测句子中的下一个单词。

  • 第1节: 词向量的局限与神经网络的引入

  • 第2节: 神经概率语言模型:NPLM

  • 第3节: 实践:创建一个NPLM模型

  • 第4节: NPLM模型的增强与改进

  • 第5章: Transformer的基础架构-序列到序列-Seq2Seq 5节课程

    本章节介绍一种重要的NLP模型架构——序列到序列(Seq2Seq),详细讲解其编码器-解码器结构的基本原理与应用场景。通过学习本课,学生将了解为何Seq2Seq在处理序列到序列的任务时具有优势,以及如何利用Seq2Seq模型处理各种序列到序列任务,这将为后续Transformer模型的学习打下坚实基础。代码实践部分,将带领学生一起搭建一个以RNN网络为内部层结构的Seq2Seq模型,完成简单的文本翻译任务。

  • 第1节: 通信原理:编码-解码

  • 第2节: Seq2Seq架构

  • 第3节: Seq2Seq架构适合处理哪类NLP问题?

  • 第4节: 实践:创建一个Seq2Seq模型

  • 第5节: Seq2Seq的历史地位与局限

  • 第6章: Transformer的核心机制-详解注意力Attention 6节课程

    本章节重点介绍Transformer模型的核心机制——注意力(Attention)机制。我们将详细解析缩放点积注意力、编码器-解码器注意力、自注意力(Self-Attention)、多头注意力(Multi-Head Attention)的工作原理和代码实现。通过本课的学习,学生将了解注意力机制如何帮助Seq2Seq模型捕捉长距离依赖和实现并行计算。

  • 第1节: 再谈Seq2Seq的局限

  • 第2节: 从直觉上理解注意力

  • 第3节: 注意力机制如何解决了Seq2Seq的局限

  • 第4节: 从简单到复杂,逐步拆解注意力机制

  • 第5节: 自注意力与多头注意力:原理与代码实践

  • 第6节: 注意力中的掩码

  • 第7章: ChatGPT的内核-Transformer详解

    本章节深入剖析Transformer模型的架构和原理及实现细节。通过本课的学习,学生将完全学透Transformer模型的关键技术和底层逻辑。实践部分,将带领学生一起搭建一个完整的Transformer模型,并完成一个文本翻译任务。

  • 第8章: 训练你的简版生成式语言模型-GPT

    本章节带领学生训练一个简化版的生成式预训练模型——GPT。我们将详细讲解如何准备数据、搭建模型架构、进行训练和评估,实现文本生成任务。通过本课的学习,学生将了解到GPT模型的实际操作流程,为自己的项目奠定基础。

  • 第9章: 从GPT到ChatGPT-基于人类反馈的强化学习

    本章节使用对话数据集对上一章中训练的GPT模型进行优化,以实现具备聊天对话功能的mini-ChatGPT模型。同时还将初步探讨如何通过基于人类反馈的强化学习方法来优化ChatGPT模型,实现更高质量的生成效果。

  • 第10章: 站在巨人的肩上- Prompt Engineering(提示工程)

    本章节通过GPT-4(3.5)API实战来介绍Prompt Engineering(提示工程)的原则、技巧,以及注意事项。我们会讲解OpenAI API的使用方法,通过实际案例演示,让学生将了解如何在自己的项目中快速实现高效的自然语言处理功能。

课程讨论区

已累计讨论26495个问题

课程配备专属讨论区,不仅有讲师、助教全程答疑,更能与同学们交流讨论,在思维碰撞中加深理解

在课程中随想随问,同学们的问题也可能启发到你

在课程讨论区,和684位同学一起探讨更多问题···

作业批改

已累计批改4951份作业

助教一对一批改作业,定期针对作业中的问题进行评讲

结业证书

课程根据作业完成情况评选结业学员及优秀学员,颁发证书

优秀学员更能获得额外购课优惠

班班督学

班班、助教、讲师全程带班,日常答疑解惑

FAQ

1、课程可以试听吗?

可以,您可以联系客服领取试听内容,根据试听的效果决定是否报名。

2、报名课程后,如果不满意,可以退款吗?

我们承诺: 报名后7天内且学习进度停留在第一章节的内容可以无条件全额退款,若您的学习进度超过第一章或报名时间超过7天将不再支持退款哦。课好不好,学了就知道了!(2023年6月2日前报名的用户统一视为2023年6月2日完成报名)

3、报名课程的费用可以开发票吗?

深蓝学院所有课程都可以开具发票。您可以登录深蓝学院官网(https://www.shenlanxueyuan.com),进入个人“账户中心”,在线申请。

4、报名后怎么开始学习呢?

PC端:登录深蓝学院官网(https://www.shenlanxueyuan.com),进入“个人中心”或“我的课程” 的课程即可开始学习。课程中包含讲师讲解的视频、课件、代码、作业及其它学习资料。建议在PC端学习体验更好。

如果想缓存视频,可下载深蓝学院APP。

5、可以跟讲师直接交流吗?

报名课程后添加课程对应的班主任微信,由其邀请加入微信答疑群。在答疑群内,您可以直接跟讲师和其他同学讨论交流。

报名后在对应的课程详情页,可查看对应的班主任微信。

6、学习形式和学习周期是怎样的?

为保证学习质量方便同学们反复观看,本课程采用录播形式。建议同学们登录深蓝学院PC端官网体验更佳。

7、课程有有效期吗?

为了督促同学们学习,保证学习效率,学院的课程有效期均为一年,当课程有效期截止后将不再支持观看视频、下载课件等课程服务及操作。若同学们依旧想观看视频和下载课件,建议可选择续费本课程。需要提醒大家的是,课程答疑、作业批改&讲评等课程相关服务仅限开课仪式至结课仪式期间。

8、作业会提供参考答案吗?

不提供参考答案。当每章作业截止提交后,会解锁作业思路讲解。我们希望引导大家培养独立思考的习惯和敢于动手实践的勇气,以便尽快适应实际工作中解决问题的模式。做作业过程中,如果有任何困惑和问题,可以在课程讨论区和交流群内提问解决。

X

课程预览

生成式预训练语言模型:理论与实战