课程中心
公开课
面试题库
企业服务
企业内训
企业招聘
高校合作
课程中心
公开课
面试题库
企业服务
企业内训
企业招聘
高校合作
登录/注册
登录/注册
登录/注册
登录 /注册
课程中心
公开课
面试题库
企业服务
企业内训
企业招聘
高校合作
生成式预训练语言模型：理论与实战
第36任务： 【视频】自注意力与多头注意力
查看课程
任务列表
第1任务： 开课仪式
第2任务： 0819直播答疑回放
第3任务： 【课件】从图灵测试到ChatGPT-NLP简史-3.1.pdf
第4任务： 【视频】语言模型的引入
第5任务： 【视频】语言模型的进化
第6任务： 【视频】预训练语言模型
第7任务： 【视频】大模型的使用模式：Pretrain+fine-tuning与Prompt-Instruct
第8任务： 【课件】最简单的语言模型N-gram
第9任务： 【视频】再谈什么是语言模型
第10任务： 【视频】N-gram
第11任务： 【视频】英文分词中的子词
第12任务： 【代码】02_NGram
第12任务： 【视频】创建一个bigram字符预测模型
第12任务： 【作业】第二章
第13任务： 【课件】Lecture3 词的向量表示Word2Vec
第14任务： 【视频】计算机如何表示词
第15任务： 【视频】One-Hot编码
第16任务： 【视频】 词的分布式表示
第17任务： 【视频】词向量的定义
第18任务： 【视频】语言模型为什么需要词向量
第19任务： 【视频】Word2Vec的思想
第20任务： 【视频】Skip-Gram词向量模型实践
第21任务： 【视频】Word2Vec总结：训练过程及其局限
第22任务： 【代码】03_Word2Vec
第22任务： 【视频】作业安排
第22任务： 【作业】第三章
第23任务： 【课件】神经概率语言模型NPLM
第24任务： 【视频】神经概率语言模型的引入
第25任务： 【视频】NPLM思想与结构
第26任务： 【视频】NPLM模型实践
第27任务： 【代码】04_NPLM
第27任务： 【视频】NPLM模型的增强与改进
第27任务： 【作业】第四章
第28任务： 【课件】Transformer的基本架构-序列到序列-Seq2Seq
第29任务： 【视频】Seq2Seq的思想由来
第30任务： 【视频】Seq2Seq架构详解
第31任务： 【视频】Seq2Seq模型实现机器翻译任务
第32任务： 【视频】Seq2Seq的局限
第33任务： 【代码】05_Seq2Seq Code
第33任务： 【视频】作业说明
第33任务： 【作业】第五章
第34任务： 【课件】Transformer的核心机制-注意力Attention
第34任务： 【代码】Attention.zip
第35任务： Seq2Seq的局限以及Attention如何解决这种局限
第36任务： 【视频】点积注意力思想
第36任务： 【视频】缩放点积注意力
第36任务： 【视频】编码器-解码器注意力
第36任务： 【视频】自注意力与多头注意力
第37任务： 【视频】注意力中的掩码
第38任务： 【代码】06_Attention
第38任务： 【视频】总结
第38任务： 【作业】第六章
第38任务： 【作业思路】Attention注意力机制
第39任务： 【课件】Transformer的架构拆解和代码实现
第40任务： 【视频】Transformer引入
第41任务： 【视频】Transformer架构概览
第41任务： 【视频】组件：缩放点积注意力与多头注意力
第41任务： 【视频】组件：逐位置前向传播与正弦位置编码
第41任务： 【视频】组件：填充位置掩码
第42任务： 【视频】组件：编码器与解码器层
第43任务： 【视频】基于Transformer的机器翻译
第44任务： 【代码】Transformer Code
第44任务： 【视频】作业
第44任务： 【作业】第七章
第44任务： 【作业思路】Transformer
第45任务： 【课件】L8 GPT：生成式预训练Transformer
第46任务： 【视频】为什么GPT只需要Decoder
第47任务： 【视频】基础模型
第48任务： 【视频】GPT模型架构
第49任务： 【实践】训练Wiki-GPT
第49任务： 【视频】程序架构梳理
第50任务： 【代码】WikiGPT
第50任务： 【视频】作业
第50任务： 【作业】第八章
第50任务： 【作业思路】GPT
第51任务： 【课件】基于人类反馈的强化学习RLHF
第52任务： 【视频】Transformer大模型家族谱系
第53任务： 【视频】ChatGPT训练方法
第54任务： 【视频】ChatGPT整体训练流程
第54任务： 【视频】miniChatGPT
第55任务： 【视频】DeepSpeed Chat介绍
第55任务： 【视频】Deepspeed01
第55任务： 【视频】Deepspeed02
第56任务： 【代码】09_ChatGPT
第56任务： 【视频】作业安排
第56任务： 【作业】第九章
第56任务： 【作业思路】GPT
第57任务： 【课件】Lecture10 GPT-4 API - Prompt Engineering
第58任务： 【视频】章节介绍
第59任务： 【视频】AGI的星星之火
第60任务： 【视频】提示工程技巧
第61任务： 【代码】10_GPT4-API
第61任务： 【视频】提示工程实践
第61任务： 【作业】第十章
第61任务： 【视频】L10 示范
第61任务： 【作业思路】GPT_API
