课程中心
公开课
面试题库
企业服务
企业内训
企业招聘
高校合作
课程中心
公开课
面试题库
企业服务
企业内训
企业招聘
高校合作
登录/注册
登录/注册
登录/注册
登录 /注册
课程中心
公开课
面试题库
企业服务
企业内训
企业招聘
高校合作
深度学习模型推理加速项目实践 （百度文心大模型ERNIE）
第39任务： L6 Project：输入优化与 CUDA Graph
查看课程
任务列表
第1任务： 开课仪式
第1任务： 【视频】课程有什么用
第2任务： 【课件】TensorRT介绍
第2任务： 【视频】TensorRT是什么
第3任务： TensorRT整体工作流程与优化策略
第4任务： 【视频】TensorRT使用的基本流程
第5任务： 【视频】demo
第6任务： 【视频】TensorRT进阶
第7任务： 【视频】Demo演示
第8任务： 【课件】L6 TensorRT 转换 ONNX模型 v2.0
第8任务： 【视频】ONNX介绍
第9任务： 【视频】背景知识 lower概念
第10任务： 【视频】TRT转换模型的主要痛点
第11任务： 【视频】onnx-parser & onnx-graphsurgen
第12任务： 【视频】实践上：Transformer模型优化 解决不支持的算子
第12任务： 【视频】 实践下：Transformer模型优化 合并LayerNorm算子
第13任务： 【视频】 polygraphy
第14任务： 【课件】Ernie项目
第14任务： 资料分享
第15任务： 【视频】课程介绍和模型介绍
第16任务： 【视频】转换方式对比
第17任务： 【课件】Ernie项目-开始节点
第17任务： 【视频】 加速节点介绍
第17任务： 代码
第18任务： 【视频】环境和目录结构介绍
第19任务： 【视频】 测试数据介绍
第20任务： 【视频】 C++ infer与评价标准
第21任务： 【视频】 构建方式介绍
第22任务： 【视频】开始节点实战
第22任务： L4 Project：环境搭建
第23任务： 【课件】Ernie项目-第一阶段优化方法
第24任务： 【视频】加速节点概况
第25任务： 【视频】FP16优化
第26任务： 【视频】合并layernorm算子
第27任务： 【作业】第五章
第27任务： 第五章作业作业思路提示
第27任务： L5 Project：FP16优化
第28任务： 【视频】12月10日直播答疑
第29任务： 【课件】输入优化&CUDA Graph
第30任务： 【视频】减少传输次数&提高传输速度
第30任务： 【代码】输入优化demo.docx
第31任务： 【视频】batching与overlap
第32任务： 【课件】CUDA C编程：CUDA stream
第33任务： 【视频】CUDA Stream介绍
第34任务： 【视频】CUDA Stream为什么有效
第35任务： 【视频】CUDA Stream默认流的表现
第36任务： 【课件】CUDA Graph
第36任务： 【视频】什么是CUDA Graph以及为什么要做
第37任务： 【视频】如何做CUDA Graph
第38任务： 【视频】CUDA Graph缺点及解决方案
第39任务： 【作业】第六章
第39任务： L6 Project：输入优化与 CUDA Graph
第40任务： 【课件】Ernie项目 算子合并
第41任务： 【视频】为什么要做大规模算子合并
第42任务： 【视频】模型结构讲解
第43任务： 【视频】合并Encoder模块以及Input Embedding模块
第44任务： 【视频】 加速Attention模块
第45任务： 【视频】去除冗余计算等策略
第46任务： 【课件】终点：结合开源方案
第47任务： 【视频】基础版本开源代码
第48任务： 【视频】进阶fused版本
第49任务： 【课件】Ernie项目-进阶节点
第50任务： 【视频】INT8量化
第51任务： 【视频】var len变长
第52任务： 【视频】稀疏剪枝等模型优化方法
第53任务： 【视频】1月14日直播答疑
