适用人群

关注Transformer自注意机制的
关注BERT模型和文本问题处理的
关注Hugging Face处理文本任务的

课程概述

更新提示：2024.7.15更新3节，主要内容涉及VIT（vision transformer）论文简介。
更新提示：2024.6.7更新4节，主要内容涉及T5模型与SQUAD问答任务。
更新提示：2024年6月6更新 4 节，主要内容涉及命名实体识别示例。目前课程72节。
更新提示：2024年5月28日更新 6 节，主要内容涉及重录IMDB数据集的加载、使用预训练的GPT-2模型实现命名实体识别的微调前2节。
更新提示：2024年5月20日更新 6 节，主要内容涉及transformers库预训练模型的简单使用、NLG任务相关论文GPT 1 和 GPT 2 模型简介。
更新提示：2024年5月13日更新Hugging Face与大模型一章前4节，主要内容涉及datasets数据集加载与处理、预训练大模型的选择。
精讲 Transformer 编码器结构和原理、位置编码、自定义编写Transformer编码器、BERT模型简介及微调应用、Transformer解码器中带掩码的自注意力层和交互自注意力层等。
课程仍在连载中，连载计划如下：
5月12日  hugging face 模型微调
5月19日  阅读理解-问题与答案
5月26日  Vision Transformer
6月3日    DETR

目录

连载
章节1:Transformer编码器与自注意力机制原理试看
课时1视频Transformer模型简介17:27可试看
课时2视频点积与自注意力机制18:54可试看
课时3视频自注意力机制原理（一）20:50可试看
课时4视频自注意力机制原理（二）09:27可试看
课时5视频自注意力机制原理（三）13:06可试看
课时6视频多头自注意力13:54可试看
课时7视频残差与层归一化08:53可试看
课时8视频位置编码21:26可试看
章节2:使用Transformer模块的文本分类示例试看
课时9视频电影评价数据集的加载16:26
课时10视频观察和使用数据24:14
课时11视频批处理函数介绍10:41
课时12视频详解collate_fn14:11可试看
课时13视频创建dataloader07:43
课时14视频Transformer文本分类示例（一）13:05可试看
课时15视频Transformer文本分类示例（二）10:34可试看
课时16视频Transformer文本分类示例（三）06:57可试看
课时17视频位置编码代码实现（上）19:10可试看
课时18视频位置编码代码实现（下）11:59可试看
课时19视频使用Transformer模块实现文本分类完整模型训练08:21可试看
课时20视频附：使用 datasets 库从本地加载数据集的示例08:08
章节3:自定义编写Transformer编码器试看
课时21视频自定义多头自注意力层18:57可试看
课时22视频多头自注意力层前向传播18:21可试看
课时23视频前馈网络层代码实现06:59可试看
课时24视频定义一个完整的编码器层11:01可试看
课时25视频使用多个编码器层创建自编码器部分08:19可试看
课时26视频自定义编写Transformer模型的训练05:07可试看
章节4:Transformer大模型 – BERT
课时27视频BERT 模型简介08:28
课时28视频BERT 简单应用13:32
课时29视频BERT 文本分类微调示例17:04
章节5:Transformer 解码器
课时30视频Transformer 解码器结构10:56
课时31视频带掩码的自注意力层17:10
课时32视频带掩码的自注意力层代码实现14:44
课时33视频解码器的交互自注意力层（一）06:39
课时34视频解码器的交互自注意力层（二）17:49
课时35视频解码器的交互自注意力层（三）06:19
课时36视频Transformer 解码器整体架构17:08
课时37视频自定义Transformer解码器的代码实现12:57
章节6:中文数据实战 – 外卖评价数据情感分类
课时38视频BERT中文分词工具讲解（一）21:48
课时39视频BERT中文分词工具讲解（二）15:29
课时40视频中文外卖评价分类-数据读取-创建dataset18:51
课时41视频中文外卖评价分类-数据读取-创建dataloader17:43
课时42视频中文外卖评价分类-预训练模型导入13:49
课时43视频中文外卖评价分类-创建分类模型12:52
课时44视频中文外卖评价分类模型训练10:08
章节7:中文文本相似度判断实例
课时45视频中文文本相似度判断- lcqmc数据预处理16:21
课时46视频中文文本相似度判断-lcqmc批次处理函数10:38
课时47视频中文文本相似度判断-模型定义14:17
课时48视频模型微调训练09:50
章节8:SWAG 文本多项选择任务
课时49视频SWAG 数据集简介12:17
课时50视频数据选择与模型简介20:50
课时51视频创建 Dataset10:38
课时52视频批次处理函数12:58
课时53视频创建 Dataloader12:51
课时54视频创建文本多项选择模型14:22
课时55视频模型训练04:54
章节9:GLUE基准数据集
课时56视频自然语言理解任务GLUE基准数据集简介18:52
章节10:Hugging face 大模型使用试看
课时57视频hugging face 数据集加载与保存11:57
课时58视频huggingface datasets库使用技巧（一）15:24
课时59视频huggingface datasets库使用技巧（二）09:57
课时60视频选择合适的预训练的大模型14:03
课时61视频预训练大模型的使用——pipeline用法简介（一）16:24可试看
课时62视频预训练大模型的使用——pipeline用法简介（二）07:29
章节11:NLG任务相关模型
课时63视频GPT 1 论文简介——模型整体结构12:03
课时64视频GPT 1 论文简介——模型训练和结果分析17:25
课时65视频GPT 2 模型简介15:15
课时66视频GPT 2 模型结构09:32
课时67视频认识命名实体识别任务18:37
课时68视频加载GPT-2的预训练 tokenizer09:19
课时69视频数据预处理13:53
课时70视频评价指标17:38
课时71视频初始化模型09:21
课时72视频命名实体识别模型训练16:48
章节12:T5模型与SQUAD问答问题
课时73视频T5模型简介14:28
课时74视频SQUAD 问答数据集简介08:00
课时75视频模型初始化和数据准备16:48
课时76视频模型训练简介15:12
章节13:Vision Transformer（VIT）
课时77视频Vision Transformer 论文（一）13:05
课时78视频Vision Transformer 论文（二）15:59
课时79视频Vision Transformer 论文（三）07:30
课时80视频VIT代码内置模块版本
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。