尚硅谷 · 大模型技术之 NLP · P02

NLP
课程概述

从深度学习收束,经文本表示、RNN/LSTM/GRU、Seq2Seq、Attention 一路铺垫到 Transformer 与预训练模型——一张图看清 NLP 阶段的学习路线。

尚硅谷研究院时长 11:58 00:00 · 打开原片

01NLP 在课程体系中的位置 00:12

从深度学习进入 NLP 阶段

讲义封面:尚硅谷大模型技术之 NLP,第1章 NLP 导论 — 讲义《尚硅谷大模型技术之 NLP》V1.0.2 · 第 1 章 NLP 导论00:12

NLP 课程概述 · 尚硅谷02 / 13

01NLP 在课程体系中的位置 00:24

大模型源自 NLP:LLM 与多模态

「大模型」更多指的是大语言模型——Large Language Model;它正是从传统自然语言处理技术发展而来。

LLM 是核心

课程核心是后续大模型内容,而大模型多数语境下即大语言模型(LLM)。

多模态是延伸

如今的大模型也能处理图片、音频、视频——即所谓多模态;但最初处理的是自然语言。

NLP 是根

大模型由传统 NLP 技术演进而来,学好 NLP 对理解大模型内容必不可少。

「指的就是大语言模型」 00:41 ↗

「传统的自然语言处理」 01:04 ↗

NLP 课程概述 · 尚硅谷03 / 13

02课程规划与基础章节 01:48

章节总览:导论与环境准备

讲义导航窗格展开第1章子目录:定义、常见任务、技术演进历史 — 导航窗格展开:第 1 章定义 / 常见任务 / 技术演进历史01:48

NLP 课程概述 · 尚硅谷04 / 13

02课程规划与基础章节 02:39

文本表示:切词与向量化

讲义第3章文本表示:语料→分词→词汇表示意图,红笔标注 RNN — 第 3 章文本表示 · 语料 → 分词 → 词汇表02:39

NLP 课程概述 · 尚硅谷05 / 13

02课程规划与基础章节 03:34

传统序列模型:RNN / LSTM / GRU

讲义第4章传统序列模型:4.1 RNN 概述,导航栏红框圈出 RNN/LSTM/GRU — 第 4 章传统序列模型 · RNN / LSTM / GRU(红框)03:34

NLP 课程概述 · 尚硅谷06 / 13

03通往 Transformer 的演进路线 05:44

Seq2Seq:序列到序列架构

讲义第5章 Seq2Seq 模型页,讲师红笔手绘输入→模型→输出示意 — 第 5 章 Seq2Seq 模型 · 讲师手绘「序列 → 模型 → 序列」05:44

NLP 课程概述 · 尚硅谷07 / 13

03通往 Transformer 的演进路线 06:08

Attention 机制:增强 Seq2Seq

讲义第6章 Attention 机制 6.1 概述:信息压缩困难、缺乏动态感知 — 第 6 章 Attention 机制 · 传统 Seq2Seq 的两个问题06:08

NLP 课程概述 · 尚硅谷08 / 13

03通往 Transformer 的演进路线 06:23

Transformer:架构升级,大模型基石

Transformer 用全新架构实现 Seq2Seq 的功能——功能相同,效率更高、效果更好;后续大模型阶段的一切知识点都建立在它之上。

Seq2Seq

基于 RNN/LSTM/GRU 的序列到序列架构

→

+ Attention

动态感知上下文,增强翻译等任务效果

→

Transformer

架构彻底更新:计算效率更高,效果更好,大模型的共同基座

「做了一个架构的一个升级」 06:41 ↗

「transformer非常非常的重要」 07:17 ↗

NLP 课程概述 · 尚硅谷09 / 13

03通往 Transformer 的演进路线 07:49

旧技术渐被淘汰,但仍要学

讲义第7章 Transformer 模型概述,导航栏红框圈出被其取代的前置章节 — 第 7 章 Transformer · 红框圈出被升级取代的前置模型07:49

NLP 课程概述 · 尚硅谷10 / 13

04预训练模型:承上启下 08:55

预训练:海量语料学通用语言规律

讲义第8章预训练模型概述:预训练阶段与微调阶段要点 — 第 8 章预训练模型 · “预训练 + 微调”建模范式08:55

NLP 课程概述 · 尚硅谷11 / 13

04预训练模型:承上启下 09:34

迁移与微调:适应下游任务

预训练模型只有通用知识;在其参数基础上,用标注好的数据进一步训练——这就是微调,也是迁移学习范式。

预训练模型

通用语言知识:懂结构、懂规律

+

标注数据

如「邮件 → 是否垃圾」的标签对

→

微调

适配下游具体任务,例:垃圾邮件识别(文本二分类)

「我们一般叫做微调」 10:39 ↗

「这是一个迁移学习的范式」 10:48 ↗

NLP 课程概述 · 尚硅谷12 / 13

04预训练模型:承上启下 10:57

预训练+微调范式,重点是 Transformer

Transformer 之后兴起「预训练 + 微调」范式,涌现 GPT、BERT 等预训练模型;如今的 DeepSeek、千问、GPT 都属此范畴——NLP 阶段就此为大模型课程承上启下。

范式确立

预训练 + 微调成为热点,GPT、BERT 等在这一阶段大量涌现。

今日大模型

DeepSeek、千问、GPT 等常见大模型,本质都属预训练模型范畴。

课程重点

整个 NLP 阶段的重中之重是 Transformer——前置内容也该认真学。

「就是预训练加微调的这么一个范式」 11:01 ↗

「肯定是transformer」 11:49 ↗

NLP 课程概述 · 尚硅谷13 / 13