Skip to content

Commit 9e59009

Browse files
xing-yirenxing-yiren
authored
Merge pull request #47 from lyqcom/master
remove readme
2 parents 222ecf0 + 6e8f199 commit 9e59009

File tree

1 file changed

+45
-165
lines changed

1 file changed

+45
-165
lines changed

‎README.md

+45-165
Original file line numberDiff line numberDiff line change
@@ -13,183 +13,63 @@
1313

1414
（注：参与免费课程必须报名哦！同步添加QQ群，后续课程事宜将在群内通知！）
1515

16-
## 大模型专题第二期（进行中）
16+
## 大模型专题第一期&第二期（进行中）
1717

1818
紧跟前沿技术，解构热点大模型（如ChatGLM2、LLAMA2等）；手把手教你大模型从开发到应用全流程
1919

2020
课程资料归档：[link](./Season2.step_into_llm/)
2121

2222
### 教研团队
2323

24-
- 孙显
2524

26-
中国科学院空天信息创新研究院研究员 实验室副主任
25+
![img_2.png](img_2.png)
2726

28-
- 龚柏涛（面壁智能）
27+
### 课前学习
2928

30-
OpenBMB开源社区技术负责人 清华大学硕士 CPM-Bee开源大模型项目主要维护者
29+
- python
30+
- 人工智能基础、深度学习基础（重点学习自然语言处理）：[MindSpore-d2l](https://openi.pcl.ac.cn/mindspore-courses/d2l-mindspore)
31+
- MindSpore基础使用：[MindSpore教程](https://www.mindspore.cn/tutorials/zh-CN/r2.2/index.html)
32+
- MindFormers基础使用：[MindFormers](https://www.bilibili.com/video/BV1jh4y1m7xV/?spm_id_from=333.999.0.0)
3133

32-
- 杨琨（达闼科技）
3334

34-
解决方案工程师
35-
36-
- 李宁（达闼科技）
37-
38-
解决方案经理
39-
40-
- 周汝霖
41-
42-
昇思MindSpore布道师 深圳大学华为智能基座社长 2022年华为昇思十大优秀开发者
43-
44-
- CQU弟中弟
45-
46-
昇思MindSpore易用性专家 昇思MindSpore布道师
47-
48-
- Eric
49-
50-
昇思MindSpore模型压缩技术专家 昇思MindSpore布道师
51-
52-
- Selina
53-
54-
昇思MindSpore布道师
55-
56-
### 课程介绍
57-
58-
***【课前学习】 MindSpore Transformers大模型套件：架构讲解与使用入门***
59-
60-
介绍MindSpore Transformers大模型套件现状，讲解套件架构及高阶接口设计，走读工程架构模块代码，学习基本使用方式
61-
62-
[link](https://www.bilibili.com/video/BV1jh4y1m7xV/?spm_id_from=333.999.0.0)
63-
64-
65-
***第一讲：ChatGLM***
66-
67-
介绍技术公开课整体课程安排；ChatGLM模型结构，走读代码演示ChatGLM推理部署
68-
69-
70-
***第二讲：多模态遥感智能解译基础模型***
71-
72-
介绍多模态遥感智能解译基础模型的原理、训推等相关技术，以及模型相关行业应用
73-
74-
***第三讲：ChatGLM2***
75-
76-
介绍ChatGLM2模型结构，走读代码演示ChatGLM推理部署
77-
78-
***第四讲：文本生成解码原理***
79-
80-
介绍Beam search和采样的原理及代码实现
81-
82-
***第五讲：LLAMA***
83-
84-
介绍LLAMA模型结构，走读代码演示推理部署，介绍Alpaca
85-
86-
***第六讲：LLAMA2***
87-
88-
介绍LLAMA2模型结构，走读代码演示LLAMA2 chat部署
89-
90-
***第七讲：云从大模型***
91-
92-
***第八讲：MOE***
93-
94-
***第九讲：CPM***
95-
96-
介绍CPM-Bee预训练、推理、微调及代码现场演示
97-
98-
***第十讲：高效参数微调***
99-
100-
介绍Lora、（P-Tuning）原理及代码实现
101-
102-
***第十一讲：参数微调平台***
103-
104-
***第十二讲：Prompt Engineering***
105-
106-
***第十三讲：量化***
107-
108-
介绍低比特量化等相关模型量化技术
109-
110-
***第十四讲：框架LangChain模块解析***
111-
112-
解析Models、Prompts、Memory、Chains、Agents、Indexes、Callbacks模块，及案例分析
113-
114-
***第十五讲：LangChain对话机器人综合案例***
115-
116-
MindSpore Transformers本地模型与LangChain框架组合使用，通过LangChain框架管理向量库并基于向量库对MindSpore Transformers本地模型问答进行优化
117-
118-
## 大模型专题第一期（已结课）
119-
120-
手把手教你搭建一个简易版ChatGPT
121-
122-
课程资料归档：[link](./Season1.step_into_chatgpt/)
123-
124-
### 教研团队
125-
126-
- 刘群
127-
128-
华为语音语义首席科学家
129-
130-
- 苏腾
131-
132-
昇思MindSpore技术专家 昇思MindSpore超大规模AI架构师
133-
134-
- 夏箫
135-
136-
清华大学知识工程实验室博士生 代码生成模型CodeGeeX主要作者之一
137-
138-
- 王金桥
139-
140-
中国科学院自动化研究所紫东太初大模型研究中心常务副主任 武汉人工智能研究院院长
141-
142-
- 唐帅
143-
144-
武汉人工智能研究院语音算法工程师
145-
146-
- CQU弟中弟
147-
148-
昇思MindSpore易用性专家 昇思MindSpore布道师
149-
150-
- Selina
151-
152-
昇思MindSpore布道师
15335

15436
### 课程介绍
15537

156-
***第一讲：Transformer***
157-
158-
Multi-head self-attention原理。Masked self-attention的掩码处理方式。基于Transformer的机器翻译任务训练。
159-
160-
***第二讲：BERT***
161-
162-
基于Transformer Encoder的BERT模型设计：MLM和NSP任务。BERT进行下游任务微调的范式。
163-
164-
***第三讲：GPT***
165-
166-
基于Transformer Decoder的GPT模型设计：Next token prediction。GPT下游任务微调范式。
167-
168-
***第四讲：GPT2***
169-
170-
GPT2的核心创新点，包括Task Conditioning和Zero shot learning；模型实现细节基于GPT1的改动。
171-
172-
***第五讲：MindSpore自动并行***
173-
174-
以MindSpore分布式并行特性为依托的数据并行、模型并行、Pipeline并行、内存优化等技术。
175-
176-
***第六讲：代码预训练***
177-
178-
代码预训练发展沿革。Code数据的预处理。CodeGeex代码预训练大模型。
179-
180-
***第七讲：Prompt Tuning***
181-
182-
Pretrain-finetune范式到Prompt tuning范式的改变。Hard prompt和Soft prompt相关技术。只需要改造描述文本的prompting。
183-
184-
***第八讲：多模态预训练大模型***
185-
186-
紫东太初多模态大模型的设计、数据处理和优势；语音识别的理论概述、系统框架和现状及挑战。
187-
188-
***第九讲：Instruction Tuning***
189-
190-
Instruction tuning的核心思想：让模型能够理解任务描述（指令）。Instruction tuning的局限性：无法支持开放域创新性任务、无法对齐LM训练目标和人类需求。Chain-of-thoughts：通过在prompt中提供示例，让模型“举一反三”。
191-
192-
***第十讲：RLHF***
193-
194-
RLHF核心思想：将LLM和人类行为对齐。RLHF技术分解：LLM微调、基于人类反馈训练奖励模型、通过强化学习PPO算法实现模型微调。
195-
38+
昇思MindSpore技术公开课火热开展中，面向所有对大模型感兴趣的开发者，带领大家理论结合时间，由浅入深地逐步深入大模型技术
39+
40+
在已经完结的第一期课程（第1讲-第10讲）中，我们从Transformer开始，解析到ChatGPT的演进路线，手把手带领大家搭建一个简易版的“ChatGPT”
41+
42+
正在进行的第二期课程（第11讲-）在第一期的基础上做了全方位的升级，围绕大模型从开发到应用的全流程实践展开，讲解更前沿的大模型知识、丰富更多元的讲师阵容，期待你的加入！
43+
44+
| 章节序号 | 章节名称 | 课程简介 | 视频链接 | 课件及代码链接 |
45+
|:----:|:----:|:--------------------------------------------|:----:|:----:|
46+
| 第一讲 | Transformer | Multi-head self-attention原理。Masked self-attention的掩码处理方式。基于Transformer的机器翻译任务训练。 | [link](https://www.bilibili.com/video/BV16h4y1W7us/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f4290) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/1.Transformer) |
47+
| 第二讲 | BERT | 基于Transformer Encoder的BERT模型设计：MLM和NSP任务。BERT进行下游任务微调的范式。 | [link](https://www.bilibili.com/video/BV1xs4y1M72q/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/2.BERT) |
48+
| 第三讲 | GPT | 基于Transformer Decoder的GPT模型设计：Next token prediction。GPT下游任务微调范式。 | [link](https://www.bilibili.com/video/BV1Gh411w7HC/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/3.GPT) |
49+
| 第四讲 | GPT2 | GPT2的核心创新点，包括Task Conditioning和Zero shot learning；模型实现细节基于GPT1的改动。 | [link](https://www.bilibili.com/video/BV1Ja4y1u7xx/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/4.GPT2) |
50+
| 第五讲 | MindSpore自动并行 | 以MindSpore分布式并行特性为依托的数据并行、模型并行、Pipeline并行、内存优化等技术。 | [link](https://www.bilibili.com/video/BV1VN41117AG/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/5.Parallel) |
51+
| 第六讲 | 代码预训练 | 代码预训练发展沿革。Code数据的预处理。CodeGeex代码预训练大模型。 | [link](https://www.bilibili.com/video/BV1Em4y147a1/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/6.CodeGeeX) |
52+
| 第七讲 | Prompt Tuning | Pretrain-finetune范式到Prompt tuning范式的改变。Hard prompt和Soft prompt相关技术。只需要改造描述文本的prompting。 | [link](https://www.bilibili.com/video/BV1Wg4y1K77R/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/7.Prompt) |
53+
| 第八讲 | 多模态预训练大模型 | 紫东太初多模态大模型的设计、数据处理和优势；语音识别的理论概述、系统框架和现状及挑战。 | [link](https://www.bilibili.com/video/BV1wg4y1K72r/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | / |
54+
| 第九讲 | Instruct Tuning | Instruction tuning的核心思想：让模型能够理解任务描述（指令）。Instruction tuning的局限性：无法支持开放域创新性任务、无法对齐LM训练目标和人类需求。Chain-of-thoughts：通过在prompt中提供示例，让模型“举一反三”。 | [link](https://www.bilibili.com/video/BV1cm4y1e7Cc/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/8.Instruction) |
55+
| 第十讲 | RLHF | RLHF核心思想：将LLM和人类行为对齐。RLHF技术分解：LLM微调、基于人类反馈训练奖励模型、通过强化学习PPO算法实现模型微调。 | [link](https://www.bilibili.com/video/BV15a4y1c7dv/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season1.step_into_chatgpt/9.RLHF) |
56+
| 第十一讲 | ChatGLM | 介绍技术公开课整体课程安排；ChatGLM模型结构，走读代码演示ChatGLM推理部署 | [link](https://www.bilibili.com/video/BV1ju411T74Y/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season2.step_into_llm/01.ChatGLM) |
57+
| 第十二讲 | 多模态遥感智能解译基础模型 | 介绍多模态遥感智能解译基础模型的原理、训推等相关技术，以及模型相关行业应用 | [link](https://www.bilibili.com/video/BV1Be41197wY/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) |/|
58+
| 第十三讲 | ChatGLM2 | 介绍ChatGLM2模型结构，走读代码演示ChatGLM推理部署 | [link](https://www.bilibili.com/video/BV1Ew411W72E/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season2.step_into_llm/02.ChatGLM2) |
59+
| 第十四讲 | 文本生成解码原理 | 介绍Beam search和采样的原理及代码实现 | [link](https://www.bilibili.com/video/BV1QN4y117ZK/?spm_id_from=333.999.0.0&vd_source=eb3a45e6eb4dccc5795f97586b78f429) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season2.step_into_llm/03.Decoding) |
60+
| 第十五讲 | LLAMA | 介绍LLAMA模型结构，走读代码演示推理部署，介绍Alpaca | [link](https://www.bilibili.com/video/BV1nN41157a9/?spm_id_from=333.999.0.0) | [link](https://github.com/mindspore-courses/step_into_llm/tree/master/Season2.step_into_llm/04.LLaMA) |
61+
| 第十六讲 | LLAMA2 | 介绍LLAMA2模型结构，走读代码演示LLAMA2 chat部署 |
62+
| 第十七讲 | 云从大模型 | / |
63+
| 第十八讲 | MOE | / |
64+
| 第十九讲 | CPM | 介绍CPM-Bee预训练、推理、微调及代码现场演示 | |
65+
| 第二十讲 | 高效参数微调 | 介绍Lora、（P-Tuning）原理及代码实现 |
66+
| 第二十一讲 | 参数微调平台 | / |
67+
| 第二十二讲 | Prompt Engineering | / |
68+
| 第二十三讲 | 量化 | 介绍低比特量化等相关模型量化技术 |
69+
| 第二十四讲 | 框架LangChain模块解析 | 解析Models、Prompts、Memory、Chains、Agents、Indexes、Callbacks模块，及案例分析 |
70+
| 第二十五讲 | LangChain对话机器人综合案例 | MindSpore Transformers本地模型与LangChain框架组合使用，通过LangChain框架管理向量库并基于向量库对MindSpore Transformers本地模型问答进行优化 |
71+
72+
73+
### 昇思资源一览：生态与伙伴共建、共享、共荣
74+
75+
![img_1.png](img_1.png)

0 commit comments

Comments
 (0)