2023-03-29 更新 729次浏览
Day1上午
| Transformer 1、你需要的仅仅是“注意力” 2、Transformer中的block 3、自注意力机制 4、多头注意力 5、位置编码(抛弃RNN) 6、Batch Norm与Layer Norm 7、解码器的构造
初代GPT 1、 “独角兽”的威力 2、GPT的内部架构 3、基于Transformer的改造 4、自注意力机制的改进
|
Day1下午
| GPT的演进 1、GPT2 2、GPT3 3、InstructGPT
chatGPT的原理实践 1、指示学习(Instruct Learning) 2、相关数据集 3、有监督微调(SFT) 4、从人类反馈中RL的思路 5、奖励建模(RM) 6、PPO 7、chatGPT的应用领域 8、chatGPT引发的讨论
chatGPT的国内替代品 1、问东风AI 2、其他替代品
|
课程标签:chatGPT