上课
带着两台,
只用一台。
幻灯片从手机到平板笔记,选中的部分发给 ChatGPT,回答里的文字和图再回到笔记。
ChatGPT
‹ › ↻
chatgpt.com
有什么可以帮忙的?
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
询问任何问题用简单的话解释一下
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
句子里的每个词,都会给其他每个词打分,决定要参考多少。
αij=∑leqi⋅kl/dkeqi⋅kj/dk按这些分数混合后的信息,再传到下一层。
第 8 周 · 深度学习
第 8 周 · 深度学习
句子里的每个词,都会给其他每个词打分,决定要参考多少。αij=∑leqi⋅kl/dkeqi⋅kj/dk
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
视频照片人像
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712