講義
2台持ち歩いて、
使うのは1台だけ。
スライドはスマホからタブレットのノートへ、選んだところは ChatGPT へ。返ってきた答えの文章と図は、またノートへ。
ChatGPT
‹ › ↻
chatgpt.com
何をお手伝いできますか?
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
何でも質問してくださいこれをわかりやすく説明して
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
文の中の各単語が、ほかの単語をどれだけ参考にするかを点数で決めます。
αij=∑leqi⋅kl/dkeqi⋅kj/dkその点数で混ぜ合わせた情報が、次の層へ渡されます。
第8週・ディープラーニング
第8週・ディープラーニング
文の中の各単語が、ほかの単語をどれだけ参考にするかを点数で決めます。αij=∑leqi⋅kl/dkeqi⋅kj/dk
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712
ビデオ写真ポートレート
TransformerSelf-attention
Attention(Q,K,V)=softmax(dkQK⊤)V
Vaswani et al., 201712