GPT解説2 アテンションの仕組み (Attention, Transformer) | Chapter6, 深層学習

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。
チャンネル登録と高評価をよろしくお願いいたします。

日本語版Twitter
  / 3b1bjp  
元チャンネル（英語）
   / 3blue1brown  
元動画（英語）
   • Attention in transformers, visually e...  

訂正
冒頭でAttention機構は2017年の論文ではじめて登場したと紹介していましたが、正しくは2014年にBahdanauらによって初めて導入されていました。もちろんそれ以前にも、人々がこのアイディアについて実験していたのではないかと思います。コメントのご指摘、ありがとうございます！
Attention Is All You Needは従来のシーケンス処理モデルに使われていた回帰型ニューラルネットワークに対して、文字通りAttentionのみでシーケンス処理を可能にし、また多くのアテンションブロックを使用することでモデルの性能を向上させるアプローチが広く受け入れられるきっかけを作ったと言えるのではないでしょうか。

新チャンネルUfolium
   • 【ガザ地区】イスラエル・パレスチナ対立の歴史  
   • アメリカ大統領選挙の仕組み  

資料
Andrej Karpathy
   • Let's build GPT: from scratch, in cod...  

vcubingx
   • What does it mean for computers to un...  

Anthropic
https://transformer-circuits.pub/2021...

https://www.gptandchill.ai/codingprob...

LLMの歴史 Brit Cruise
   • ChatGPT: 30 Year History | How AI Lea...  

https://arxiv.org/pdf/1301.3781

訳注
「シングルヘッドのアテンション」と訳されている部分は、英語では"Single head of attention"、"Single-headed attention"、"single-head attention"などと表現されています。意味としては「アテンションのヘッド１つ分」という使い方もあれば、「シングルヘッド」という「ある種の特徴や仕様を表現する言葉」として使っている場合もあります。日本語訳では前者のように受け取れる部分でもいくつかは後者で訳していて、これはMulti-head Attentionとの対比をより明確にするためにこのように訳しています。
----------------------------------------
英語版翻訳元チャンネルの支援
  / 3blue1brown  
アニメーションはmanimで作られています
https://github.com/3b1b/manim

英語版公式ソーシャルメディア
Webサイト: https://www.3blue1brown.com
Twitter:   / 3blue1brown  
Facebook:   / 3blue1brown  
Reddit:   / 3blue1brown  
----------------------------------------
Music by Vincent Rubinetti
Download the music on Bandcamp:
https://vincerubinetti.bandcamp.com/a...
Stream the music on Spotify:
https://open.spotify.com/album/1dVyjw...