【数えるだけ】AIが単語を理解するトリックが巧妙すぎる【大規模言語モデル2】

プロモーション：Notion AI
Notion は無料で使えて、月額10ドルでNotion AIをご利用いただけます。
https://ntn.so/yurucom1

大規模言語モデルの肝「単語ベクトル」とは？「単語を数字の組で表す」「ぬくもりを捨てることで実現した技術」「Transformerはとにかく何かいい感じになる」など、自然言語を扱うコンピュータ科学の技術について話しました。

【ことラボ】
◯Twitter → https://x.com/KotoLaboRyo
◯YouTube →    / @kotolabo  
◯「単語ベクトル」とは何か？ →    • 「単語ベクトル」とは何か？  

【目次】
0:00 コアラの対義語は？
0:46 大規模言語モデルの肝「単語ベクトル」
6:36 単語を数字の組で表す
14:32 実際には「次元圧縮」している
18:00 対義語は真逆のベクトル？
21:57 ぬくもりを捨てることで実現した技術
26:56 素晴らしきNotionAI
30:18 文脈化単語埋め込みは味付け化係
38:34 とにかく何かいい感じになる
43:33 ニューラルネットワークとは何なのか

【参考文献】
◯大規模言語モデル入門
https://amzn.to/3VKqed7

◯キテレツおもしろ自然言語処理
https://amzn.to/3VwInd4

◯風俗の虫―捜査官が覗いた日本の風俗70年
https://amzn.to/4bbs62W

◯自然言語処理の必須知識！Word2Vec とは？
https://www.kikagaku.co.jp/kikagaku-b...
※単語ベクトルの出典

◯【入門】深層学習の革命児！Transformer を今こそ理解しよう
https://www.kikagaku.co.jp/kikagaku-b...
※文脈化単語埋め込みの出典

【サポーターコミュニティへの加入はこちらから！】
https://yurugengo.com/support

【親チャンネル：ゆる言語学ラジオ】
   / @yurugengo  

【実店舗プロジェクト：ゆる学徒カフェ】
   / @yurugakuto  

【おたよりフォーム】
https://forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています！

【お仕事依頼はこちら！】
[email protected]

【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→  / kenhori2  
noteマガジン→https://note.com/kenhori2/m/m125fc452...
個人YouTube→   / @kenhorimoto  

【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。
某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→  / yuru_mizuno  

【姉妹チャンネル】
◯ゆる音楽学ラジオ(   / @yuruongaku  )
◯ゆる民俗学ラジオ (   / @yuruminzoku  )
◯ゆる天文学ラジオ (   / @yurutenmon  )
◯ゆる書道学ラジオ (   / @yurushodo  )
◯ゆる生態学ラジオ (   / @yuruseitai  )
◯ゆる哲学ラジオ (   / @yurutetsugaku   )

#大規模言語モデル #ゆるコンピュータ科学ラジオ_大規模言語モデル