JDLA勉強会 #13「LLM推論の課題と最適化技術」

Описание к видео JDLA勉強会 #13「LLM推論の課題と最適化技術」

0:00　オープニング
2:27　LLMのデプロイをとりまく課題
6:28　NVIDIA NIMのご紹介
17:50　LLM推論の技術的チャレンジと最適化技術
45:28　NVIDIA NIM トライアルプログラムのお知らせ
48:58　質疑応答
=====

・JDLA勉強会とは?
JDLA勉強会はJDLA会員とCDLEメンバーの知見を広げるためにディープラーニングの有識者を招いて行う勉強会です。

第13回目のJDLA勉強会は、エヌビディア合同会社 山本小太郎さんによる「JDLA勉強会 #13「LLM推論の課題と最適化技術」です。

・講師プロフィール　
NVIDIA シニアディープラーニングソリューションアーキテクト 山本 小太郎 氏

NVIDIAのソリューションアーキテクトとして、ディープラーニングに関する顧客への技術支援を担当。
大学卒業後SEとして開発に従事する中、2018年にBERTの出現を見てディープラーニングの活用に取り組みはじめる。
その後AIスタートアップでMLエンジニアとしてモデル開発からプロダクション環境へのモデルデプロイや最適化を担当し、2024年2月より現職。
得意分野は推論フェーズにおけるTransformerの高速化やモデルコンパイル・量子化などの最適化技術。
開発者に対して、LLMの推論を効率化するNVIDIA NIMの利用を促進する活動も行っている。

Комментарии

Информация по комментариям в разработке

Похожие видео