Adam Maciaszek - Od 4k do 10M w rok - o długości kontekstu w LLM-ach (PyData Bydgoszcz #24)

PyData Bydgoszcz spotkanie 24
czwartek 04.04.2024
Młyny Rothera (Spichrz Zbożowy, 2. piętro), Mennica 10, Bydgoszcz

Adam Maciaszek
Pracuję jako Machine Learning Engineer w deepsense.ai. Od 8 lat zajmuję się projektami w obszarze uczenia maszynowego. W swojej karierze miałem okazję pracować nad przetwarzaniem języka naturalnego w erze "przedtransformerowej" oraz w domenie audio, współtworząc algorytmy sztucznej inteligencji w branży medycznej w poznańskim startupie StethoMe. Moja obecna rola w deepsense.ai umożliwia mi pracę w projektach z różnorodnych dziedzin, a od ponad roku moje profesjonalne zainteresowania krążą przede wszystkim wokół dużych modeli językowych. W projektach związanych z uczeniem maszynowym cenię połączenie aspektów badawczych i inżynieryjnych. Poza moimi obowiązkami w deepsense.ai dzielę się wiedzą na studiach podyplomowych na Uniwersytecie Adama Mickiewicza w Poznaniu. W czasie wolnym wspinam się, jeżdżę rowerem i chodzę po górach.

"Od 4k do 10M w rok – o długości kontekstu w dużych modelach językowych"
W trakcie prezentacji opowiem o tym, dlaczego modele językowe potrafią przetwarzać tekst o ograniczonej długości. Przedstawię metody, który pozwoliły na znaczne wydłużenie okna kontekstowego w trakcie ostatniego roku. Zastanowimy się też, kiedy warto korzystać z rozwiązań wykorzystujących bardzo długie okno kontekstowe modelu językowego a kiedy lepiej wykorzystać inne metody.

PyData Bydgoszcz
https://www.meetup.com/PyData-Bydgoszcz

[email protected]
  / pydatabydgoszcz  
  / pydatabydgoszcz  
#BydgoszczIT

Nagranie sponsorowane przez firmę deepsense.ai
https://deepsense.ai

Realizacja wideo:
Jacek Owczarz
Jack Jack Films
+48 884 391 000