Jaki model AI wybrać: wyzwania i rozwiązania?

Modeli LLM to aktualnie gorący temat. Aby efektywnie wdrożyć te modele w swojej firmie, konieczne jest stworzenie własnego leaderboardu, dopasowanego do konkretnych potrzeb biznesowych.

🔔 Subskrybuj i włącz powiadomienia - Twoja droga do praktycznego ML zaczyna się od jednego kliknięcia:    / @dataworkshop  
👍 Zostaw like, bo więcej lajków = więcej praktycznych treści dla Ciebie!
💬 Co o tym myślisz? Zostaw komentarz! Masz pytanie? Zadaj je - chętnie odpowiem.
🤝 Poznajmy się lepiej! Zaproś mnie do swojej sieci na LinkedIn:   / vladimiralekseichenko  
🔊 Zainicjuj rozmowę o ML w firmie, polecając ten podcast. Zainspiruj zespół do wdrażania ML!

Partnerem podcastu jest DataWorkshop.

Podpowiadam jak to zrobić, czyli od czego można zacząć (3 proste kroki). Choć istnieją zewnętrzne rozwiązania, to nie dają one pełnej kontroli i gwarancji trafności oceny. Warto czerpać z doświadczeń tradycyjnego ML, pamiętając jednak o zwiększonej złożoności procesu oceny LLM.


Chcesz więcej? Zajrzyj do moich kursów online i ucz się ML i analizy danych w praktyce!
👉 DS/ML od podstaw - https://dataworkshop.eu/pl/practical-...
👉 Python - https://dataworkshop.eu/pl/intro-python
👉 Statystyka - https://dataworkshop.eu/statistics
👉 SQL - https://dataworkshop.eu/pl/sql
👉 Time Series - https://dataworkshop.eu/pl/time-series
👉 NLP - https://dataworkshop.eu/pl/nlp


✅ Dlaczego wszystkie modele AI są błędne i jak to wpływa na biznes? 🤔
✅ Dlaczego też nie ma idealnych modeli LLM i jak wybrać ten "wystarczająco dobry" do swoich potrzeb?
✅ Jak ewoluowały benchmarki i metryki oceny modeli NLP?
✅ Dlaczego tak popularne metryki, np. takie jak MMLU, tracą na znaczeniu?
✅ Czym jest ChatbotArena i Hard Arena - innowacyjne podejścia do oceny AI?
✅Jakie pułapki kryją się w korzystaniu z gotowych leaderboardów i na co uważać?
✅ Dlaczego warto stworzyć własny leaderboard dopasowany do Twoich potrzeb biznesowych i jak to zrobić w 3 prostych krokach?
✅ Dodatkowe wskazówek i narzędzi, które ułatwią Ci ocenianie modeli LLM.


Ten odcinek dostarczy Ci praktycznej wiedzy o tym, jak skutecznie oceniać i wybierać modele AI w praktyce.


Tu możesz czytać: https://biznesmysli.pl/jaki-model-ai-...

🎧 Słuchaj BM wygodnie na Spotify, Apple Podcasts lub Google Podcasts:
📌 https://open.spotify.com/show/3ZUaHom...
📌 https://podcasts.apple.com/us/podcast...
📌    • Biznes Myśli  


#ai #ml #leaderboard #benchmark #arena #llm #biznesmysli


Leaderboards & Benchmarks:
- Arena Leaderboard: https://chat.lmsys.org/?leaderboard
- Arena Battle: https://chat.lmsys.org
- Alpaca Eval: https://tatsu-lab.github.io/alpaca_eval/
- Open Leaderbord (old): https://huggingface.co/spaces/open-ll...
- HELM: https://crfm.stanford.edu/helm/lite/l...
- https://huggingface.co/spaces/WildVis...
- https://huggingface.co/spaces/TTS-AGI...
- https://huggingface.co/spaces/JetBrai...
- https://livecodebench.github.io/leade...
- https://aider.chat/docs/leaderboards/

Publikacji:
- https://arxiv.org/pdf/1706.03762
- https://arxiv.org/pdf/1409.0473
- https://arxiv.org/pdf/2006.03654
- https://arxiv.org/pdf/2009.03300
- https://arxiv.org/pdf/2402.01781
- https://aclanthology.org/N19-1246.pdf
- https://arxiv.org/pdf/2210.09261
- https://arxiv.org/pdf/2406.11939
- https://arxiv.org/pdf/2305.14387