AI prakticky - Gemma 2 27B - Jak spustit nový open source LLM model od Googlu a použít ho prakticky?

V tomto videu se společně podíváme na nový, velký jazykový model od Googlu a to Gemma 2 ve verzi 27B parametrů. Využijeme jen prakticky v rámci naučení Gemma 2 k pomoci s generováním promptů pro generativní AI MidJourney. Dále si řekneme základní popis pro RAG (Retrival Augmented Generation) a také si popíšeme, co je to vlastně LLM agent.

V rámci lokálního běhu modelu Gemma 2 27B parametrů použijeme integrované studio 'Anything LLM', která už v základu nabízí širokou podporu inferenčních programů pro modely, vestavěný RAG a samozřejmě vestavěná funkcionalita pro agenty (Sběr dat z webu, vyhledávání ...)

K lokálním běhu modelu Gemma 2 budeme používat inferenční engine Ollama.

Časová osa:
00:00 Gemma2 open-source LLM model
00:55 Ollama inferenční engine - Gemma2
01:40 RAG základní využití a vysvětlení
04:55 Co jsou to LLM agenti
06:35 AnythingLLM popis
07:20 AnythingLLM spouštěné
07:40 AnythingLLM konfigurace
09:15 První dotaz na Gemma2 - Bez načteného RAG
09:40 Učíme model MidJourney prompting
10:45 Načtený RAG (vektorová databáze)
11:10 Gemma2 MidJourney prompting expert
11:45 Gemma2 27B Spotřeba video paměti + RAM (Q4 model)
12:30 Gemma2 27B 'Scary pirate' Midjourney prompt (plně lokální model na PC)
13:40 Jak je to s těmi agenty
14:30 První pokus o využití agenta (nepovedlo se)
15:25 Druhý pokus o využití agenta (Llama 3 Instruct 8B model)
16:25 Fungující agent s využitím Llama 3 Instruct 8B modelem
16:50 Shrnutí

Zdroje:
Co je to LLM Agent -   / what-is-an-llm-agent-and-how-does-it-work  
Co je to RAG -   / retrieval-augmented-generation-rag-from-ba...  
Ollama - https://ollama.com/library/gemma2:27b
AnythingLLM - https://useanything.com/
Gemma 2 - https://blog.google/technology/develo...

[Affiliate links (Pokud chcete podpořit kanál / If you want to support channel)]

[Artificial Inteligence / Umělá inteligence]

(Voice clonning / Voice swapping)
JammableAI - https://jammable.com/?ref=sharingwith...
IIElevenLabs - https://elevenlabs.io/?from=partnerto...
Kits.AI - https://www.app.kits.ai?via=lukassieber

(Creating songs/sound/music)
Suno.ai - https://suno.com/invite/@lukassieber

[Investing / Investice]

(Robo-advisory)
Portu - https://www.portu.cz/?reference=siebe...

(Brokers)
Lynx Broker - https://lynxbroker.cz/lp/p/otevreni-u...

(Peer to Peer networks)
Bondster - https://bondster.com/cz/referral-invi...