Sprach-KI selber betreiben | c’t uplink

Das Problem stellt sich vor allem für Firmen: OpenAIs ChatGPT mag ein irre praktisches und mächtiges Tool sein, doch es spricht auch einiges dagegen. Vor allem in Sachen Datenschutz, aber auch in puncto Langzeitstabilität des Funktionsumfangs hat man über das US-System schlicht keine Kontrolle.

Eine interessante Alternative ist es, eine generative Sprach-KI selber zu betreiben. So bekommt man nicht nur die Hoheit über die eigenen Datenbestände zurück, sondern kann den Funktionsumfang auch gezielt an eigene Bedürfnisse anpassen. Obendrein ist das Ganze auch noch Open Source.

Im c’t uplink sprechen wir darüber, was man an Hardware und an Software braucht, um sich eine eigene Chat-KI zu bauen, was auf dem eigenen Testrechner funktioniert und wofür man besser einen Cloudserver anmietet. Außerdem: Wie finde ich eigentlich raus, welches von tausenden KI-Systemen am besten für meine Zwecke geeignet ist?

Mit dabei: Jo Bager, Hartmut Gieselmann, Pina Merkert
Moderation: Jan Schüßler
Produktion: Ralf Taschke

Unsere Artikel zum Thema selbstgehostete Sprach-KI finden Sie in der aktuellen c’t 23/2023.

Kapitelmarken:
0:00 Einleitung
1:20 Warum selber hosten?
2:12 KI-Vergleichsdatenbank Hugging Face
3:30 Ursprung der Open-Source-Modelle: LLaMA
6:20 Kommerzielle Nutzung, urheberrechtliche Unsicherheiten
10:18 Drei Wege zur eigenen KI
17:10 Prompt-Engineering ausprobieren
18:17 Bing-KI: neuere Nachrichtenlage vs. ältere Trainingsdaten
19:45 Inhaltsfilter und illegale Inhalte – ChatGPT vs. Open-Source-Modelle
23:53 Wie das Feintuning abläuft
28:32 Wo generative KI nicht weiterhilft (weil sie halluziniert)
33:10 Sprach-KI selber installieren: llama.cpp
39:40 RAM-Bedarf kleiner Modelle
41:51 Für größere Modelle: Cloudserver
42:40 Noch ein paar Tipps zum Abschluss

► c’t Magazin: https://ct.de
► c’t auf Mastodon: https://social.heise.de/@ct_Magazin
► c’t auf Instagram:   / ct_magazin  
► c’t auf Facebook:   / ctmagazin  
► c’t auf X/Twitter:   / ctmagazin  
► c’t auf Papier: überall wo es Zeitschriften gibt!

#ki #chatgpt #diy