Mit dabei: Jan Mahn, Jan-Keno Janssen und Liane M. Dubowy

Bei lokalen KI-Modellen muss man nicht jedes Token auf die Goldwaage legen. Statt teurer Abos für KI-Dienste, fallen leichter zu überblickende Hardware- und Stromkosten an. Wir sprechen darüber, was mit einem lokalen KI-Server für privat oder kleine Teams möglich ist, welche Hardware man dafür braucht und welche coolen Dinge man damit tun kann.

► c’t-3003-Video zu Hermes Agent und lokaler KI: https://www.youtube.com/watch?v=Ne2UH682x9I

► Artikel zum Aufbau eines lokalen KI-Servers für ein kleines Team: https://heise.de/-11333185

Kapitel:

00:00 Intro: Warum KI lokal betreiben?

16:02 Quantisierung & Hardware-Anforderungen erklärt

25:48 Server-Setup mit Open Web UI und Ollama

37:05 Agentische Systeme: KI bedient den Computer selbst

50:40 Einsteiger-Tipps zum Ausprobieren

Hinweis: Dieser Podcast wird von einem Sponsor unterstützt. Alle Infos zu unseren Werbepartnern findet ihr hier. heise Podcasts | Wonderlink