Wie betreibe ich Sprach- und Bildmodelle lokal am Desktop, ohne Daten an eine Cloud zu senden?
Lokale KI am Desktop ist für viele Anwenderinnen und Anwender dann interessant, wenn Daten das Gerät nicht verlassen dürfen, wenn eine stabile Internetverbindung fehlt oder wenn reproduzierbare Laufzeiten ohne externe Abhängigkeiten benötigt werden. Gleichzeitig ist der lokale Betrieb weniger „Plug-and-play“ als ein Webdienst: Ob ein Sprachmodell flüssig antwortet oder ein Bildmodell überhaupt startet, hängt direkt von Hardwareparametern wie VRAM, Speicherbandbreite, RAM und Massenspeicher sowie von der gewählten Laufzeit ab.
