Claw
Der Krustentier-hype ist ja schoen und mittlerweile sind die alten mac mini Mx so teuer geworden, dass ich gezwungen bin/war die aelteren mac mini intel zu testen.
Leider sind diese bei weitem kaum dem hardware-Bedarf einer lokalen LLM - egal wie klein - gewachsen.
Trotz der sparsamen CLI-debian Installation und ollama ist die Nutzung kleiner Modelle à la qwen3.5, phi oder gpt-oss eher zaeh… Da sind die stellenweise kostenfreien Modelle von openrouter schneller - allerdings ist das “kostenfreie” arg auf ein paar Tausend tokens begrenzt. Da kommt man nicht weit. Dann funktionieren die KI-Agenten auch gut, sogar auf raspi-aehnliche SBC-Computer. Ueblicherweise die gepackten Dateien unter /homes (linux) ausbreiten, ggf. Erststart und die Konfigurationsdatei - häufig im json-Format - befuellen.
Je nach Konfiguration genügt ein ollama serve um alles in Schwung zu bringen, gefolgt von einem ollama run MODELL. Je nach RAM ist die Modell-Groesse sachte zu wählen! Ollama öffnet dann ein Terminal für den “Kontakt” mit der LLM. Mit /set nothink kann man das Gelaber einstampfen, und mit /set parameter temperature 0.2 das Halluzinieren eindampfen. Aber das ist kein Agent in dem Sinne. Dafür braucht man besagte claws oder bots und VRAM - welches die intel mac minis nicht haben - bzw. nur begrezt und stellenweise durch ollama nicht supportet. Die häufig eingebaute Geforce 230M besitzt CC 1.x, CUDA benötigt CC 5.0. Da war das ganze Treibermodul-backen umsonst… Die Antwortzeiten sind elendig lang, da schalten auch die kleinsten Ki-Agenten ab…
Eine Abhilfe wären vielleicht die vielen sog. barebone-PCs, aber die Grafikeinheit muss passen, sonst… und auch die sind aktuell sehr teuer…