Leider sind diese bei weitem kaum dem hardware-Bedarf einer lokalen LLM - egal wie klein - gewachsen.

Trotz der sparsamen CLI-debian Installation und ollama ist die Nutzung kleiner Modelle à la qwen3.5, phi oder gpt-oss eher zaeh… Da sind die stellenweise kostenfreien Modelle von openrouter schneller - allerdings ist das “kostenfreie” arg auf ein paar Tausend tokens begrenzt. Da kommt man nicht weit. Dann funktionieren die KI-Agenten auch gut, sogar auf raspi-aehnliche SBC-Computer. Ueblicherweise die gepackten Dateien unter /homes (linux) ausbreiten, ggf. Erststart und die Konfigurationsdatei - häufig im json-Format - befuellen.

Je nach Konfiguration genügt ein ollama serve um alles in Schwung zu bringen, gefolgt von einem ollama run MODELL. Je nach RAM ist die Modell-Groesse sachte zu wählen! Ollama öffnet dann ein Terminal für den “Kontakt” mit der LLM. Mit /set nothink kann man das Gelaber einstampfen, und mit /set parameter temperature 0.2 das Halluzinieren eindampfen. Aber das ist kein Agent in dem Sinne. Dafür braucht man besagte claws oder bots und VRAM - welches die intel mac minis nicht haben - bzw. nur begrezt und stellenweise durch ollama nicht supportet. Die häufig eingebaute Geforce 230M besitzt CC 1.x, CUDA benötigt CC 5.0. Da war das ganze Treibermodul-backen umsonst… Die Antwortzeiten sind elendig lang, da schalten auch die kleinsten Ki-Agenten ab…

Eine Abhilfe wären vielleicht die vielen sog. barebone-PCs, aber die Grafikeinheit muss passen, sonst… und auch die sind aktuell sehr teuer…

Die Linux Installation erfolgt wie üblich, plus den Zusatzpaketen vlan und isc/kea-dhcp-server, ggf. noch irqbalance. Der kernel sollte 8021q können, sonst als Modul nachgeladen bekommen. Der nanopi muss eine statische Netzwerkadresse erhalten, um später in der FBox pro Subnet geroutet werden zu können.

Anbei die beispielhafte Konfig (/etc/defaults/isc-dhcp-server):

# Separate multiple interfaces with spaces, e.g. "eth0 eth1"
INTERFACESv4="eth0.10 eth0.20"

Und /etc/dhcp/dhcpd.conf für die Subnetze:

# Hier startet die Konfig der Subnetze
subnet 172.16.10.0 netmask 255.255.255.0 {
}
subnet 172.16.20.0 netmask 255.255.255.0 {
}
# VLAN 10 subnet (eth0.10)
subnet  172.16.10.0 netmask 255.255.255.0 {
        range 172.16.10.10 172.16.10.150;
        option broadcast-address 172.16.10.255;
        option routers 172.16.10.1;
}
# VLAN 20 subnet (eth0.20)
subnet  172.16.20.0 netmask 255.255.255.0 {
        range 172.16.20.10 172.16.20.150;
        option broadcast-address 172.16.20.255;
        option routers 172.16.20.1;
}
# tbc VLAN xx

Dank an den user aqui für die Erläuterungen in administrator.de

[!NOTE] Der DNS Eintrag über die vlans hinweg kann schon mal zu verbindungslosigkeit führen

Man kann zwar neuere Filamente wie ABS+ oder sonstige PETG Varianten verwenden, dennoch zickt das Gesamtsystem aufgrund nicht stabilere Umgebungsbedindungen. Also kommt der bekannte ikea lack enclosure hack zur Anwendung. Hierbei werden 2x IKEA Lacktische (55cm) umgestaltet; man druckt einige Halterungen aus und besorgt etwas Acrylglas im 3mm Stärke und gut ist.

Aufgrund der anderen Gesamthöhe des sovol sv06 im Vergleich zum original Hack, müssen andere Halterungen verwendet werden. Schiebetüren is nicht - der sovol ist zu breit, aber schöne Option, die existiert. Obige modifizierte Halterungen lassen etwa 1cm Luft nach oben - für meine Zwecke optimal. Es werden noch einige LED-Streifen zur Beleuchtung angebracht und “hell” wirds.

Ich habe das Konstrukt auf einen Tisch aufgestellt und aufgrund einer idealen Arbeitshöhe die Beine des 2ten ikea-Tisches kürzen müssen. Achtung: das ikea-Zeugs ist hohl und aus Pappe! Nur die Enden sind aus Pressholz ausgeführt. Ich hab diese ultrastabil mit einem Vierkantholz (45x45) unterfüttert; Bauschaum funktioniert wohl auch, ist halt eine schweinische Arbeit…

Statt der original Doppelschrauben benötigt man 4x 6x50mm Holzschrauben für die gedruckten Halterungen. Am besten mit Sechskantkopf für eine optimierte Auflage. Und ja: nach fest kommt ab - Pressholz taugt nix. Vor dem Zusammenschrauben werden die Acrylglasplatten eingesetzt.

Das Netzteil sollte nicht allzu warm werden und entsprechend Aussen separat befestigt. Das Kabel wird dazu ausgeklipst und links hinten durch die Aussparung verlegt. Vorausgesetzt man hat die gedruckten Halter vorher richtig positioniert. Auch hier mit Halterungen zum Selberdrucken. Dann auf dem oberen “Deckel”, alias Tischplatte, ein Loch (oder Langloch) für die Filamentzufuhr anbringen; etwa auf Position des original Rollenhalters. Von prusa exitieren Muster für Rollenhalter zum Selberdrucken, sogar mit/für Metall-Lager 608zz. Das Verschrauben des Originalarms auf der Tischplatte funktioniert natürlich auch.

Unter der unteren Tischplatte können Schubladen oder Fächer angebracht werden. Ich selbst habe einfach einen 40x30 grossen Kunststoffbehälter aus dem Baumarkt mit etwa 7,5cm Höhe als Schublade umgestaltet.

Hintergrund war es den CO2 Sensor SCD40 als guenstigere Variante zum MHZ19B aufzusetzen. Dieser kann auch Temperatur und Luftfeuchte messen. Auch hier kommt tasmota zum Einsatz.

Am besten den tasmota eigenen flashtool verwenden und die “angepasste” binary aufsetzen, oder halt esptool.py write_flash 0x0 tasmota32.factory.bin. Es geht auch “ohne”, allerdings werden die SCDxx Angaben dann nicht angezeigt oder muessten via templates selber zusammengestrickt werden.

Beim ersten Start wird via USB-Serial der esp32 angeschlossen; der entsprechende Chip ist bereits onboard, also genuegt ein USB-Ladekabel. Im Menue werden unter Configuration Wifi, MQTT und sonstige Einstellungen eingegeben. Man erkennt dass der esp32 (tasmota) einiges mehr an Optionen anbietet. Der SCD40 verwendet das I2C-Protokoll; hier recht einfach SDA und SCL, die an die gpio-Pins angeschlossen werden. Lt. Datenblatt wird das I2C-Protokoll bei Pin 22 und 21 des esp32 bereitgestellt. Die 3,3V sind eh beim esp32 verfügbar.

Unter Tools und Console können einige Kommandos losgetreten werden, um den SCD40 einzustellen, die wichtigsten:

SCD40Stop
SCD40Toff 400
SCD40Alt 678
SCD40Cal 400
SCD40pers

Fuer die Kalibrierung sollte der Sensor irgendwo am offenen Fenster (Frischluft) eine längere Zeit verbleiben. Danach ggf. ein SCD40Strt und ein Neustart. Der Aktualisierungsintervall sollte bei 60 sec (Stichwort: Telemetrie) liegen, jedenfalls packt der SCD40 diese Zeitspanne und für CO2 Messung durchaus angebracht…

Zum Glueck hatte ich mich eingelesen, da der Lieferzustand nicht wirklich akzeptabel war:

• alle Schrauben nachziehen
• die Z-Buehne mit Winkel ausrichten
• alle Lager fetten - wirklich!
• die Treibrollen/-rad mit Loctite auf der flachen Wellen-Einsparung befestigen
• im Extruder die Rolle befestigen
• das Druckbett reinigen (Isopropanol, Aceton, Spuelilauge)

Dann kann das eine oder andere Upgrade erfolgen, wie bessere/groessere Lüfter (4020, 5015) samt Ausdruck der ersten 3D Prints, wie die nautilus Luftführung. ggf. doch ein anderes Druckbett (235x235); das Original ist lackiert und nicht mit jedem Filament gut haftbar. Haengt stark vom Filament ab, aber wenn PLA desselben Herstellers nur in anderer Farbe die erste Schicht schlecht haftet - trotz mehrfacher Nivelierung… Ein anschliessendes Z-Hop ist häufig die Rettung, aber die Oberfläche wird unschoen. Auch das Erhöhen der 1. Schichtdicke auf 0,3 bringt nicht immer Erfolg; wenn man Pech hat, reisst die Duese alles vom Druckbett.

Da hat schon princore ein Druckbettsystem als Ersatz im Programm. Liegt also nicht nur an mir…

Ansonsten wird als slicer ein altes verändertes Cura mitgeliefert, aber man kann nach gusto andere Slicer wie Prusa, das echte Cura oder Orca verwenden. Ich selbst benutze Prusa, da mir die Oberfläche besser gefällt und Linux tauglich; man muss halt die Daten für den sovol sv06 übetragen.

Als Fundgrube fuer 3D-Prints bieten sich printables und thingiverse an.

Ein groesseres anstehendes Projekt ist der mini Macintosh SE mit raspi… hardware lag schon rum…

Die Vorbereitungen sind halt etwas umfangreicher, da das Gehäuse geöffnet und die seriellen (oben rechts: Vcc, TX, RX, Gnd) Pins mit Kontakte o.ä. bestückt und gelötet werden müssen. Danach via USB-Serial-Adapter diese anschliessen und beim Start mittels Esc-Taste den Bootvorgang stoppen.

setenv serverip 192.168.0.2
setenv ipaddr 192.168.0.1
set fdt_high 0x85000000
tftpboot 0x84000000 openwrt-ipq40xx-generic-zte_mf18a-initramfs-fit-zImage.itb
nand erase 0x1800000 0x1D00000
bootm 0x84000000

Ach ja, das nand erase löscht die original Partitionen samt Inhalt; wer zurück will, dann vielleicht diese mittels cat /dev/mtdx > /tmp/mtdx.bin retten. Obiges geht von einem laufendem tftp-Server aus, z.B. tftp oder in linux mit dnsmasq: dnsmasq --listen-address=192.168.0.x --port=0 --enable-tftp --tftp-root=/verzeichnis/tftp --tftp-no-blocksize --user=root --group=root. Hierbei wird noch ein Verzeichnis angelegt und dort die firmware bzw. image abgelegt.

Es sollte dann eine OpenWRT starten, wie ueblich unter 192.168.1.1 zugaenglich; eine Ethernet-Verbindung mit LAN2 ist hilfreich. Dann mit sysupgrade -n /tmp/openwrt-ipq40xx-generic-zte_mf18a-squashfs-sysupgrade.bin installieren. Danach unbedingt ein opkg update durchführen und ggf. die mesh-Software (hier wpad-mesh-openssl) an die restlichen APs anpassen - die sind nicht wirklich untereinander kompatibel.

Die MF18A hat einen 4-Kerner, da ist irqbalance durchaus sinnvoll; ansonsten die mesh-Anbindung gemäß dem anderen Blog-Eintrag umsetzen und gut ist.

[!NOTE] Die Firmware kann via LuCI ins System geladen werden und wird unter /tmp als firmware.bin zwischengespeichert. Aber NICHT via LuCI mit Start/OK upgraden, sondern via Kommandozeile mit sysupgrade.

Das Ganze habe ich auf den alten hp-(ex-)Chromebook aufgesetzt. Aus der minimal USB-ISO wurde die Installationsumgebung gestartet, welche auch ohne Probleme bei dem hp funktioniert hat. Da hat sogar win10 funktioniert. Auf der Kommandozeile wird die interne Disk (SSD) partitioniert und gelabelt. Die neuen Verzeichnisse “/” und “/boot” bspw. unter /mnt bzw. /mnt/boot gemountet. Ein beherztes nixos-generate-config --root /mnt wird eingegeben; hierbei wird unter /mnt/etc/nixos die neue und absolut wichtige Konfigurationsdatei configuration.nix angelegt.

Mit nano (vorinstalliert) wird die Datei editiert und erste wichtige Grundlagen auskommentiert, wie z.B. boot/EFI, Netzwerk (wifi, nmcli), User, Tastatur , Audio (pulse) und system packages (die eigentlichen Programme). Es folgt ein erstes nixos-install mit einem reboot. Es muss eine Internet-Anbindung existieren; ggf. ist mittels wpa_supplicant das wifi erstmalig einzurichten! Vorgehensweise siehe unter NixOS-manual.

Wenn der Erststart geklappt hat, dann den User anlegen und in der configuration.nix ergänzen. Fuer eine Desktop-Umgebung muss dann der xserver auskommentiert werden, samt zug. Programme wie DesktopManager (xfce,..) und sonstige Programme. Siehe dazu die hilfreichen Beispiele aus dem manual.

Es folgt ein nixos-rebuild switch, gefolgt von einem reboot. Man wird dann ein zusaetzlichen Eintrag unter grub finden, quasi ein backup. Wenn es zuviel wird, dann mit nix-collect-garbage -d loeschen. Ein erneutes nixos-rebuild switch sorgt fuer ein aufgeraeumtes grub.

Ein nmcli d wifi connect <ssid> password <geheim> sorgt dann fuer den dauerhaften Wifi-Zugang. wpa_supplicant geht auch, ich finde es halt nerviger in der Config…

Bis jetzt ist das System recht sparsam unterwegs mit nur 8GB RAM.

Es handelt sich hier um den CRAASNETO und wird von mrchromebox unterstuetzt, ein sog. Alderlake. Wie immer gehört der Rechner in Developermodus und etwas trikky die neuen Sicherheitschips Ti50, die neuerdings verbaut werden. Hier hilft nur eine seltasame Prozedur in der root-CLI. Dabei wird via Ctrl+Alt+F2 die Kommandozeile gestartet und als root (ohne Passwort) angemeldet. Mit gsctool -a -I kann man sich die aktuelle Einstellung angucken, interessant ist hier AllowUnverifiedRo

Um diese auf AllowUnverifiedRo:always zu setzen muss mittels Aufruf gsctool -a -o das Ganze gestartet werden und mit der Powertaste bestätigt werden. Und wenn “Another press will be required” erscheint, dann abwarten und NICHT die Powertaste drücken, nur wenn wieder “Press PP button now” angezeigt wird; das geht so ein paar Minuten hin-und-her mit Wartezeiten. Sollte es geklappt haben, dann fährt der Rechner runter und aktualisiert sich (hoffentlich). Wieder in den Developermodus setzen, root-CLI öffnen und gsctool -a -o AllowUnverifiedRo:alwayseingeben und mit der Powertaste bestätigen. Mit gsctool -a -I prüfen; bei der Gelegenheit noch den Schreibschutz mit gsctool -a -w disable aushebeln und ebenfalls bestätigen.

Danach als chronos die Kommandozeile starten und bekannte Prozedur cd; curl -LO mrchromebox.tech/firmware-util.sh && sudo bash firmware-util.sh lostreten. Das WP sollte nun disabled sein und je nach gusto RW_LEGACY oder gleich die full_ROM flashen. Für alle Fälle ein USB-Stick für die Sicherheitskopie der originalen Firmware bereithalten. Reboot tut gut.

Danach mittels USB/SD-Karte das neue OS installieren.

Jetzt hatte die ct mal geballt interessante Themen aufgesetzt und in der nächsten Ausgabe 14 eine besch+ssene Kochzeitschrift daraus gemacht - ernsthaft???? Zum Glück bin ich kein Abonnent, werde die Ausgabe auch nicht kaufen… schon netbsd konnte “toasten”, aber das war ja auch was ganz anderes.

Meine Motivation ist/war es die offenen Ports zu minimieren, dazu - quasi umsonst - Zertifikate auszustellen und den Server in einem separaten proxmox-Container zu betreiben. Mit 512MB RAM, 1 CPU und 4GB sind die Anforderunegn sehr übersichtlich. Plattform ist wie ueblich debian. Die Konfigurationsdatei nennt sich Caddyfile und ist recht simple aufgebaut, z.B.: webserver.example.com { reverse_proxy 192.168.xx.xx:8081 }

Wie immer, wenn man solche Tools hinter einem DSL-Modem betreibt, dann muessen dort die Ports 80 und 443 jeweils fuer ipv4 und ipv6 freigegeben werden. Aber halt auch nur die! Den Rest besorgt caddy. Da gibt es noch unzählige Module, die eine oder andere Anforderung erfüllen. U.a. die fürs dynDNS; können sogar online “erzeugt” werden.

Das Skript liest die API-Daten aus und kann diese an einem broker, wie mosquitto, weiterleiten. Den Rest besorgt dann node-red, o.ä.

Unter linux kann man das Skript im home-verzeichnis, oder gleich in die /usr/sbin packen - je nach Derivat. Aufruf erfolgt via GROWATT_USERNAME=myusername GROWATT_PASSWORD=mypassword MQTT_HOST=localhost MQTT_PORT=1883 ./noah-mqtt

Ggf. ein cron-job aufsetzen oder unter init.d als Startoption einbinden.

Die anschliessende Anzeige im mosquitto ist mehr als ausreichend, um alle möglichen Verbrauchsdaten anzuzeigen.