SmartHomeVision

Licht an, ohne ein Wort

Für die rund 1,6 Millionen Menschen mit Hörbeeinträchtigung im deutschsprachigen Raum ist das Smart Home eine Technologie, die an ihnen vorbeientwickelt wurde. Wer kein Sprachkommando sprechen kann, tippt. Wer am Lichtschalter vorbeiläuft, schaltet manuell. Betreut von Dipl.-Ing. Gerhard Waser, entwickelten Matthias und Luca ein System, das Gesten statt Sprache versteht. Eine Handbewegung zur Lampe schaltet das Licht, eine andere startet die Heizung, eine dritte öffnet die Jalousie. Kein Gerät am Handgelenk, kein Knopfdruck, kein gesprochenes Wort. Damit das funktioniert, trainierte Matthias ein neuronales Netz auf leistungsstarken Rechnern und optimierte dessen Architektur. Damit es im Wohnzimmer tatsächlich Lampen und Steckdosen steuert, baute Luca das Hardware-Setup auf, programmierte das Flask-Backend und verband alles mit den Smart-Home-Komponenten.

Eine 4K-Kamera liefert das Rohmaterial, aber das Bild kommt nie gespeichert an: MediaPipe extrahiert nur 21 dreidimensionale Gelenkpunkte pro Frame und verwirft den Rest sofort. Ein zweischichtiges LSTM-Netzwerk erkennt die Gestenbewegung daraus, komprimiert auf weniger als 50 Megabyte, und schickt den Befehl über OpenHAB ans Smart Home. Die finale Erkennungsrate: 98,4 Prozent. Das System läuft auf einem Raspberry Pi 4, ohne Cloud, ohne Server, ohne das Zuhause je zu verlassen. Jede Bestätigung erfolgt rein visuell: Lampen blinken, Icons auf dem Dashboard reagieren.

Matthias und Luca planen, SmartHomeVision als Open-Source-Projekt zu veröffentlichen. Wer keine Standard-Gebärdenzeichen ausführen kann, weil motorische Einschränkungen das verhindern, trainiert das System einfach auf individuelle Heimgesten. Das Haus, das bisher nur auf Stimmen hört, versteht jetzt auch Handzeichen.

HTL Braunau | Matthias Wintersteller, Luca Pohn | Betreuung: Dipl.-Ing. Gerhard Waser