Snips als offline Sprachsteuerung

[Labmaster]

Snips als offline Sprachsteuerung. https://snips.ai/

Das Projekt Snips wurde hier im Forum ja schon mal von dem einen oder anderen erwähnt.

Über ein KNX Produkt welches die Snips Sprachsteuerung verwendet, bin ich auf ein Video aumerksam geworden wo man die Verwendung des Produkts sehen kann welches eben Snips verwendet. Ich bin wirklich überrascht wie gut das geht, also nicht nur die Worterkennung sondern das ganze Sytem incl. interpretation von Sätzen, Sprachausgabe...
Hier mal der link zu dem Video:

https://youtu.be/eKMDuza5kec

Das steht den Cloud Systemen in nicht viel nach, oder ? Das sieht für mich fürs Snarthome doch sehr nutzbar aus.
Wer traut sich vor und bastelt was schönes für den Loxberry ?

[voltus]

Hallo Walter,

der Loxberry wird als Hardware nicht ausreichen. Wir (Voltus) haben da mal was gebaut. Siehe Fotos im Anhang.

[Labmaster]

Die Hardware eines Raspberry Pi's reicht locker für Snips.
Was naütrlich nicht schlecht wäre, sind die vielen Mic Eingängen mit vorgelagertem Prozessing, so wie es euer Projekt hat.

[Christian Fenzl]

Fyi, wer mal was probieren will:
Es gibt bereits eine Sprachsteuerung für den LoxBerry als Plugin, nämlich Kalliope https://www.loxwiki.eu/display/LOXBERRY/Kalliope

lg, Christian

[Gagi]

Snips ist schon etwas anderes im Vergleich zu Kalliope.

Snips erlaubt alle Sprachbefehle in der Cloud zu trainieren und dann als kleine offline AI runterzuladen. Das ganze ist fuer private Zwecke kostenlos, allerdings leider nicht open-source.
Die eigentliche Spracherkennung kann entweder direkt auf nem Pi passieren oder auf nem zentralen lokalen Server (zum Beispiel auf einem PC als server).
Mehre Pis können auch als Satelliten verwendet werden die dann nur noch die Aufwachwort-Erkennung machen und nur noch die Sprachaufnahme bzw. die Sprachausgabe (als antwort) verarbeitet.

Wir haben das mal bei uns im Buero ausprobiert und waren ganz angetan.

Ich hab mir auch schonmal ueberlegt wie man das ganze mit Loxone verheiraten könnte, allerdings hab ich dafür leider gerade keine Zeit.

P.S. Mycroft soll scheinbar jetzt auch mit Mozillas DeepSpeech zusammen arbeiten, das wäre auch noch ne interessante lösung

Gruss
Dominik

[maxw]

Hier wird ein Bausatz vorgestellt
https://www.elektormagazine.de/news/review-snips-spracherkennung-auf-dem-raspberry-pi

[Bullit]

Man macht doch nicht solche Sachen mit mir... Ich krieg da immer die Bastelwut als "alter" Modellbauer....

[Labmaster]

Also noch ein Modellbauer hier ;-)

[Bullit]

Jawohl! Flugmodellbau 🥳😁

[AlexAn]

Die Jungs von FHEM haben das schon was gebastelt: https://forum.fhem.de/index.php/topic,89548.0.html
Modul: https://github.com/Thyraz/Snips-Fhem

https://www.symcon.de/forum/threads/39774-Sprachsteuerung-mit-Snips

[Vossi]

Gibt's hier schon was Neues?
Ich hätte schon Interesse an einer Offline-Spracherkennung, aber FHEM wollte ich dafür nicht noch installieren müssen (kiss).
Eine Loxberry-basierte Snips-Lösung oder auch Snips auf einem zusätzlichen Pi wäre mir sehr sympathisch...

[Loxtom577]

Eine Offline-Lösung würde mir auch gefallen.
Alexa und Co. kommt mir nicht ins Haus.

[stoeff99]

Ich habe schon ein wenig mit Snips via dem MQTT Gateway experimentiert. Die Verbindung zu Snips auf dem separaten Pi klappt ganz gut und im MQTT Gateway vom Loxberry kann man die entsprechenden "Conversions" implementieren. So kann ich bei mir schon ein paar Lichter ein und aus schalten.
Das Problem ist eher Snips selbst. Zum Beispiel funktioniert die gesprochene Rückmeldung (z.B. die Uhrzeit) nicht mehr, sobald man die Einträge im Mosquitto file vom Snips MQTT broker anpasst, dass es mit dem broker auf dem Loxberry kommunizieren kann (bridge). Dazu muss ich allerdings anmerken, dass ich nur begrenzte Linux Kenntnisse habe und mich bei fast allem sehr auf Google, Foren und co. stütze.
Um ein funktionierendes System mit Rückmeldung, müsste ich/man doch noch ziemlich viel Arbeit rein stecken.

Fazit: im Prinzip funktioniert die Anbindung mit Snips, es gibt aber noch einiges zu tun um ein brauchbares System zu haben. Auch Snips muss noch viel lernen. Es hat doch oft Schwierigkeiten das gesprochene richtig zu erkennen. Da sind Alexa und co. wohl schon sehr viel weiter...

[Vossi]

Hmm, ich habe von Linux auch "begrenzte" Ahnung. Snips installieren traue ich mir zu, das sollte klappen. Aber wenn was Unvorhergesehenes passiert, was nicht in der Anleitung behandelt wird, bin ich auch raus. Ich bräuchte halt 'ne "idiotensichere" Variante, so wie beim Loxberry...

[bastelbert]

stoeff99
Ich habe mittlerweile einen separaten Raspi3B+ mit Raspbian Stretch und Snips aufgesetzt.
Der kleine Spielkram wie Wetter abfragen, etc. funktioniert wunderbar, ich bin begeistert!
Nur wie hast du die Verbindung zum Loxberry hinbekommen?
Das MQTT Gateway v0.8.1 Plugin habe ich installiert (großer Dank an Christian Fenzl !!) und konfiguriert.
Wie hast du die Bridge zum Loxberry Broker in Snips konfiguriert?
Kann man nicht auch dem Loxberry MQTT sagen, dass es direkt den Snips Broker ansprechen soll?
Hast du in Snips eine eigene App gebastelt oder verwendest du eine bestehende?
Danke für deine Unterstützung!

[somebuddy]

Also ich habe eine Node-Red Instanz dazwischen um mir alles zurecht zu biegen. Licht.. Lichtzenen... Farbe usw. Also Snips MQTT Broker --> Node-RED --> Loxone Plugin (Ohne Loxberry).

[stoeff99]

Bei mir habe ich diese Anleitung auf Youtube befolgt: https://www.youtube.com/watch?v=x4bo7ru9q2M
So habe ich die Verbindung zum MQTT plugin auf dem Loxberry schnell hingekriegt. Das "Übersetzen" der Befehle mache ich dann im Loxberry MQTT plugin.
Die Verbindung mit Node-Red hört sich auch noch gut an. Ich habe mich bis jetzt aber noch nicht damit auseinandergesetzt.

[bastelbert]

somebuddy Hast du in Snips eine eigene App zur Lichtsteuerung gebaut oder benutzt du eine der bestehenden englischen Apps zu node-red?
Du hast nicht zufällig eine gute Anleitung zur Verbindung Snips MQTT Broker --> Node-RED parat? Node-RED --> Loxone läuft bei mir bereits wunderbar.

stoeff99 Selbige Frage, eigene App? Das Video hatte ich auch gefunden, muss ich wohl doch noch einmal komplett durcharbeiten

Gast schreibt hier "als "Action" habe ich MQTT eingestellt, snips bringt dann seinen eigenen MQTT broker mit". Das klingt einfach, ich werde allerdings noch nicht ganz schlau draus

https://www.loxforum.com/forum/faqs-tutorials-howto-s/86293-entwicklung-node-red-contrib-loxone-f%C3%BCr-node-red/page22?pp=170794

[bastelbert]

Nachtrag:
Vom Snips-Raspi bekomme ich über die Shell per Befehl

mosquitto_pub -q 2 -t hermes/intent/bastelai -m LICHT-WOHNZIMMER-AN

mittlerweile eine Nachricht an den Loxberry gesendet und dort auch angezeigt.

Direkt auf dem Snips-Raspi bekomme ich sowohl diese manuelle Nachricht als auch Nachrichten aus meiner eigenen App sowie der Lichtsteuerungs-App von JKBecker Nachrichten angezeigt:

pi@raspberrypi:/etc $ mosquitto_sub -d -t hermes/intent/#
Client mosqsub/15295-raspberry sending CONNECT
Client mosqsub/15295-raspberry received CONNACK
Client mosqsub/15295-raspberry sending SUBSCRIBE (Mid: 1, Topic: hermes/intent/#, QoS: 0)
Client mosqsub/15295-raspberry received SUBACK
Subscribed (mid: 1): 0
Client mosqsub/15295-raspberry received PUBLISH (d0, q0, r0, m0, 'hermes/intent/domi:LampenAusSchalten', ... (660 bytes))
{"sessionId":"1aff783c-acc9-4b1e-9077-155116fef392","customData":null,"siteId":"default","input":"drehe das licht ab","asrTokens":[[{"value":"drehe","confidence":0.85212904,"rangeStart":0,"rangeEnd":5,"time":{"start":0.0,"end":0.86458564}},{"value":"das","confidence":0.97553945,"rangeStart":6,"rangeEnd":9,"time":{"start":0.8675209,"end":1.17}},{"value":"licht","confidence":1.0,"rangeStart":10,"rangeEnd":15,"time":{"start":1.17,"end":1.26}},{"value":"ab","confidence":0.89865416,"rangeStart":16,"rangeEnd":18,"time":{"start":1.26,"end":2.050879}}]],"asrConfidence":0.9296847,"intent":{"intentName":"domi:LampenAusSchalten","confidenceScore":1.0},"slots":[]}

Allerdings kommt damit anscheinend der Loxberry nicht klar, hier sehe ich im Log nur:
14:14:35.076 Not a valid json message
"Incoming overview" bleibt leer.

[Christian Fenzl]

Kann ich ausprobieren. Kannst du mir den Payload aus zb MQTT-Spy in ein Textfile kopieren und mir schicken.
Danke, Christian

[Christian Fenzl]

PS: Wenn die Nachricht nicht als JSON identifiziert wurde, steht sie RAW im entsprechenden Topic. Schick mir einfach das!

[bastelbert]

Hi Christian, Nachricht mit Anhang ist unterwegs, wobei ich mit MQTT Sniffer denselben Payload sehe wie zuvor schon per mosquitto abgefangen und hier gepostet. Danke!

[somebuddy]

[QUOTE=bastelbert;n209022]somebuddy Hast du in Snips eine eigene App zur Lichtsteuerung gebaut oder benutzt du eine der bestehenden englischen Apps zu node-red?
Du hast nicht zufällig eine gute Anleitung zur Verbindung Snips MQTT Broker --> Node-RED parat? Node-RED --> Loxone läuft bei mir bereits wunderbar.

Du musst nur mit der MQTT In Node auf den Snips MQTT verbinden. Ich versuche zuhause daran zu denken und schicke dir ein Node-Red Snipplet.

Für den Snips habe ich eine der Apps angepasst. Ich nutze WS2812 LEDs mit Effekten usw mit Loxone. Daher musste was eigenes her.