MQTT Gateway 2.x

[eisenkarl]

Christian Fenzl
Wäre es möglich in eine deiner nächsten Releases (sofern notwendig) einen Schalter einzubauen, der alle Topics an den MS deaktiviert und man dann die wenigen Topics die man braucht wieder frei gibt? Also alles verbieten ausser

Oder gibt es das etwa schon und ich habe es nicht gecheckt?

Danke

[Christian Fenzl]

Im Grunde aktivierst du die Übertragung erst mit den Subscriptions. Du kannst die Subscriptions schon mal so genau definieren, dass du nichts mehr "erwischt", was du garnicht brauchst.
Neu in 2.x ist die Möglichkeit, Regex-Bedingungen zu hinterlegen, um von den Daten noch mehr wegzufiltern. Das ist eine sehr flexible Möglichkeit, weil du auf sehr spezifische Suchen Daten wegfiltern kannst.
Schlussendlich gibt es das Do-Not-Forward Kennzeichen. Dieses geht GENAU auf den markierten Datensatz.

Das sind jetzt eigentlich schon drei Wege, um Daten rauszufiltern. Und wenn gewisse Daten trotzdem gesendet werden, ist es dennoch nicht so schlimm, weil gleiche Daten sowieso gecached werden, und das was man in der Incoming Overview sieht, nicht zwangsläufig dauernd übertragen wird.

lg, Christian

[Christian Fenzl]

Der aktuelle Master (https://github.com/christianTF/LoxBe...ads/master.zip) enthält einen neuen UDP Transformer, nämlich

sort (https://www.loxwiki.eu/x/kYRWBQ)

Damit ist es möglich, mehrere Werte zu auf- oder absteigend zu sortieren.

KeLa
Gebaut habe ich das für dich, damit ist es beispielsweise möglich, deine Laufzeiten der Bewässerungskreise zu sortieren, bzw. mit dem index direkt z.B. die zwei bislang kürzest laufenden Kreise einzuschalten. Gib Bescheid, ob du damit zurecht kommst.

lg, Christian

[KeLa]

Hi Christian,
vielen Dank. Für mich ist dies aber alles noch irgendwie Neuland. Ich habe das ganze gerade mal zusammen gebaut.

Virtueller Ausgang: /dev/udp/IP vom LB/11884
Virt. Ausg. Befehl: publish sort temperatures <v>, Digital Wert ist aus

Das Plugin habe ich neu installiert. Laut Doku (https://www.loxwiki.eu/pages/viewpag...ageId=89556113) müsste ich nun unter "Quick Publisher" die Werte eigentlich sehen. Da sehe ich aber nix. Habe ich einen Denkfehler oder irgendwo etwas übersehen? Die einzigsten Daten die das Plugin an den MS zurück schickt sind die Polldaten und Keepalive. Ich habe auch schon mit der Befehlserkennung im virtuellen Ausgang herum getestet. Irgendwie bekomme ich es aktuell nicht zum Laufen.

LG
Lars

[Christian Fenzl]

Du hast eh den Master (Link wie genannt) installiert?

Als Nächstes denkst du dir ein Topic aus, zb „temperaturen“, und erstellst eine Subscription
temperaturen/#

Der Quick Publisher ist zum TESTEN (wie der Name sagt, um schnell was zu publishen). Dort kannst du Werte zum Testen eingeben und schauen, was passiert.
Wenn dort der Transformer sort nicht auswählbar ist, hast du den Master nicht installiert.

Dann teste im Quick Publisher:
Topic temperaturen
Transformer sort
Value 9:5:6:2
und „Publish!“

Dann öffnest du die Incoming Overview, und suchst nach „temperaturen“.

Kommt was?

lg, Christian

[KeLa]

Danke. Es läuft. Fehler vom Amt ;-)

Ich hab das Subscription vergessen. Naja den Master habe ich vorher einfach über das bestehende Plugin drüber gebügelt. Mochte das Plugin wohl auch nicht. Hab das Plugin nochmal gelöscht und den Master komplett neu installiert. Danach lief es.

Vielen Dank nochmal für Deine Hilfe.

[brunnema]

Hallo Christian und Loxoner-Gemeinde,

ich habe versucht den UDP-Transformer für rgb&w mit der neuen Release 2.0.3 zum laufen zu bekommen.

Leider kommen keine Commands über den Transformer an (Empfang und direktes Senden per MQTT Gateway geht aber)

Mir kommt das Zeichen (Â) hinter dem SET komisch vor, außerdem vermute ich, das der Transformer nur ein Teil der benötigten .json Werte für den shelly zusammenbaut.

Kann das sein?
Eventuell hat jemand ähnliches bemerkt oder kennt eine Lösung?

Der LOG Debug zeigt folgendes:
20:29:03.466 OK: UDP IN: Loxone.fritz.box (192.168.178.111): publish shelly_rgb&w shellies/RGB_col-Wohnen-L1.2/color/0/set white 50.0
20:29:03.467 Checking if transformer requested
20:29:03.467 OK: Transformer shelly_rgb&w found
20:29:03.468 INFO: Calling transformer shelly_rgb&w
20:29:03.658 Transformer TEXT output:
shellies/RGB_col-Wohnen-L1.2/color/0/set white#{"effect":0,"gain":100,"turn":"on","mode":"c olor"}

20:29:03.659 Publishing: 'shellies/RGB_col-Wohnen-L1.2/color/0/set white'='{"effect":0,"gain":100,"turn":"on","mode": "color"}'
20:29:03.661 OK: MQTT received: shellies/RGB_col-Wohnen-L1.2/color/0/set white: {"effect":0,"gain":100,"turn":"on","mode":"colo r"}
20:29:03.662 Expanding json message
20:29:03.664 shellies/RGB_col-Wohnen-L1.2/color/0/set white/effect = 0
20:29:03.664 shellies/RGB_col-Wohnen-L1.2/color/0/set white/turn = on
20:29:03.665 shellies/RGB_col-Wohnen-L1.2/color/0/set white/mode = color
20:29:03.665 shellies/RGB_col-Wohnen-L1.2/color/0/set white/gain = 100
20:29:03.666 shellies/RGB_col-Wohnen-L1.2/color/0/set white/gain is cached
20:29:03.666 shellies/RGB_col-Wohnen-L1.2/color/0/set white/effect is cached
20:29:03.667 shellies/RGB_col-Wohnen-L1.2/color/0/set white/turn is cached
20:29:03.667 shellies/RGB_col-Wohnen-L1.2/color/0/set white/mode is cached
20:29:03.668 shellies/# matches shellies/RGB_col-Wohnen-L1.2/color/0/set white, send to MS 1
20:29:03.669 HTTP: Preparing input shellies_RGB_col-Wohnen-L1.2_color_0_set white_turn (using cache): 1
20:29:03.669 HTTP: Preparing input shellies_RGB_col-Wohnen-L1.2_color_0_set white_mode (using cache): color
20:29:03.669 HTTP: Preparing input shellies_RGB_col-Wohnen-L1.2_color_0_set white_effect (using cache): 0
20:29:03.670 HTTP: Preparing input shellies_RGB_col-Wohnen-L1.2_color_0_set white_gain (using cache): 100

[Christian Fenzl]

Schau mal, ob du irgendwas am Ende des set hast, sei es ein Zeilenumbruch oder sowas. Da darf nichts sein außer.../set <v.1>
Am Besten bis dort von hinten alles rauslöschen und mit der Tastatur eintippen.

Das andere hängt sicher mit dem zusammen.

[brunnema]

Tatsächlich war...nach tippen /set rgb <v> geht auch dieser.

Ich baue und dokumentiere die Strings in Excel, kopiere sie dann in Loxone:
1 publish shelly_rgb&w shellies/RGB_col-Wohnen-L1.2/color/0/set white <v.1> <<<< FEHLER
2 publish shelly_rgb&w shellies/RGB_col-Wohnen-L1.2/color/0/set white <v.1> >>>OK

>> Strings sehen identisch aus, der 1. geht aber nicht - im editor ist es kein UTF8 konformes "Leerzeichen" und somit für den Transformer nicht sauber getrennte Values.
Danke für den schnellen Tip und Support & Tolle Arbeit mit dem MQTT Plugin !!

[Gast]

Guten Abend,

besteht die Möglichkeit auch die Virtuellen Texteingänge zu nutzen? Bei mir (Loxberry 2.2.04/MQTT 2.0.3/Loxone 12.0.2.24) meldet das Gateway immer "Not Found".

Vielen Dank

[Christian Fenzl]

Ja, das funktioniert ebenso.
Klicke unten mal „Clear cache“, damit du siehst, wann es neu übertragen wird.

Hier sind ein paar häufige Fragen beantwortet;

https://www.loxwiki.eu/display/LOXBERRY/MQTT+Gateway+-+FAQ

[DaOptika]

Hallo zusammen,
ich konnte leider nix dazu finden, daher die Frage hier:
Wenn ich es richtig verstanden habe, kann ich die batteriebetriebenen Shellys die gerade schlafen nur dann sicher updaten, wenn ich den Update-command über loxone mit Retain und mit QoS=2 raushaue.
Retain ist klar, aber gibt's irgendwie ne Möglichkeit den QoS Level zu spezifizieren?

Danke und viele Grüße,
Manuel

[Christian Fenzl]

Das MQTT Gateway sendet nur QoS=0.
Du kannst einen beliebigen MQTT Client installieren, dort kannst du das QoS-Level einstellen.

Wobei ich Updates bei den Shellys nur bei Bedarf installiere („Never Change a Running System“).

Lg, Christian

[DaOptika]

Hi Christian,
Meinst du damit ich soll das Update-Command dann immer über einen anderen Client schicken oder kann ich über den Client dauerhaft das QoS des Update-Commands ändern und das gilt dann auch für die Commands von Loxone?

Hätte die Update-Funktionalität schon ganz gerne weiterhin im Loxone...

Wäre es eventuell möglich/sinnvoll QoS als optionalen Befehl in einer nächsten Version mit in die Lox2MQTT Syntax aufzunehmen?

[Christian Fenzl]

Die verwendete MQTT-Lib unterstützt leider nur QoS=0. Hier werde ich eher nichts ändern.

Mit einem UDP Transformer könnte man mosquitto_pub aufrufen, der QoS kann. Aktuell bi ich aber anderwärtig ausgelastet, du könntest es aber selbst versuchen:

https://www.loxwiki.eu/display/LOXBERRY/MQTT+Gateway+-+UDP+Transformers

[thats]

Hallo Forum,
ich habe mittlerweile einige Shelly DUO und Shelly Bulbs im Einsatz. Speziell im Badezimmer, wo ich mehrere Spots verbaut habe (10 Stk) klappt das mit MQTT, auch in V2.0.3 nicht sehr performant. Schalte ich das Licht ein, dauert es teilweise bis zu 30 Sekunden, bis alle Spots dann wirklich ein sind. Ebenso lange dauert das ausschalten. Was mir dazu noch aufgefallen ist, dass bis zu dem Zeitpunkt, bis alle Lampen ein oder aus sind, auch in keinem anderen Raum ein MQTT Device geschaltet werden kann. Dabei ist es dann egal ob es eine DUO oder Bulb oder ein 2.5 ist.
Bei mir läuft Loxberry auf einer Synology mit 2GB Arbeitsspeicher, 2 CPUs und langweilt sich fast. In MQTT habe ich nun die Data Transfer Performance auf "No Limit" gestellt und tortzdem konnte ich - auch nach einer Stunde warten - keine wesentlichen Verbesserungen feststellen.
Für die Bulbs habe ich die Vorlage aus dem Wiki genommen. Mit bis zu 2 Spots klappts, ab drei wirds schon langsam. Wie kann ich denn optimieren? Welche Infos braucht ihr, um mir konkreter weiter helfen zu können?
Danke jetzt schon!
lG Christoph

[thats]

@svethi
Die Synology selbst hat deutlich mehr Arbeitsspeicher. Das kam vielleicht anders rüber: die virtuelle Loxberry Instanz hat 2 GB

[svethi]

Alles klar ;-). Man muss ja fragen. Gibt auch Leute, die lassen auf einem Loxberry mit ner 8GB Karte noch 2 Docker Container laufen und wundern sich, dass die Karte voll ist ;-)

[thats]

ach, das ist kein Problem. Ich würde es wohl auch hinterfragen wenn's missverständlich geschrieben ist Ich versuch jetzt mal eure ganze Sachen umzusetzen. das wird eine Herausforderung

[Christian Fenzl]

thats

• Kannst du mal zeigen, wie das bei dir die Beschaltung in Loxone Config aussieht?
• Du bist sicher, dass in Loxone keine AUSGÄNGE so heißen wie VI's, auf die das MQTT Gateway Daten sendet?

In deinem Log geht's jedenfalls zu wie in einem Bienenstock ;-)
Ich hab daraus aber überhaupt keinen Überblick, wer da was schaltet.

• In den Subscription-Filter setze mal folgende Regex:

shellies\/.*\/set

Die .../set Befehle, die du als json an die Bulb absetzt, bekommst du nämlich volé zerlegt auf auf 9 HTTP-Requests zurück (ist zwar gecached, sind trotzdem ein paar Millisekunden ).


Probier das mal aus
Stell das mal ein, warte eine Minute, bis sich alles beruhigt hat, und dann drücke dochmal und schick das Log. Bitte bei der Zeitangabe im Log etwas genauer sein ;-)

Das ist btw der zeitliche Verlauf, was von deinem Miniserver beim Gateway ankommt.

16:35:56.252 <OK> [B]MQTT received: [/B]shellies/shellyix3-10521CF1F6BC[B]/input/0: 1[/B]
16:35:56.644 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928D28/light/0/set {"turn": "off", "brightness": 0, "temp": 0}
16:35:56.645 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928B43/light/0/set {"turn": "off", "brightness": 0, "temp": 0}
16:35:56.906 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928A4B/light/0/set {"turn": "off", "brightness": 0, "temp": 0}
16:35:57.150 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928B67/light/0/set {"turn": "off", "brightness": 0, "temp": 0}
16:35:58.191 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928D28/light/0/command off
16:35:58.982 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928BAF/light/0/set {"turn": "off", "brightness": 0, "temp": 0}
16:35:59.157 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928BAF/light/0/command off
16:35:59.398 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928B67/light/0/command off
16:36:00.153 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928A4B/light/0/command off
16:36:00.986 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928B43/light/0/command off
16:36:01.986 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9286A2/color/0/set {"mode":"white","red":0,"green":0,"blue":0,"white" :0,"gain":0,"temp":2700,"brightness":0",effect":0 }
16:36:02.666 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-8CAAB555E46D/color/0/set {"mode":"white","red":0,"green":0,"blue":0,"white" :0,"gain":0,"temp":2700,"brightness":0",effect":0 }
16:36:03.185 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA928417/color/0/set {"mode":"white","red":0,"green":0,"blue":0,"white" :0,"gain":0,"temp":2700,"brightness":0",effect":0 }
16:36:03.445 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9287D0/color/0/set {"mode":"white","red":0,"green":0,"blue":0,"white" :0,"gain":0,"temp":2700,"brightness":0",effect":0 }
16:36:03.709 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9285F7/color/0/set {"mode":"white","red":0,"green":0,"blue":0,"white" :0,"gain":0,"temp":2700,"brightness":0",effect":0 }
16:36:04.226 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA927CAB/color/0/set {"mode":"white","red":0,"green":0,"blue":0,"white" :0,"gain":0,"temp":2700,"brightness":0",effect":0 }
16:36:04.498 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9286A2/color/0/set 0
16:36:04.499 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-8CAAB555E46D/color/0/set 0
16:36:04.598 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA928417/color/0/set 0
16:36:04.682 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9287D0/color/0/set 0
16:36:04.850 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9285F7/color/0/set 0
16:36:04.851 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA927CAB/color/0/set 0
16:36:04.954 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA928417/color/0/command off
16:36:05.034 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9287D0/color/0/command off
16:36:05.296 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9286A2/color/0/command off
16:36:05.570 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9285F7/color/0/command off
16:36:06.010 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA927CAB/color/0/command off
16:36:06.274 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-8CAAB555E46D/color/0/command off
16:36:06.358 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellyswitch25-68C63AF9B41A/relay/0/command on
16:36:12.280 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellyswitch25-68C63AF9B41A/relay/0/command off

Einen Log-Block mal herausgenommen:

16:35:56.[B]645 <OK> UDP IN:[/B] Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928B43/light/0/set {"turn": "off", "brightness": 0, "temp": 0}
16:35:56.646 Publishing: 'shellies/ShellyBulbDuo-483FDA928B43/light/0/set'='{"turn": "off", "brightness": 0, "temp": 0}'
[B]18 ms vom Publish bis zum eigenen Empfang des Publish[/B]
16:35:56.664 <OK> MQTT received: shellies/ShellyBulbDuo-483FDA928D28/light/0/set: {"turn": "off", "brightness": 0, "temp": 0}
16:35:56.664 Expanding json message
16:35:56.664 shellies/ShellyBulbDuo-483FDA928D28/light/0/set/temp = 0
16:35:56.665 shellies/ShellyBulbDuo-483FDA928D28/light/0/set/turn = off
16:35:56.665 shellies/ShellyBulbDuo-483FDA928D28/light/0/set/brightness = 0
16:35:56.665 shellies/ShellyBulbDuo-483FDA928D28/light/0/set/temp is cached
16:35:56.665 shellies/ShellyBulbDuo-483FDA928D28/light/0/set/turn is cached
16:35:56.665 shellies/ShellyBulbDuo-483FDA928D28/light/0/set/brightness is cached
16:35:56.666 shellies/# matches shellies/ShellyBulbDuo-483FDA928D28/light/0/set, send to MS 1
16:35:56.666 HTTP: Preparing input shellies_ShellyBulbDuo-483FDA928D28_light_0_set_brightness (using cache): 0
16:35:56.666 HTTP: Preparing input shellies_ShellyBulbDuo-483FDA928D28_light_0_set_temp (using cache): 0
16:35:56.666 HTTP: Preparing input shellies_ShellyBulbDuo-483FDA928D28_light_0_set_turn (using cache): 0
[B]2 ms zum Aufbereiten der Nachricht
Dann 240 ms zum tatsächlichen Senden an den Miniserver (bzw. Cachehandling)[/B]
16:35:56.906 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/ShellyBulbDuo-483FDA928A4B/light/0/set {"turn": "off", "brightness": 0, "temp": 0}

Probier mal das mit dem Regex.

lg, Christian

[thats]

Regex ist mal gesetzt. Verbesserung noch keine spürbar. Log kommt dann später, wenn ich den ganzen Rest von euch erledigt hab

[thats]

Ausgänge und VIs nochmal kontrolliert. Die heißen definitiv anders.

[svethi]

Interessant wäre auch, wie Du alles konfiguriert hast. Also die Shellies, wie die Verbindung vom MiniServer zu den Shellies aussieht, wie eine eventuelle Rückmeldung eingebunden ist und wie die Lampen in der Config überhaupt gesteuert werden.

[svethi]

Da war Christian wohl schneller ;-)

[Christian Fenzl]

Das Gateway ist jedenfalls sehr angestrengt, die ganzen Statusmeldungen zu verarbeiten, weshalb der Delay von UDP IN zu UDP IN immer größer wird.

Statt nur RegEx, solltest du vielleicht auch die Subscription selbst granularer machen, damit nicht jede Meldung überhaupt bis zum Gateway kommt.
Dafür musst du natürlich wissen, welche Stati du von allen Shelly’s überhaupt einsammelst und im MS verarbeitest.

[Christian Fenzl]

Auch zu hinterfragen:
Das ist, was du von Loxone an eine Bulb zum Abschalten hinausschickst. Das multipliziert sich mit der Anzahl deiner Bulbs.

16:36:01.986 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9286A2/color/0/set {"mode":"white","red":0,"green":0,"blue":0,"whi te" :0,"gain":0,"temp":2700,"brightness":0",effect":0 }
16:36:04.498 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9286A2/color/0/set 0
16:36:05.296 <OK> UDP IN: Loxone1.home (192.168.200.11): shellies/shellycolorbulb-483FDA9286A2/color/0/command off

Ich hab keine Bulb, deswegen kann ich nur fragen, ob das notwendig ist, hier drei mal was zu senden für eine Abschaltaktion.
Jeder der Befehle löst einen Schwung Rückmeldungen vom jeweiligen Shelly aus, die wieder verarbeitet und an den MS weitergeleitet werden müssen.

[Christian Fenzl]

Und ich bin immer noch nicht fertig 😂

Für Shelly Bulb kannst du den UDP Transformer benutzen, vielleicht hilft auch das, deine Loxone Config aufzuräumen.