LoxBerry MQTT

[Gast]

Hallo @ all,

Ich habe folgendes Setup und folgendes Problem:

Setup:

• Loxone MS
• Loxberry 2.003 auf Synology Virtual Machine mit MQTT Gateway
• Sonoff S20 mit Tasmota

Problem:

Laut der Konsole vom Sonoff besteht eine Verbindung zu Mosquitto.
Leider erscheinen keine Inputs vom Sonoff im „Incoming Overview“.
Desweiteren scheint die Sonoff auch nicht im Log vom MQTT Gateway auf.
Das Log von Mosquitto selbst funktioniert leider nicht.

Zuvor hatte ich Loxberry 1.43 und die Problematik war dieselbe.
Die Firewall der Synology ist aus.
Eine Reinstallation bzw Restart von Mosquitto via SSH brachte keine Besserung.
Auf den angehängten Bildern sind Logs/Configs zu sehen.

Mfg

Walter

mit # findet er nun die inputs
somit lag es wirklich nur an der falschen Syntax bei den Subscriptions

[Christian Fenzl]

@All

Bezüglich "Expand JSON Data" (https://github.com/christianTF/LoxBe...eway/issues/32)

Gibt es hier jemanden, der "Expand JSON Data" nicht aktiviert hat, und die Daten am Miniserver direkt aus dem ungeparsten JSON ausliest?

Die Einstellung wird für Neuinstallationen ab der nächsten Version standardmäßig aktiv sein, aber ich überlege, diese Einstellung überhaupt zu entfernen und JSON immer zu extrahieren.

[hagor]

Würde meiner Meinung nach Sinn machen.

[svethi]

Ich

[Christian Fenzl]

Ich

Ok, dann mach ich's für Neuinstallationen zum Standard, aber lass beim Update die aktuelle Einstellung wie sie ist, und die Checkbox bleibt erstmal im UI.

[svethi]

Mach erstmal keinen Stress. Ich guck erstmal was ich damit mache. Ich glaub ich bekomme eh kein json

[nico louis]

hi christian

i'm a bit in the dark and hope you can help me.

i installed the mqtt add on, did use the prefered settings:
udp off
http on
json expand
my own broker settings, (anonymous)

I have a connection with my broker, But i didn't recieve any connections from the miniserver. i tried a couple of days changing settings but i couldn't find a solution so after a clean install and reenter all my settings, it still didn't work. Then i tought to use the local mosquitto broker from the addon and immediatly i received trafic on incomming overview from the miniserver.

Then i went back to setting a connection with own broker and it kept on having connection with both the miniserver and my broker. So i thought it fixed everything to activate the local broker once.

After 3 days the udp connection with the miniserver just stopped again. No errors or warnings.
in the log file, i see a repitition of this:
11:13:27.796 OK: UDP IN: localhost (127.0.0.1): save_relayed_states
11:13:27.797 OK: Save relayed states triggered by udp request
11:13:27.797 INFO: Relayed topics are saved on RAMDISK for UI
11:13:29.862 OK: UDP IN: localhost (127.0.0.1): save_relayed_state

the trick with activating the local broker isn't working this time, it won't get the watchdog anymore

So i don't know what to do now.
Should the miniserver connection and more specific the watchdog of the miniserver always work? I thought that side is only relying on the connection with the miniserver and not the broker

kind regards

[nico louis]

to expand the info

i also tried with the least settings
no Subscriptions, no conversion, local broker, only http, expand json
and still nothing in the incomming overview

[Christian Fenzl]

With local broker, you should see at least the mqttgateway_keepaliveepoch. It is sent to the broker every minute, and returned as an (internal, automatic) subscription.

The save_relayed_state you’ve seen in the log is the communication between the WebIf (Incoming Overview) with the daemon. If Incoming Overview is open, the WebIf triggers the service to save current data to show in the IncOv. It stops if you close the WebIf.

Do you see nothing else in the log?

BTW I don’t know what you mean with “UDP connection with the Miniserver”, and “any connections FROM the Miniserver”.

[svethi]

With the source I mean how the data „sensor/backdoor come into the Broker?
Christian already asked you what do you mean with data FROM the miniserver.

[nico louis]

at this point not, cause it won't even give me an alive bit.
but here is the connection when i did try it
first virtual output with adress: /dev/udp/10.10.1.20/11884
added a command: sensor/backdoor/<v1>
then connected the doorsensor to the input of the status block and output to the command

[svethi]

You can‘t see the keepalive because you don’t have registered the topic. Add for the first # at a single line

[Christian Fenzl]

Sorry, I can’t identify anything on your Settings page (picture resolution).
I think, local broker is off, and log says it is connected to your (external?) broker.

Check your broker log if something happens there. There, you should see the client connection and the subscriptions made by the gateway.

[nico louis]

Found the problem, i didn't enter a username in loxberry. I placed the broker on 'allow anonymous' and thought that was enough to make a connection without a user or password. I added a username and password in the broker and the same in loxberry and now i'm back. Thanks for the help and merry christmas

[Christian Fenzl]

MQTT Gateway V0.9.0.1 PRE-RELEASE

https://www.loxwiki.eu/display/LOXBERRY/MQTT+Gateway

Es war wieder mal Zeit für ein bisschen "Plugin-Pflege". Hier kommen ein paar neue Features.

Version 0.9.0.1 PRE-RELEASE

• Incoming Overview:
  • Button to purge Mosquitto's retain database (local Mosquitto installation only)
  • Button to retransmit all data to Miniserver without cache (for testing of Miniserver configuration)
  • Incoming data are shown also if no Miniserver is configured
• Restart button also restarts Mosquitto (local Mosquitto installation only). With external broker, still only the Gateway is restarted
• Mosquitto:
  • MQTT Websocket protocol. Websocket is available on port 9001. Use the same credentials. Websocket TLS currently not supported. (after update, Mosquitto may need to be restarted)
  • Changed Mosquitto database auto-save interval to 1 day (before: 30 min) to reduce sd writes. Shutdown/Restart still triggers saving of the db on sd card.
• New installations (not update) changed default configuration:
  • HTTP Transmission : enabled
  • UDP Transmission: disabled
  • Expand JSON data: enabled
• Gateway: Fixed wrong encoding in topic names (e.g. with umlauts)
• Plugin developers:
  • Plugin's UDP interface now also supports json as data format (compared to the simple udp interface, this also supports blanks in topic names) → MQTT Gateway - HTTP- und UDP-Interface
  • Your own plugin can inject subscriptions, conversions to the MQTT Gateway plugin during installation and runtime → MQTT Gateway for plugin developers. Your injections are applied from the Gateway on-the-fly without restart.

Das Plugin ist via Auto-Update verfügbar, bzw. Download-Link PRE-RELEASE im Wiki.

lg, Christian

[Christian Fenzl]

Geändert auf V0.9.0.1 - noch ein kleiner JavaScript-Issue gefixt.

[Gast]

Guten Morgen Christian,
Vielen Dank fürs Update,
Wollte es gerade bei mir installieren, bekomme jedoch eine Fehlermeldung das er das Zip File Nicht finden konnte. Nach einem Reboot ging es dann.

Danke


Gesendet von meinem COR-L29 mit Tapatalk

[Christian Fenzl]

Ich hab’s vor 45 Minuten installiert, der Download sollte funktionieren. Ist dein /tmp voll? Was sagt der Healthcheck?
BTW es kommt noch eine 0.9.0.1 nach, hab einen kleinen Fehler entdeckt, dass der Clear-Button am zweiten Pi nicht angezeigt wird.

EDIT: Ach, dein Setup geht eh schon

[Christian Fenzl]

MQTT Gateway V0.9.1 PRE-RELEASE

https://www.loxwiki.eu/display/LOXBERRY/MQTT+Gateway

Version 0.9.1 PRE-RELEASE

• Generic POST-GET-JSON Receiver - Generic Callback URL for non-MQTT devices: MQTT-Gateway - Generischer POST / GET / JSON Empfänger
• Fixed: JavaScript error

Inspiriert von diesem Thread (https://www.loxforum.com/forum/germa...-und-auswerten) und abgekupftert vom eigenen NUKI-Plugin, habe ich jetzt einen "Generischen POST-GET-JSON Empfänger" ins Plugin eingebaut.

Das heißt: Wenn ihr irgendein Gerät habt, dass zwar nicht MQTT spricht, aber Daten mittels HTTP Querystrings (GET), mittels Formular (POST) oder aber per JSON übermittelt, kann der generische Empfänger diese Daten zerlegen und ans MQTT Gateway weitergeben.
Die Beschreibung dazu findet ihr im Link oben.

lg, Christian

[JoeLox]

Vielen Dank. Es ist der perfekte Transit zum MS.
Muss nicht im Wiki das Schaubild nicht noch erweitert werden? ;-)
Die Löschtaste für die Datenbank ist sehr praktisch.

[Christian Fenzl]

MQTT Gateway V0.9.2 PRE-RELEASE

https://www.loxwiki.eu/display/LOXBERRY/MQTT+Gateway

Version 0.9.2 PRE-RELEASE

• Fixed an error with Mosquitto during update of the plugin. Mosquitto did not update properly during the installation process.

Das Update kommt so kurzfristig, weil das Verhalten ganz blöd ist:
Während der Installation wird ein Update von Mosquitto durchgeführt, das mit Fehlern abbricht (Fehler ala "Mosquitto post-configuration job failed").
Ich konnte mir das gestern bei Stonelink via Remote Support ansehen und mit dieser Version ist das gefixt.

EDIT: Solange der Mosquitto dann nicht sauber installiert ist, kommt der Fehler möglicherweise auch woanders: Bei anderen Plugin-Installationen oder bei LoxBerry Update. Wenn so ein Fehler mit mosquitto irgendwo kommt, macht das Update dieses Plugins.


Das ist eventuell aber für andere Plugin-Entwickler interessant:
Das MQTT Gateway erstellt in /etc/mosquitto/conf.d/ einen Symlink ins Plugin-Config-Verzeichnis mit der plugineigenen Mosquitto-Config.
Während des Update-Prozesses von LoxBerry wird ja das gesamte Plugin gelöscht, damit ist der Symlink tot.
Wenn nun während der Plugin-Installation durch apt-get ein Update von Mosquitto installiert wird, funktioniert das Mosquitto-Update nicht, weil Mosquitto mit dem toten Symlink in seiner Config nicht mehr startet.
Die Lösung ist - ich hoffe das war das einzige Problem - den Symlink im preroot.sh zu löschen, und z.B. im postroot wieder anzulegen.
Sowas könnte auch mit anderen Diensten und Paketen passieren, wenn man die eigene Config irgendwo in /etc/ verlinkt. Deswegen der Hinweis für Plugin-Entwickler.

[dasrockt]

Du hast es dir bei mir angeschaut ;-) und vielen vielen Dank nochmal dafür

[Christian Fenzl]

Bei dir hab ich mir was anderes angeschaut 😉
Bei dir war’s das MQTT-Uninstall-Thema

https://github.com/christianTF/LoxBerry-Plugin-MQTT-Gateway/issues/41

Eigentlich die gleiche Ursache, aber bei Stonelink war’s beim Update des Plugins (wichtig!), und bei dir die Deinstallation (unwichtig 😝). 😉

[Stonelink]

🤭

[Christian Fenzl]

Dann machen wir einen Schuh draus.

MQTT Gateway V1.0 RELEASE

https://www.loxwiki.eu/display/LOXBERRY/MQTT+Gateway

Änderungen von 0.8.3-RELEASE zu 1.0-RELEASE

• Incoming Overview: Button to purge Mosquitto's retain database (local Mosquitto installation only)
• Incoming Overview: Button to retransmit all data to Miniserver without cache (for testing of Miniserver configuration)
• Incoming Overview: Incoming data are shown also if no Miniserver is configured
• Restart button also restarts Mosquitto (local Mosquitto installation only). With external broker, still only the Gateway is restarted
• Mosquitto:
  • MQTT Websocket protocol. Websocket is available on port 9001. Use the same credentials. Websocket TLS currently not supported. (after update, Mosquitto may need to be restarted)
  • Changed Mosquitto database auto-save interval to 1 day (before: 30 min) to reduce sd writes. Shutdown/Restart still triggers saving of the db on sd card.
  • Fixed an error with Mosquitto during update and uninstall of the plugin. Mosquitto did not update properly during the installation process.
  • Uninstall will now also uninstall Mosquitto
• New installations (not update) changed default configuration:
  • HTTP Transmission : enabled
  • UDP Transmission: disabled
  • Expand JSON data: enabled
• Gateway: Fixed wrong encoding in topic names (e.g. with umlauts)
• Plugin developers:
  • Plugin's UDP interface now also supports json as data format (compared to the simple udp interface, this also supports blanks in topic names) → MQTT Gateway - HTTP- und UDP-Interface
  • Your own plugin can inject subscriptions, conversions to the MQTT Gateway plugin during installation and runtime → MQTT Gateway for plugin developers. Your injections are applied from the Gateway on-the-fly without restart.
• Generic POST-GET-JSON Receiver - Generic Callback URL for non-MQTT devices: MQTT-Gateway - Generischer POST / GET / JSON Empfänger
• Fixed: JavaScript errors

Wichtig! Mosquitto wird jetzt bei einem Uninstall deinstalliert! Sicherheitshalber sende ich in diesem Fall eine Benachrichtigung (Notification) in die Plugin-Verwaltung mit den zuletzt verwendeten Mosquitto-Credentials (User/Pass). Damit ist es nach einer Neuinstallation möglich, diese wieder zu setzen.

Dies ist ein RELEASE. Er wird automatisch installiert, wenn beim Plugin AutoUpdate in der Plugin-Verwaltung auf Release oder Pre-Release eingestellt ist.

lg, Christian

[michael287]

Was sind denn die Vorteile oder Nutzungsdzenarien Von MQTT über Websockets statt des „normalen“ MQTT?

[Christian Fenzl]

Du könntest jetzt damit einen MQTT-Client im Webbrowser betreiben (JavaScript), der dir die Daten anzeigt, oder auch direkt publishen.
Es ist keine Komponente am Webserver erforderlich, und Daten werden zum Browser gepusht.

[michael287]

Danke!

[Davejje]

ist es möglich einen analogen wert von loxone an das MQTT zu senden?

Ich habe in MQTT ein Thema mit dem Namen "test" erstellt
In loxone config habe ich einen VQ mit der Adresse "/dev/udp/192.168.1.246/11884" erstellt und hier einen VQ mit dem Namen "test" und mit dem Befehl "test / v", aber es wird einen geben Thema innerhalb von MQTT eingehenden Übertragungen, aber der Wert selbst kommt nicht durch.