Stats4Lox - Das Statistik-Plugin

[Christian Fenzl]

Stats4Lox V0.9.6-BETA
https://github.com/mschlenstedt/LoxB...tags/0.9.6.zip

MQTT Collector:

• Changed: Single value topics have changed, optimized measurement/field structure
• Changed: / on the beginning of the topic is trimmed as Grafana has troubles with leading / in measurement
• Fixed: 0-values are not transmitted

MQTT Live/Collector:

• Added: CPU is monitored and on high load, mqttlive.php is slowed down
• Added: Logfile size is monitored and is self-shrinking about 20MB
• Added: PHP fwrite function has a bug leading to a permanent loop of phpMQTT library, that has a workaround now
• Added: mqttlive is monitoring the phpMQTT fwrite stream and will drop mqtt connection and sleep in case that fwrite cannot write to the mqtt socket.

Grafana integration:

• Fixed: "Unauthorized" on different actions in Grafana

Loxone integration:

• Added: VirtualOutCmd is now selectable in UI element selection

Potentielle Totalausfälle von LoxBerry (volles tmpfs) dürften mit einem Fehler in PHP (bis PHP 7.3, gefixt in PHP 7.4) der Funktion fwrite zusammenhängen, die einen Fehlerstatus falsch zurückgibt. Die von uns genutzte Bluerhinos/phpMQTT.php Library prüft auf diesen falsch gelieferten Fehlerstatus, und bei einem Verbindungsabbruch zum MQTT Server bleibt deswegen die Library in einer Dauer-Loop und voller CPU-Last hängen. Dabei schreibt sie auch das Log voll, was dann unweigerlich zu einer vollen RAM-Disk führt. Die Probleme schaukeln sich dann auf, Mosquitto und sonstiges am LoxBerry funktioniert nicht mehr.
Ich habe für Stats4Lox jetzt die Bluerhinos/phpMQTT.php Lib selbst übernommen und versucht, darin direkt den PHP-Bug zu workarounden, ich kann aber mangels Reproduktionsszenario nicht eindeutig feststellen, ob damit das Problem endgültig behoben ist.

Es kann auch andere Gründe geben, warum tmpfs voll werden kann. Das ist potenziell einer davon im Zusammenhang mit S4L.

Wenn ihr gerade genau solche Probleme habt (insbesondere tmpfs voll):
- Beendet - soweit noch möglich - im S4L Userinterface den MQTT Live Dienst.
- Dann ERST LoxBerry rebooten (damit die Ramdisk frei wird)
- Dann dieses Update einspielen
- Dann nochmal rebooten
- Dann MQTT Live im UI wieder starten.

Hoffe, es hilft.

lg, Christian

[Thomas M.]

Achja, das ist vor einer Woche gewesen, soweit hab ich nicht zurückgeforscht
Danke vielmals.


CRITICAL: Seems that InfluxDB could not be started. Giving up.

29.12.2021 12:49:51 CRITICAL: Script fails. Installation cannot be continued.

[Thomas M.]

update:
so wie beim problem mit mqtt hab ich mal komplett deinstalliert (deinstall - reboot - install) und von vorn begonnen ...

jetzt läuft auch das wieder

updateupdate:
bäh, nun lässt sich der mqtt live/collector nicht mehr starten

[Christian Fenzl]

Sorry, bitte nochmal https://github.com/mschlenstedt/LoxB...tags/0.9.6.zip installieren. Hab einen Pfad übersehen.

[Thomas M.]

sehr gut, läuft jetzt

[Andi K]

Hallo Liebe Community, Ich bin neu im Forum.
Ich bin Geschäftsführer eines Loxone Partner in St.Johann in Tirol, und hoffe in Zukunft einige Erfahrungen mit Euch teilen zu können.
Ich möchte mich auch bei jedem bedanken für die Realisierung des Loxbrerry!!
Und auch aktuell für das Plugin Statistik4Loxone. Danke!!
Für ein Internes Projekt von uns nutzen wir dieses Plugin. Wir stehen da gerade am Anfang, deshalb möchte ich im Moment nicht genauer auch das Endziel eingehen.
Für dieses Projekt ist es wichtig die daten mehrerer Miniserver über das Internet abzufragen. Lokal funktioniert alles einwandfrei. (Bei uns in der Firma läuft die Loxberry mit dem Plugin, hier ist auch im Netzwerk ein Miniserver. Bei mir Zuhause sitz auch ein Test Miniserver. Ich habe diesen Miniserver in das Plugin mittels Loxone Dns Cloud verbunden. Portweiterleitung (Port) 21 wurde bei mir zuhause gemacht. Die Verbindung zum MS ist immer aktiv.
Wenn ich die Loxberry Neustarte ist alles OK und ich kann die Daten sofort sehen. aber nach einer kurzen Zeit (zumindest wenn ich den Browser Zumache und danach wieder öffne) kommt bei einer Abfrage der Daten immer diese Meldung: Error getting Live Data. Information "Could not query Live data. Possibly S4L has no permissions to this block, or the block isself no data to retorn.
Error. 500.

Wenn ich in den Logs nachschaue finde ich folgendes:

29.12.2021 13:50:50 TASK STARTED

Request getloxplan

INFO: LoxBerry Version 2.2.1.2 ( is_raspberry.cfg )

INFO: Stats4Lox Version 0.9.5

INFO: Loglevel: 7

INFO: Checking MS2

OK: MS 2: Locally stored serial: *Seriennummer des Miniservers
Loxone::GetLoxplan::checkLoxplanUpdate--> Locally stored timestamp of last LoxPlan update : 2021-12-28 22:44:06

INFO: Loxone::GetLoxplan::checkLoxplanUpdate--> Last check for new LoxPlan update : 1640739231

INFO: Loxone::GetLoxplan::checkLoxplanUpdate--> Checking LoxAPPversion3 on Miniserver 2

CRITICAL: Loxone::GetLoxplan::checkLoxplanUpdate--> Could not fetch remote version info

INFO: Loxplan file not up-to-date. Fetching from Miniserver


CRITICAL: Loxone::GetLoxplan::getFilelist--> Could not get file list from MS2

CRITICAL: Loxone::GetLoxplan::getLoxplan--> getFilelist: No files found.

OK: Parameters ok - responding with HTTP 200

Wenn ich einen Neustart des Loxberry durchführe funktioniert wieder alles, aber eben nicht lange.
Könnte mir da jemand einen tipp geben wo das Problem liegt oder welche Einstellungen ich da falsch gemacht habe?

Vielen, Vielen Dank für eure Hilfe und nocheinmal danke für dieses Plugin - das ist echt toll Gratuliere.
Beste Grüsse

[Christian Fenzl]

Servus Andi K

Aussehen tut es so, als könnte der LoxBerry deinen Remote-Miniserver nicht (mehr) erreichen.

Was ich hier ausführe, ist Call der URL /jdev/sps/LoxAPPversion3
Die genauen Verbindungsdaten werden vom LoxBerry bereitgestellt (also ob http oder https, welche IP von CloudDNS).

Kannst du mal dieses File auf deinen LoxBerry speichern:

https://raw.githubusercontent.com/mschlenstedt/Loxberry/lb30/libs/perllib/LoxBerry/testing/testio_loxappversion3.pl

(Rechtsklick, Speichern unter, und Ziel dein LoxBerry unter \\loxberry-dev\loxberry\webfrontend\legacy)

Dann mit Putty anmelden und ausführen:
perl /opt/loxberry/webfrontend/legacy/testio_loxappversion3.pl

Das Script listet jeden Miniserver mit seinen Einstellungen auf, und probiert einmal den Request, wie ihn auch Stats4lox ausführt.

Da wäre dann mal sichtbar, ob die IP-Adresse von CloudDNS vielleicht nicht stimmt, oder irgendeinander Fehler auftritt.

lg, Christian

[Thomas M.]

Nun bekomme ich in grafana keine graphen

“message:"InfluxDB Error: error authorizing query: create admin “
also einfach das plugin drüber-installieren bringt nichts

@FabiaDarkblue jetzt hab ich das gleiche Thema. HAst du das gelöst oder was hast gemacht?

[faebi-71]

Thomas M.
Bei mir dasselbe, irgindwie stimmt die Influx login Konfig nicht

[FabiaDarkblue]

Thomas M. Ich habe bis jetzt keine Lösung. Bin immer noch an dem Punkt, dass eigentlich durch diese Fehlermeldung das Plugin nicht mehr funktioniert

[Thomas M.]

schade.
Aber gut, Christian wird sich schon melden

[Christian Fenzl]

Sorry, ich hab mit dem Influx-Setup nichts zu tun, aber Michael ist morgen wieder im Lande 😊

[Thomas M.]

Jetzt kam noch eine mail ...
Da gehts wieder ums mqtt gateway, ich blick grad nicht mehr durch was nun das Problem ist.
Seit dem update, dreht der halbe loxberry durch.

im plugin schaut alles grün aus, der selbsttest sagt rot.
reboot - alles wieder gut.



Myloxberry benachrichtigt über den folgenden System-FEHLER:

Healthcheck reports 1 errors. Please run Healthcheck for details.
Current errors:
MQTT Gateway running (PID 1208). Current status: Broker state: Connected and subscribed to broker. Config state: Configfile present. UDPIN state: Could not create UDP IN socket: . Your keepaliveepoch is current.

[Prof.Mobilux]

Bzgl. des Auth-Problems: Da brauche ich Logfiles, Logfiles, Logfiles, Logfiles..

Was habt ihr genau gemacht - Pluginupgrade durchgeführt? Auf dem Loxberry was genau installiert/deinstalliert/was auch immer getan?

So kann man Euch nicht helfen - ihr schreibt hier irgendwas "Wirres" hinein: Irgendeine Email ist gekommen, irgendwas stand da drin, vor 2 Wochen habt ihr irgendwas gemacht, dann selbst irgendwas installiert, jetzt geht irgendwas nicht mehr. Sorry, aber so bringt das nichts...

[Thomas M.]

So Aufklärung ...

ich habe irgendwann festgestellt, dass Alexa nichts mehr sagt, dass in grafana keine statistik läuft, ...
loxberry UI meinte ramdisk voll. mqtt mosquitto läuft nicht. influx ist tot.

daraufhin habe ich mqtt drüberinstalliert, hat nichts gebracht, mqtt deinstallliert und neu installiert, dann lief das wieder.

ich habe dann auch stats4lox deinstaliert und komplett neu installiert. und nun eben der Fehler mit dem auth.
in zwischenzeit kam wieder vom mqtt gateway ein Fehler der sich mit einem reboot aufgelöst hat.

so, welches log von ist nun hilfreich?

[FabiaDarkblue]

Meine Aufklärung ist eigentlich wie in meinem ersten Beitrag recht schnell erklärt: Nach dem Loxberry Neustart habe ich diese influxDB Fehlermeldung

[Prof.Mobilux]

Thomas M. Logfile der Installation Stats4lox als ZIP hier anhängen.

FabiaDarkblue Könnte sein, dass Deine Datenbank kaputt ist. Wenn ich es richtig gelesen habe nutzt Du NTFS. Das ging bei mir auch nicht.

Beide: Auf der Konsole mal folgenden Befehl ausführen:

/opt/loxberry/bin/plugins/stats4lox-ng/s4linflux -execute 'SHOW DATABASES'

[FabiaDarkblue]

bei mir ist der Pfad ohne -ng, also /stats4lox/ und ergibt folgendes:

ERR: error authorizing query: create admin user first or disable authentication
Warning: It is possible this error is due to not setting a database.
Please set a database with the command "use <database>".
error authorizing query: create admin user first or disable authentication

[Thomas M.]

Prof.Mobilux


hier bitteschön.

Mir sagt das zwar nichts, aber INFO gibt einen gewissen hinweis.

INFO: Existing users (gives an error if we have wrong credentials):
ERR: error authorizing query: create admin user first or disable authentication
Warning: It is possible this error is due to not setting a database.
Please set a database with the command "use ".
error authorizing query: create admin user first or disable authentication

INFO: Existing databases (gives an error if we have wrong credentials):
ERR: error authorizing query: create admin user first or disable authentication

[Thomas M.]

achja auch von mir ...

ERR: error authorizing query: create admin user first or disable authentication
Warning: It is possible this error is due to not setting a database.
Please set a database with the command "use <database>".
error authorizing query: create admin user first or disable authentication

[Prof.Mobilux]

Wo liegt Deine Database? Extern irgendwo? NTFS?

[Prof.Mobilux]

Du kannst das Plugin deinstallieren, die Datenbank vom Stick löschen und danach wieder installieren.

[Thomas M.]

PS: Habs so gemacht, plugin deinstallt - stick formatiert - plugin wieder neu installiert und "Ziel" den stick gewählt. Jetzt geht wieder alles.

[Prof.Mobilux]

Ok, prima. Ich werde das Zurücksetzen des Passworts jetzt als Nächstes angehen. Ich habe aber immer noch den Verdacht, dass die Probleme eher mit den Windows Dateisystemen auf den Stick zu tun haben (defekte Datenbank). Da wird es in Loxberry 3.0 Abhilfe geben. Da kann man Datenträger mit Linuxdateisystem formatieren.

[Thomas M.]

Usb stick fat32