Stats4Lox - Das Statistik-Plugin

[Christian Fenzl]

Einen guten Abend vom Campingplatz am Faaker See im wunderschönen Kärnten! 😎

Die Revolution ist da!

Michael, Sven, Wörsty und ich freuen uns, das neue
STATS4LOX Plugin
der Weltöffentlichkeit vorstellen zu dürfen!

2017 gestartet, dann irgendwann alles weggeschmissen, alles neu gedacht, und im Februar 2021 (Commit #1) neu begonnen.

Bereits Mitte März haben wir die Closed Beta Phase gestartet, bei der wir 10 "Freaks" ins Boot geholt haben. In dieser Phase haben wir viel gelernt, viel gefixt, Bugs von Loxone umschifft, und auch unsere Doku verfeinert.
Vielen Dank an unsere Betatester Andi Rani22, Arturo/madito, HME0354, Peter B., Robert Simon, StomRec, Thomas M., Thorsten M, und natürlich auch Sven und Wörsty, die im Code und bei den Tests Feedback geliefert haben, auf das wir selbst nicht drauf gekommen wären.

Es gab dann eine kleine Sommerpause (Michael wollte unbedingt im neuen Pool schwimmen 😜), und schlussendlich in der LoxBerry "Release-Woche" machte Influx mit Änderungen an ihrem Repo noch einen Strich durch den ursprünglichen Release-Termin.

Nun ist es aber soweit!

Hier geht's zum Wiki:
https://www.loxwiki.eu/display/LOXBE...stics+4+Loxone

Michael hat auch ein kurzes Video für die Erstkonfiguration erstellt:

Wenn's bei euch losgeht, bitte denkt an folgendes :

Das Plugin ist trotzdem noch BETA! Es wird sicher noch der eine oder andere Fehler auftauchen! Seid geduldig, und meldet uns Fehler hier. Wir schauen uns alles an, das geht aber nicht immer auf die Minute.

Bitte geht wirklich nach unserer Wiki-Schritt-für-Schritt Anleitung vor. Liest alles, bevor ihr Fragen stellt.
https://www.loxwiki.eu/pages/viewpag...ageId=89556213
Wir wissen, daß es viele Fragen geben wird. Helft euch gegenseitig hier im Forum, und wir kümmern uns um die schwerwiegenden Probleme. Liebe Betatester, ihr kennt das Plugin schon, bitte helft auch ihr weiter, soweit ihr könnt.

SO, nun lasst die GRAPHEN sprechen!
Wie wir so schön sagen: "Be prepared for the Big Picture"

Viel Erfolg und Spaß mit Statistics 4 Loxone!
Michael, Christian, Sven, Wörsty

[madito]

Great job everyone, this is a real revolution!!!

[Lenardo]

yep, das nenn ich mal einen gamechanger 👍

[Houseruckiii]

Oh Hell Yes! :-)
Danke an alle Beteiligten für diesen Game-Changer!

[Thomas M.]

Ja wirklich vorher lesen.
Ich bin weiß nicht wie oft drüber geflogen.

Angefangen beim Punkt Raspi nicht mit irgend einem Ladegerät aus der Schatzkiste, sondern mit einem Netzgerät betreiben.
Bei den ersten Versuchen mit dem plugin ist mein Loxberry abgekackt, nur weil der mit dem plugin etwas in Stress gekommen ist und dann wegen "Unterversorgung" abgestürzt ist.

[orli]

Die nächtlichen Sessions in Whatsapp waren dafür aber lustig. Mit dem anstoßen und so

[Thomas M.]

hahaha

[verdammt]

Sieht super aus was man da so sieht und im Video, könnt ihr mal nach dem download Link schauen.

[Prof.Mobilux]

Geht der nicht?

[verdammt]

jetzt geht er wieder, super. Dann schauen wir mal.

[hismastersvoice]

Super Plugin!!! Das ist auf was ich (bzw. ganz ganz viele) gewartet haben.

kleiner Report was mir heute morgen auf die schnelle aufgefallen ist

• wenn bei den MiniServern HTTPS bevorzugt gewählt ist importiert er keine Daten von den MiniServern
  schaltet man HTTPS ab geht es.
• In Grafana kommt immer wieder mal Bad Gateway als Meldung und die Graphen verwinden für ein paar Sekunden, kommen dann aber wieder zurück.

Hinter dem ! verbirgt sich die Meldung Bad Gateway

[Prof.Mobilux]

Ok, ich bin auch auf einem Pi4, Stick an USB3. Mein Stick ist mit ntfs formatiert gewesen. Das hat den gesamten Storage zum einfrieren gebracht. Ich dachte zunächst der Stick wäre defekt. Aber unter Windows kann ich ihn ganz normal nuzten und auch die Datenbank ist drauf (und wurde gefüllt).

Könnte auch ein Thema mit dem ntfs Treiber unter Linux sein.

[svethi]

Der Raspi 3 ist doch glaube ich noch einer, der eh nur USB2 hat und USB und Netzwerk die Datenraten Teilen. Da kommt nicht viel durch

[FabiaDarkblue]

Ich habe den Fehler auch im 2-Sekunden-Takt. Habe folgendes mit immer dem gleichen Ergebnis probiert: Rasp 3 / 4 / NAS VM - SSD USB3 / USB-Stick USB3 / NAS-Freigabe-Laufwerk.

[hagor]

Sehr cooles Plugin!
Danke für die Zeit und Energie die ihr da schon reingesteckt habt!

Die Bad Gateway Meldung bekomm ich in Grafana auch. Die DB liegt bei mir auf einem USB Stick.
Eventuell hängt es auch mit der Raspi Auslastung zusammen? Vielleicht werde ich meinen Pi3+ doch ein Upgrade verpassen müssen ;-)

[hismastersvoice]

Ich habe es auf einem 3B+ und 4 versucht.
Beide haben nur das Plugin drauf und eigentlich nix zu tun laut htop.

Liegt also eher an USB Verbindung vermute ich.
Werde es mal mit SSD versuchen.

[orli]

Ich kenne diese Meldung garnicht ... mein Loxberry ist eine VM mit SSDs drunter.

[hismastersvoice]

Das mit der VM für die Statistik habe ich mir auch schon überlegt...

Macht auch Sinn bzgl. einfachem Backup etc.

[Gargamel]

Coole Sache, vielen Dank für eure Arbeit

Hab gleich mal nen neuen Raspberry 4 mit 8GB bestellt und hab gleich mal ne Frage..

Ist es Sinnvoll nur das eine Stats4Lox auf dem Raspberry laufen zu lassen oder können auch weitere Plugins wie zB. das Zigbee Plugin auf dem selben Raspberry betrieben werden ohne das die Auslastung zu hoch wird?

[Thomas M.]

Ich habe 12 plugins parallel zum stats4lox laufen, welche alle irgendwas im hintergrund machen.
Eine gewisse Grundlast ist schon da.

cpu last
durchschnitt "load 1min"=0,67, load 5min = 0,5 und load 15=0,53 (momentaufnahme grad jetzt)


Und nachdem der der pi 4 CPUs hat und jeder eine belastung von 0-1 haben kann, beginnt die skala bei 0 und geht bis 4. und ich bin bei ca. 0,5.
Also es benötigt keinen neuen PI nur wegen dem plugin.

=> Fazit: Der loxberry langweilt sich noch und wir brauchen noch mehr gute plugins

[Gargamel]

Vielen Dank für deine ausführliche Antwort, hast mir schon weitergeholfen.

Ich habe momentan zwei 3er Raspberrys. Einer ist, bzw. muss im Schaltschrank sitzen weil ich da meine Stromzähler habe und darüber unter anderem das SmartMeter Plugin läuft und der andere ist frei im Raum mit dem Zigbee Plugin wegen der Reichweite des Zigbee Sticks.

Dann fliegt ein 3er raus und wird durch nen 4er MIT LÜFTER ersetzt.

Perfekt, dann kann ich ja auch einfach die SD tauschen und Los geht’s:-))

[challo]

Dann versuche ich es wohl doch erstmal mit meinem 3er. Sitzt im Schaltschrank, hat 2 USB Leser für die Stromzähler, 2 USB RS485 Wandler für Modbus Zähler und eine 9 Kanal 1-Wire Aufsatzplatine...

[Prof.Mobilux]

hismastersvoice hagor Ich hatte den USB Stick mit NTFS formatiert - das bringt den gesamten USB-Stack mehr oder weniger zum Einfrieren. Ich habe den Stick jetzt mit exFAT formatiert und das scheint bis jetzt problemlos zu laufen.

[hismastersvoice]

Ist bei mir schon von Anfang an exFAT

[hagor]

Hab auch direkt mit exFAT formatiert

[Prof.Mobilux]

Ok. Da wäre vermutlich auch gar nichts mehr gegangen - so wie bei mir.

[challo]

Hat jemand, unabhängig von dem aktuell diskutierten "Bad Gateway" Thema, Erfahrungen ob es Sinn macht den Raspi weiter auf SD laufen zu lassen und ein USB Stick zum Speichern der Daten zu verwenden oder ob man einfach das komplette System von SD auf SSD portiert und dann die daten "intern" speichert. Der Zugriff wäre dann aber ja trotzdem über USB.
Da ich einige Plugins verwende überlege ich gerade von 3b auf Raspi 4 zu wechseln und dann eventuell anstelle der SD eine SSD zu verwenden.

[Prof.Mobilux]

Wenn USB, dann auf jeden Fall den 4er nehmen. Ab dem 4er teilt sich USB nicht mehr die Bandbreite mit den Netzwerk. Das eigentliche System kannst Du aus meiner Sicht auf der SD-Karte belassen.

[challo]

Aber für das Sts4Lox Plugin soll ja auf jeden Fall nicht die interne SD verwendet werden. Also benötige ich entweder ein USB Stick oder eine SSD für die Datenbank, die aber beide auf dem USB-Port hängen!?

[maxw]

Also ich habe Influx, Grafan und Node Red schon lange auf einem Raspi 4 laufen, alles auf einer SSD, gar nix mehr auf SD Karte.
Geht super, ist performant und läuft einfach, auch mit vielen Statistik Daten.

[Thomas M.]

Gargamel

[Gargamel]

Das schaut ja gut aus..
Wo kann man die Grafik sehen?

[challo]

Grafik sollte hier zu sehen sein:

https://www.loxwiki.eu/display/LOXBERRY/RPi-Monitor

[Gargamel]

Cool, das kannte ich noch gar nicht.

[Iksi]

Das sieht schonmal echt genial aus. Danke für die ganze Mühe...

Ich habe bei mir schon eine influxdb und auch Grafana auf meinem Qnap Nas als Docker Container laufen.
Ist es möglich diese zu nutzen? Damit würde ich doch den Loxberry ein wenig entlasten oder nicht?

[Iksi]

Okay, habe es gerade gelesen, Nas ist zu langsam 🙄

[Prof.Mobilux]

Das wissen wir ehrlich gesagt noch nicht :-) Kann gut sein, dass ein Gigabit-Netzwerk ausreicht und Du ein anständiges NAS hast. Die Erfahrungen müssen wir alle erst noch machen.

Was auf jeden Fall aktuell nicht geht, ist die vorhandene Installation weiterzuverwenden. KOmmt vielleicht irgendwann einmal, das sman eine externe InfluxDB nutzen kann. Wäre aber etwas für später.

[Prof.Mobilux]

Kurzer Zwischenstand zu aktuellen größeren Problemen:

Wenn ihr in der Miniserver Konfiguration "Bevorzuge HTTPS" aktiviert habt, werden keine Daten vom Miniserver abgeholt.

Issue: https://github.com/mschlenstedt/LoxB...x-NG/issues/98
Workaround: Deaktiviert testweise die Option, falls notwendig.

USB-Laufwerke, die mit NTFS formatiert sind, funktionieren anscheinend mit den vielen Schreibzugriffen der InfluxDB nicht.

Issue: https://github.com/mschlenstedt/LoxB...-NG/issues/100
Workaround: Formatiert das USB-Laufwerk als exFAT.

[Prof.Mobilux]

hismastersvoice Ich habe gerade versucht das Problem mit HTTPS nachzustellen. Bei mir werden alle Werte problemlos über HTTPS abgeholt. Kannst Du einmal Deine Miniserver-Konfiguration aus dem LoxBerry (Screenshot) posten? Der eingerichtete Nutzer ist auch ein Admin (Button "Authentifizierung testen" in der Miniserverconfig)?

[Prof.Mobilux]

hismastersvoice OK, dann müssen wir mal das debugging einschalten. Ich habe die Default-Loxone-Certs drauf (zumindest habe ich da noch nie was dran gemacht). Meld Dich wenn Du Zeit hast, dann erkläre ich kurz, welche Ausgaben ich brauche.

[orli]

Wir hatten doch im Test auch mal was mit SSL. War was mit den LWP Modul soweit ich mich erinnere.

[svethi]

LWP Modul? Hört sich nach Perl an, da bin ich raus ;-)

[Thomas M.]

Ich habe einfach mal viele Raumtemperaturen usw. mit dem plugin "statistifiziert".
Bei mir haben mit langzeitwirkung bis auf 2 statistiken keine mehr funktioniert."No data" in grafana.

Passiert das sonst noch bei wem?

Ich installiere einfach mal das plugin neu drüber und guck dann.
Wenn sich nichts ändert, dann de- und neuinstallieren

PS: Hatte das plugin von anfang an so laufen, dass die Daten am NAS geschrieben werden. Falls es damit zu tun hat, werde ich nun auf USB Stick umstellen.
PPS: drüber installieren führte dazu, dass grafana nicht mehr startete. habs deinstalliert und neu installiert. Nun laufen alle statistiken und werden auf USB geschrieben. Werde weiterhin beobachten und rückmelden, ob statistiken aufhören zu laufen.

[Prof.Mobilux]

Gleich deinstallieren und neu installieren. Und dann lass die Datenbank mal eine zeitlang für die Tests auf der SD Karte. Und den Meadurementnamen nicht ändern.

Ist das ein Pi3 oder ein Pi4?

[Thomas M.]

measurement-namen habe ich nicht geändert
ist ein pi4
und hatte schon auf usb umgestellt, soll ich auf SD zurückstellen? (hab bissi angst um die SD )

[Thomas M.]

Erfolgsgeschichte wegen bzw. mit dem plugin ...

Erst weil ich alles was irgendwie analog bei mir reinkommt mit dem plugin in eine Statistik gestopft habe, habe ich bemerkt, dass bei einem Wert immer wieder Hacker und Ausreißer drin sind. Diese betreffen in meinem Fall den Stand im Regenwassertank. Das hatte immer wieder komische Effekte bei der Ansteuerung des Magnetventils für die Trinkwassernachspeisung. Hab mir nie was dabei gedacht, weil so schlimm wars nicht.

Ohne dem plugin hätte ich das nicht gesehen. Jetzt konnte ich den analogen Wert zähmen und habe die -2% Außreißer vom Stand wegbekommen.