Stats4Lox - Das Statistik-Plugin

**Christian Fenzl** · 21.10.2021, 11:42

Ich habe ein kleines Tutorial angelegt, wie man mit dem Commandline-Tool influx (bzw. unserer S4L-Variante davon: s4linflux) Daten von Influx abfragen kann.

LoxWiki

https://www.loxwiki.eu/pages/viewpage.action?pageId=107053176

Im Artikel habe ich auch beschrieben, wie man damit zeitlich gewichtete Mittelwerte erzeugen kann, obwohl Influx diese Funktion leider nicht direkt anbietet.
Ein Beispiel für so einen zeitlich gewichteten Mittelwert wäre, die Daten einer Loxone-Statistik "Bei jeder Änderung" in einen Mittelwert pro 60 Minuten zu überführen (mit der dafür notwendigen, korrekten Interpolation).
Und wie man CSVs daraus erzeugt, das man dann auch woanders weiterverarbeiten kann.

Viel Erfolg beim Ausprobieren!

Wer übrigens "on-the-fly" am Miniserver einen zeitlich gewichteten Mittelwert will, oder ein gleitendes Maximum/Minimum/Durchschnitt, dafür gibt es schon seit längerem einen Transformer im MQTT Gateway: https://www.loxwiki.eu/pages/viewpag...ageId=89555278

lg, Christian

**Futureweb** · 23.10.2021, 21:42

Hallo zusammen,
zuerst mal VIELEN DANK für dieses mehr als geniale Plugin!!!

Habe es mir am Freitag mal installiert/konfiguriert und entsprechende Datenpunkte von unserer Loxone eingepflegt.
Hat auch schon ziemlich gut funktioniert das Ganze! (Version 0.9.3-Beta laufend auf Hyper-V mit 16 CPU Kernen & 4GB RAM)

Nur seit ein paar Stunden werden die Meisten der konfigurierten Datenpunkte nicht mehr erfasst/gespeichert ... nur noch ne Hand voll?!
Vom Gefühl her könnte es von der Zeit her zusammenpassen mir ein paar Änderungen an der Loxone / Einspielen neuer Config (Loxone restart...) ... aber nicht ganz sicher ob's genau die gleiche Zeit war ...

Wenn ich mir den Datenpunkt im Config-Menü ansehe wird der Wert jedoch korrekt ausgelesen:

Sprich irgendwie scheint wohl der automatische Abruf der Daten nicht mehr zu wollen?!?

Irgendwelche Ideen dazu?

Danke, lg aus Tirol
Andreas S.

ps) Hier auch schön an den InfluxDB WRITES zu sehen ... vorher so um die 2k/h und jetzt auf 1x nur mehr um die 250 ... ?!? (Mit einem komischen Minus-Wert dazwischen?)

**Freeflyer82** · 24.10.2021, 10:40

Hallo zusammen

Ich habe mir fürs stats4lox einen neuen Rasperry 4 mit der Schritt für Schritt Anleitung eingerichtet. Soweit hat alles gut funktioniert. Die Systeme laufen alle grün. Mein Problem ist aber, dass er auch nach 45Min beim "Fetching Loxone Config from Miniserver" nichts auflistet. Ein Neustart hat ebenfalls nichts verändert. Den Miniserver habe ich auf dem Loxberry hinterlegt mit admin Zugang und auch verifiziert. Ich hatte ihn auch mal stromlos gemacht aber auch das hat nichts verändert. Im Anhang das Logfile. Was übersehe ich oder dauert es einfach noch länger bis da was angezeigt wird?

edit: habe noch den apache log angehängt

Angehängte Dateien

**Futureweb** · 24.10.2021, 11:44

Zitat von Futureweb

Nur seit ein paar Stunden werden die Meisten der konfigurierten Datenpunkte nicht mehr erfasst/gespeichert ... nur noch ne Hand voll?!

*grübel* ... interessanterweise scheinen jetzt wieder alle Graphen korrekt mit Daten befüllt zu werden ... ich konnte jetzt auch keine "Lücken" (zu den Zeiten wo oben keine Daten waren) finden ... kann es sein dass Grafana iw. "gelagged" hat?!?

**Prof.Mobilux** · 24.10.2021, 12:36

Wenn du soviel Graphen offen hast und noch einen größeren Zeitraum, dann kann es durchaus sein, dass Geafana zu viele Daten von der Influx abruft und die DB nicht nachkommt. Grafana läuft dann in einen timeout und zeigt nix an. Es ist halt ein raspberry und kein Opteron mit 48GB RAM...

**Futureweb** · 24.10.2021, 12:45

Zitat von Prof.Mobilux

Wenn du soviel Graphen offen hast und noch einen größeren Zeitraum, dann kann es durchaus sein, dass Geafana zu viele Daten von der Influx abruft und die DB nicht nachkommt. Grafana läuft dann in einen timeout und zeigt nix an. Es ist halt ein raspberry und kein Opteron mit 48GB RAM...

Um genau zu sein ist es bei uns ein HPE DL380 GEN10 mit Dual XEON CPUs mit insg. 32 Kernen und 256GB RAM ...

Hab das ganze in ner Hyper-V Instanz am Laufen ... die durchschnittliche Load Avg. liegt bei 0.05-0.15 und Speicher ist frei en masse.

Buffer Size meist auf 0, selten mal auf 1, Buffer Fullness permanent auf 0%

Sprich der Hardware geschuldete timesouts/slowdowns würde ich hier ausschließen.

**Prof.Mobilux** · 24.10.2021, 19:16

😂 Na, das sollte ja reichen 😂

**toubee** · 25.10.2021, 20:39

Hallo Zusammen

An dieser Stelle mein herzliches Dankeschön für dieses tolle Plugin!
Danke auch an die sehr umfangreichen Anleitungen, dank welcher ich die Installation von A-Z ohne Rückfragen geschafft habe.

Nachdem ich ziemlich viele Werte konfiguriert habe, stelle ich nun ein ähnliches Problem wie das von Futureweb beschriebene Problem aus Post #107 fest, allerdings wurden die fehlenden Daten nachträglich nicht wieder angezeigt:

Meine Situation, welche evtl. einen Zusammenhang hat:

Loxberry läuft auf einem Pi 3B+, Daten auf USB-SSD (--> habe gelesen, dass es in diesem Fall eher ein Pi 4 sein sollte. Werde ich bei Gelegenheit nachholen)
ich mache relativ viele Abfrag über MQTTLive
die besagten Werte werden nur über MQTTLive abgefragt
ich habe noch nicht die 0.9.3_beta des plugins installiert, auch das werde ich baldmöglichst nachholen (habe auf den Pre-release-Channel gewechselt)

Folgendes habe ich festgestellt:

zum angegebenen Zeitpunkt war ich Arbeiten, es wurde definitiv keine Änderung an der Lox-Config gemacht
zu einem anderen Zeitpunkt (ca. 1h früher) ist noch ein anderer Statistikwert ausgestiegen (siehe Bild unten)
die Daten werden wieder aufgezeichnet, nachdem ich die Config ohne bewusste Änderung in den MS hochgeladen habe.
(die horizontalen Linien wurden erst danach gezeichnet, vorher klaffte einfach ein "Loch", weshalb ich das überhaupt festgestellt hatte)

im Log 'MQTT Live' vom Plugin fehlt mir der besagte Zeitpunkt, allerdings sehe ich sehr viele Vorkommnisse wie diese (siehe Logfile):

Code:

Result of lox2telegraf: 0
ERROR: File does not exist, and parameters is not valid JSON

Vielleicht kann mir jemand helfen, wo ich nach der Ursache suchen muss?

Grüsse, toubee

**Christian Fenzl** · 25.10.2021, 21:22

Hallo toubee,

Das Log hat jedenfalls Auffälligkeiten.

Der Error selbst ist ein Schönheitsfehler und kommt durch die Art, wie die Daten verarbeitet werden. Das muss ich umbauen, dass der Fehler nur noch kommt, wenn es tatsächlich einen Fehler gibt.

Und ich muss jedenfalls einen Zeitstempel einbauen, damit man sieht, wann was passiert ist.

Auffällig sind zwei Dinge:
Einerseits, dass es einen Zeitpunkt gab, wo die Queue vergleichsweise viele Elemente hatte. Das könnte aber durch den Neustart des Miniservers ausgelöst sein, also auch noch keine Fehlersituation.
Das zweite ist, dass im Log das "Processing data..." mitten im JSON-Output steht. Das wiederum kann aber ein reines Logging-Thema sein.

Ohne Zeitstempel schwierig. Ich werde mal die LOG-Ausgabe des Codes verbessern, dass man besser nachvollziehen kann, was passiert.

lg, Christian

Angehängte Dateien

**Prof.Mobilux** · 26.10.2021, 05:46

Mit welchem Dateisystem ist die SSD formatiert?

**Futureweb** · 27.10.2021, 20:34

Hallo zusammen,

habe gerade wieder das Problem dass tw. Metriken nicht erfasst werden. Diesmal ist es genau nach einem "Loxberry restart" aufgetreten.
Bei "Loxone & Import" zeigt er mir den jeweiligen Wert an - in Grafana leider nicht.

Any ideas wie das am Besten zum debuggen wäre?

Danke, lg aus Tirol
Andi

**Prof.Mobilux** · 27.10.2021, 20:39

Ich habe aktuell das Speichern auf dem externen Datenträger in Verdacht. Ihr könntet testweise mal versuchen Eure Datenbank zurückzuschieben auf die SDKarte (im Plugin-Daten-Verzeichnis).

**Futureweb** · 27.10.2021, 21:12

Zitat von Prof.Mobilux

Ich habe aktuell das Speichern auf dem externen Datenträger in Verdacht. Ihr könntet testweise mal versuchen Eure Datenbank zurückzuschieben auf die SDKarte (im Plugin-Daten-Verzeichnis).

Bei mir ist das "Hauptverzeichnis" (Plugin-Daten-Dir) bereits aktiv, darunterliegende Storage ist ein Enterprise SSD Array. Sprich IO/Read/Write bis zum Abwinken :-/

**Christian Fenzl** · 27.10.2021, 22:55

Futureweb
Zur Eingrenzung: Die fehlenden Daten, sind das intervallbasierte Daten (5 Min usw.) oder Daten per MQTT Live, oder beides?
Die Daten werden dabei ja mit unterschiedlichen Methoden eingesammelt.

**Futureweb** · 27.10.2021, 23:03

Zitat von Christian Fenzl

Futureweb
Zur Eingrenzung: Die fehlenden Daten, sind das intervallbasierte Daten (5 Min usw.) oder Daten per MQTT Live, oder beides?
Die Daten werden dabei ja mit unterschiedlichen Methoden eingesammelt.

Christian Fenzl - alles intervallbasierte Daten. Im Moment auf 1 Minute eingestellt. (wg. Hyper-V Performance/Speicherplatz ja kein Thema)
Insg. 76 Datenpunkte die abgefragt werden.

Stats4Lox - Das Statistik-Plugin

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar