Stats4Lox - Das Statistik-Plugin

[Christian Fenzl]

Danke - dein gesamtes Log war aufschlussreich! Das Holen der Daten dauert bei dir ca. 14 Sekunden, das ist zu lange.

Wir werden das Timeout von Telegraf erhöhen, ich habe aber jetzt schon eine andere Optimierung eingebaut - ich hoffe, das funktioniert:

https://github.com/mschlenstedt/LoxBerry-Plugin-Stats4Lox-NG/archive/refs/heads/main.zip

Zwei relevante Änderungen sind enthalten:

• Die Werte werden jetzt in jener Reihenfolge abgeholt, was zeitlich als Nächstes dran kommen muss (bisher immer in einer fixen Reihenfolge)
• Es gibt jetzt eine Maximum-Zeit (Standard derzeit 4 Sekunden). Wenn diese erreicht ist, werden die bis dahin abgeholten Daten übergeben. Die weiteren Daten kommen dann beim nächsten Lauf.

Das sollte jetzt bei dir bewirken, dass zwar nicht alle Daten auf einmal nach einem Neustart hereinkommen, aber es kommen bei jedem Intervall wieder neue dazu.
Wenn das bei dir funktioniert, werden wir auch das Timeout von Telegraf noch erhöhen, damit pro Lauf mehr Daten eingesammelt werden können.

lg, Christian

[Futureweb]

Christian Fenzl - na das freut mich dass die Daten geholfen haben!! :-)
Und deine Optimierungen scheinen auch schon dementsprechend zu helfen ... kaum das neueste Update eingespielt - schon holt er sich wieder Daten ... was er seit dem letzten Restart nicht mehr geschafft hat ...



thx 4 the great work!!! 👍🏻👍🏻

[toubee]

Hallo Zusammen.

Da ich sowieso einen Server laufen habe, habe ich Loxberry nun in der Proxmox-Umgebung als VM in Betrieb genommen. Ich erhoffe mir davon unter Anderem einen Performance-Gewinn.
Gibt es eine Möglichkeit, die Komplette Konfiguration des Plugins inkl. der Datenbank auf die neue VM zu migrieren?

Danke

[Prof.Mobilux]

Nur mit Linuxkenntnissen. Du musst config und data mit den bestehenden Ownern und Rechten rüberkopieren. Das gleiche dann noch einmal für die Database. Tar ist dein Freund.

[toubee]

Sorry, der erste Versuch ging als Meldung raus :-)

rudimentäre LInuxkenntnisse sind vorhanden, resp. ich bin bereit, mich im Rahmen eines Versuchs einzulesen.
Unter welchem Pfad finde ich config und data?
Zur Reihenfolge: Ich würde vor dem Kopieren das Plugin installieren, sinnvoll?

[toubee]

Ich denke ich konnte alle daten migrieren. jedenfalls starten alle Dienste und die Daten scheinen auch im neuen Loxberry anzukommen.
Vielen Dank für deine Hinweise Prof.Mobilux!

[Thorsten Herr]

Hallo zusammen,

ich habe das Plugin installiert bekomme aber keine Statistiken importiert.
Ich habe meine möglichen Fehler im Anhang hochgeladen.
Vieleicht kann mir hier jemand helfen.
Das wäre klasse.

[hme0354]

Thorsten Herr schaut danach aus, als wenn der loxberry nicht die Daten vom miniserver holen kann. Hast du den miniserver im loxberry konfiguriert? Hat dein angegebener User Admin Rechte?

[HIS-Loxone]

Hab das gleiche Problem. Wobei der miniseries konfiguriert ist und ich mich mit dem Admin verbinde, der miniseries wird aber im stat4lox playin nicht angezeigt

[Futureweb]

Servus,
hatte jetzt ~1 Woche keine Probleme mit den Aufzeichnungen. Jetzt ist mir aber gerade aufgefallen dass seit heute Nacht keine Daten mehr ankommen.














In den entsprechenden /var/log/ Logs keine auffälligen Meldungen zu sehen

Irgendwelche Ideen dazu?

[Futureweb]

Nach Loxberry restart wieder eine massiv große Anzahl an NEGATIV Writes bei den InfluxDB Stats?!?



Und die Statistiken werden jetzt wieder aufgezeichnet ...

[Christian Fenzl]

Hast du in die Logs auch mal reingesehen?
Das, was da links angezeigt wird, ist nur eine Übersicht, und kann 5 Sekunden alt sein, oder 5 Tage.

Nach einem Reboot bringt’s aber nichts mehr, musst du warten aufs nächste Vorkommnis.

lg, Christian

[Futureweb]

Christian Fenzl - siehe Screenshots - interessanterweise alle auf 0 Bytes gewesen ... gar nichts drinnen ... ?!?
Scheint iw. alles "gestanden" zu sein?!?

[Christian Fenzl]

Ramdisk voll?

[Christian Fenzl]

Stats4Lox V0.9.4-BETA

New features

• MQTT Collector: Collect MQTT data directly to your Influx database. See https://www.loxwiki.eu/display/LOXBE...MQTT+Collector
• MQTT Live: Create Loxone Virtual Output Template (thanks for commit to Jakob-Gliwa)
• Fixed corrupt LoxCC unpack, leading to invalid XML parsing of Miniserver config with large company logos and SVGs - many thanks for fast hotfixing to Markus (@sarnau)!

Further improvements

• Grabber: Logic to send all yet fetched data before timeout is reached, send remaining data with next cycle
• Grabber: Increased fetching timeout to 45 seconds (before 5 seconds)
• Grabber: Corrected number extraction if number is prefixed by string ("Temp: <v.2>°C")
• Better logging for MQTT Live and Grabber and Plugin installation/upgrade
• MQTT Live/Collector can be permanently disabled on Home screen
• Fix for MQTT Live/Collector restart button on Home screen
• Uninstall: Influx, Grafana and Telegraf services are stopped and disabled (but not uninstalled)

Full Changelog: https://github.com/mschlenstedt/LoxB...3-beta...0.9.4

Update-Link: https://github.com/mschlenstedt/LoxB...tags/0.9.4.zip


Bei jenen, wo die LoxConfig vom Miniserver nicht gelesen werden konnte, das sollte mit diesem Stand gefixt sein!

lg, Christian

[Futureweb]

Ramdisk voll?

phu - das hab ich leider nicht nachgesehen als es die Probs gab. Zumindest jetzt zeigt sie auch eine 100% Auslastung - und das Logging geht normal.

root@loxberry:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 1.9G 0 1.9G 0% /dev
tmpfs 394M 42M 352M 11% /run
/dev/sda1 33G 12G 19G 40% /
tmpfs 2.0G 2.5M 2.0G 1% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
/dev/zram0 386M 378M 0 100% /opt/loxberry/log/ramlog
tmpfs 394M 0 394M 0% /run/user/0

root@loxberry:~# free -g
total used free shared buff/cache available
Mem: 3 1 1 0 1 2
Swap: 6 0 6
root@loxberry:~#

[Christian Fenzl]

Ja, die Ramdisk ist voll.
Dann muss ich meinen LoxBerry File Analyzer doch fertig machen....

Schaust du bitte mal ins
/opt/loxberry/log/plugins/stats4lox

ob das mqttlive.log der Übeltäter ist?
Ich hatte da da bei mir selbst einen sonderbaren Fall, den ich gehofft hatte, gefixt zu haben.

[Futureweb]

/opt/loxberry/log/plugins/stats4lox - 113 Files, u.a. das mqttlive.log, aber aktuell alle Files 0B

[Futureweb]

Hab mal geschaut was in der Ramdisk Speicher frisst:

--- /opt/loxberry/log/ramlog/log/system_tmpfs
201.9 MiB [##########] logs_sqlite.dat-wal
172.8 MiB [######## ] logs_sqlite.dat
416.0 KiB [ ] logs_sqlite.dat-shm
148.0 KiB [ ] /apache2
4.0 KiB [ ] /loxberryupdate

[Christian Fenzl]

Ja, das ist heftig.....

Versuch mal, ob du mit
rm logs_sqlite.dat*
die Files löschen kannst.

[Futureweb]

Versuch mal, ob du mit
rm logs_sqlite.dat*
die Files löschen kannst.

Ja haben sich löschen lassen ... "df -h" zeigt zwar noch 100% usage an - aber in dem Directory ist definitiv nichts mehr ...
... also wird entweder iw. im Hintergrund noch ein Lock gehalten oder die Anzeigt spinnt ... mhm

[Futureweb]

Und auch wieder negative Writes bei InfluxDB nach Reboot ...

https://in7.futureweb.at/temp/loxberry/stats4lox_18.jpg

[Christian Fenzl]

Die negativen Writes kannst erstmal vergessen, keine Ahnung, was Michael da zusammen rechnet 😅
Gibt schon einen Issue dafür.

[Futureweb]

hahaha ... alles klar! ;-)