Stats4Lox - Das Statistik-Plugin

[Futureweb]

Ergänzung zu meiner vorherigen Aussage dass die Daten dann "nachgetragen" wurden ... stimmt leider nicht - habe übersehen dass er den Graphen einfach zwischen dem letzten und aktuellen Datenpunkt vervollständigt hat ...
Sprich die Daten in dem Zeitraum wurden NICHT aufgezeichnet ... :



Inzwischen kommen wieder bei allen Aufzeichnungen die Daten rein ... hat knappe 3h gedauert ... ?!?

[Futureweb]

Weitere Ergänzung:

/var/log/telegraf/telegraf.log

...
2021-10-27T23:14:05Z E! [inputs.http] Error in plugin: [url=http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi]: Get "http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi": context deadline exceeded (Client.Timeout exceeded while awaiting headers)
2021-10-27T23:15:05Z E! [inputs.http] Error in plugin: [url=http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi]: Get "http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi": context deadline exceeded (Client.Timeout exceeded while awaiting headers)

Vielleicht hilft die Info ja weiter?

[Christian Fenzl]

toubee
Das betrifft jetzt dich mit MQTT Live (und nur MQTT Live):

https://github.com/mschlenstedt/LoxBerry-Plugin-Stats4Lox-NG/archive/refs/heads/main.zip

In diesem Master ist ein Fehler gefixt:

• Wenn man MQTT Live am "Home" restartet hat, wurden immer neue MQTTLive Instanzen geöffnet (keine geschlossen). Dadurch könnten mehrere Prozesse gleichzeitig ins Log geschrieben haben.

Und ich habe das Logfile "schöner" gemacht (soweit das auf Logfiles überhaupt zutreffen kann) und es wird jetzt ein Timestamp mit der Anzahl der Elemente in der Queue angezeigt, und ein "(wahrscheinlich) OK" oder "Fehler" bei der Telegraf-Übertragung.

lg, Christian

PS: Ich glaube, es lag nicht an der Erfassung und dem Queuing von MQTT Live, sondern bereits irgendwo an einem Problem dahinter (Telegraf, Influx), das MQTT Live nicht mehr mitbekommt. Sonst wäre die Queue langsam voller und voller geworden, bei dir war die Queue-Größe aber konstant.

PPS: Wenn du auf Loglevel = INFO oder gar DEBUG gehst, siehst du im mqttlive.log, wann was vom Miniserver hereingekommen ist.

[toubee]

Hi Christian

Ich habe deine neue Version soeben installiert, ebenso habe ich den Loglevel auf DEBUG gesetzt

Selbstverständlich werde ich mich achten, ob ich den Fehler wieder entdecken kann.
Soll ich Dir in jedem Fall logs nach einer bestimmten Zeit (bspw. 1W) posten?

Danke und Gruss, toubee

[Futureweb]

Nachdem das Problem mit nicht erfassten Daten wiedr aufgetreten ist habe ich mal den LoxBerry komplett neu gestartet. Da hatte ich wieder diesen massiven Negativ-Wert bei den Gathered Metrics. Das ev. irgendein Indiz? 🤔

[Christian Fenzl]

toubee

Die Logs überleben voraussichtlich keine 7 Tage (die werden ab einer gewissen Größe immer wieder truncated). Und ohne zu wissen, dass das Problem aufgetreten ist, schaue ich mir die Logs nicht an (da hab ich auf jeden Fall was Besseres zu tun ).

Also: Wenn der Fall wieder auftritt, dann übermittle das Log, dazu die Grafana-Auswertung, um zu sehen, wo das Loch ist, vielleicht auch die Zeiten von MS-Restarts, und dann können wir prüfen, ob die Daten vom MS hereingekommen und von MQTT Live weitergeleitet wurden.

lg, Christian

[toubee]

ok, ich werde mich achten. Von mir ebenfalls: danke für euer Engagement!

[Christian Fenzl]

Futureweb
Zu deinem Thema, dass der Grabber offenbar _manche_ Daten "verliert", habe ich mit Michael besprochen, dass ich auch das Logging des Grabbers verbessere, dass man im Nachhinein nachsehen kann, welche Daten vom MS korrekt oder fehlerhaft abgerufen wurden.
Dann sehen wir mal zumindest, ob es ein Problem beim MS-Abruf gab, oder was anderes Schuld ist.
Ich melde mich, wenn ich die Änderung drin hab.

lg, Christian

[Futureweb]

Super - Danke für euer tolles Engagement!!! ;-)

[Christian Fenzl]

Futureweb

https://github.com/mschlenstedt/LoxBerry-Plugin-Stats4Lox-NG/archive/refs/heads/main.zip

Das ist die Version, die in einem grabber_Loxone Log mitprotokolliert, was vom MS hereinkommt.
Loglevel auf Debug stellen, um die Werte zu sehen, oder Info/Warning/Error, um ausschließlich die Fehler zu sehen.

lg, Christian

[Futureweb]

Christian Fenzl - klasse, danke - habe ich sogleich installiert! :-)
Versuche später das Problem nachzustellen - ev. mit LoxBerry restart / MiniServer restart etc.

Danke, lg
Andi

[hismastersvoice]

Christian Fenzl

Ich habe das Plugin installiert und win wenig damit gespielt. Nun habe ich es deinstalliert da ich es auf einer eigenen VM laufen lassen will.
Außer die Plugin Ordner wird irgendwie nichts entfernt, Telegraf, Grafana InfluxDB etc bleiben auf dem System.
Das finde ich jetzt auch noch nicht schlimm, was mit aber aufgefallen ist, der eine MQTT Live Eintrag den ich angelegt hatte sendet munter weiter, auch wenn das Plugin deinstalliert ist.


Wo ist der angelegt?
Wie kann ich den deaktivieren?

Könnt ihr das bei der Deinstallation berücksichtigen das solche Einträge mit gelöscht werden?.
Bzw. gibt es vielleicht einen Grund den ich nicht sehe warum MQTT Live weiter aktiv bleibt?

[Prof.Mobilux]

Mqttlive sollte bei der Deinstallation jetzt schon gekillt werden. Läuft der Prozess noch?

[hismastersvoice]

Es läuft kein erkennbar eigener Service, wie sollte der heißen?

[Prof.Mobilux]

mqttlive.php - in der Prozessliste.

[Christian Fenzl]

Michael kümmert sich heute darum.
Beim Uninstall bleibt zu viel übrig.

[Christian Fenzl]

Moment mal 🤦♂️
Das hat ja mit mqttlive nix zu tun 😅
Du sendest immer noch Werte vom MS via MQTT Gateway (VO UDP) an den MQTT Broker. Deswegen kommen am Broker Daten an.
Aber mqttlive läuft nicht mehr, also kein Subscriber mehr da, der das an Influx weitergibt.

[hismastersvoice]

Christian Fenzl
Schande über mein Haupt.... Das war es, an den hab ich ja überhaupt nicht mehr gedacht.

[HIS-Loxone]

hab statistics 4 loxone gerade installiert der zugriff auf meine Loxone Config V12.2.10.27 geht aber nicht. der Miniserver ist ein G2.
hab ich etwas vergessen?

Ich könnte mir vorstellen das es an denn SVG´s liegt. gibt es da schon einen Fix.
Ich möchte eigentlich die SVG´s nicht wieder lösche.

[Futureweb]

Futureweb

https://github.com/mschlenstedt/LoxB...heads/main.zip

Das ist die Version, die in einem grabber_Loxone Log mitprotokolliert, was vom MS hereinkommt.
Loglevel auf Debug stellen, um die Werte zu sehen, oder Info/Warning/Error, um ausschließlich die Fehler zu sehen.

lg, Christian

Alright ... reproduzierbar - sobald ich den LoxBerry neu starte gibt es längere Zeit keine Updates der Werte mehr ... diesmal sind ALLE abgegriffenen Werte betroffen ...




Aber laut dem Debug Log scheinen die Datenpunkte normal abgerufen zu werden?!?


15:33:00.934 INFO: Wärmerückgewinnung -> UUID (180c45f2-03be-b8ce-xxxx)
15:33:01.014 Wärmerückgewinnung -> AQ: 99.6

15:33:09.494 OK: Returning lineprot dataset (104 measures)
15:33:09.494 Lüftung\ -\ Wärmerückgewinnung,msno=1,type=ModbusASensor,name= Wärmerückgewinnung,uuid=180c45f2-03be-b8ce-xxxx,room=Lüftung,category=Lüftung AQ=99.6

Auffällig wieder die nagativen Writes InfluxDB auf der Übersichts-Seite ... "-33,7k"

[Christian Fenzl]

Und die Measures ("Returning lineprot dataset (xxx measures)" - werden die immer mehr oder bleibt das ungefähr konstant?
Bitte ganzes Log anhängen. Ohne erkennt man keine zeitlichen oder sonstigen Zusammenhänge.
Hast du im Influx-Log /var/log/telegraf/telegraf.log wieder Timeouts?

[Futureweb]

Christian Fenzl - hab dir das komplette Log gerade per PM geschickt.

ja - Timeouts sind wieder vorhanden im telegraf.log - von 13:37 - 14:45 ... minütlich kommt 1 Eintrag dazu

2021-11-02T14:42:05Z E! [inputs.http] Error in plugin: [url=http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi]: Get "http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi": context deadline exceeded (Client.Timeout exceeded while awaiting headers)
2021-11-02T14:43:05Z E! [inputs.http] Error in plugin: [url=http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi]: Get "http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi": context deadline exceeded (Client.Timeout exceeded while awaiting headers)
2021-11-02T14:44:05Z E! [inputs.http] Error in plugin: [url=http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi]: Get "http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi": context deadline exceeded (Client.Timeout exceeded while awaiting headers)
2021-11-02T14:45:05Z E! [inputs.http] Error in plugin: [url=http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi]: Get "http://localhost:80/admin/plugins/stats4lox/grabber/grabber_loxone.cgi": context deadline exceeded (Client.Timeout exceeded while awaiting headers)