Loxone Statistik Editor

[MightyLox]

Hallo Gemeinde,

öfter kommt hier im Forum das Thema, dass man zum Bearbeiten der Loxone Statistik Dateien einen Editor bräuchte.

Voilà: here it comes: LoxStatsEditor.


Bei dieser ersten öffentlichen Betaversion ist die Schreibfunktion noch abgeschaltet. Einfach deswegen, weil ich beim Testen mit Betatestern festgestellt habe, dass es unterschiedliche Formate gibt und wir nicht sicher sind, alle Varianten der Formate bereits abzudecken.

F: Warum wird jetzt schon veröffentlicht?
A: Ich brauche eine größere Menge an Testern, die einfach mal ihre Statistikdateien einlesen und sie mit den Ausgaben in XML Form vergleichen.

F: Wie komme ich an die richtigen Statistikdateien?
A: Mittels FTP von ftp://MS_IP/stats/ runterladen. Nur diese Dateien können mit LoxStatsEditor bearbeitet werden.

F: Wie komme ich an die XML Statistiken?
A: Unter http://MS_IP/stats/ die entsprechende Statistik auswählen. Wenn man eine Statistik in den LoxStatsEditor einließt, wird unter der Grafik der Name der Statistik angezeigt. So weiß man, welche Datei man hier auswählen muss.

Wer mit eigenen Statistikdateien helfen möchte, ist gerne eingeladen. Bitte vorher prüfen, ob die Datei noch nicht eingelesen werden kann. Sonst entsteht mir doppelte Arbeit. Und wenn Statistikdateien für Tests hochgeladen werden, bitte auch immer die dazu gehörende XML Datei posten. Meistens benötige ich beide Dateien, um in der Entwicklung weiterzukommen.

Die Diskussion über den Editor, Fehler, Verbesserungsvorschläge und dergleichen würde ich gerne hier im Forum führen. Die endgültige Version wird dann als Wiki Eintrag erscheinen.

Download: LoxStatsEditor

Grüße
Martin

[MightyLox]

Reserved

[svethi]

Ich habe meinen auch aus dem Grund nicht veröffentlicht. Meiner kann die Energiezähler schreiben 😀

Ist aber ohne Grafik etc. sieht nicht schlecht aus, Deiner.

[MightyLox]

Wenn du mir ein oder zweit Statistiken schicken könntest, würde ich gerne sehen, ob ich das auch schon kann.

[eisenkarl]

Sieht gut aus, aber wenn ich das richtig verstehe, schreibt der MS die Stats auf die SD Karte?
Mich würde eher ein externer Statilogger interessieren, der sich die Daten beim MS holt. Oder verstehe ich da was falsch?

[MightyLox]

Das kann man sicher auch machen. Hier geht es mehr darum, Ausreißer in einer Statistik zu korrigieren. Das war bisher schwer bis unmöglich.

[RobertS]

Vielleicht ist ja https://www.loxstats.de/ das richtige tool für dich?
SGR

[MightyLox]

Ach so, dass wäre dann Torros Tool:

https://www.loxforum.com/forum/german/software-konfiguration-programm-und-visualisierung/21750-vorstellung-loxgraph-projekt

[RobertS]

Hallo MightyLox,

Erst mal ein Riesen Danke dass du dich dieses Themas angenommen hast!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Ich hab mir die erste Beta natürlich gleich runtergeladen und mal mit meinen Daten getestet.
Schaut schon mal SEHR vielversprechend aus

Statistiken mit analogen Werten funktionieren bereits
"Verbrauchszähler"
"Temperatur" (Air Temp/Feuchtesensor)
"Temperatur" (KNX-GA Analogwert EIS5
"Temperatur" (IRR Baustein)
"Luftfeuchtigkeit" (Air Temp/Feuchtesensor)
"Windgeschwindigkeit" (virt. Eingang)
"Betriebszeitzähler"
"Luftdruck" (virt. Eingang)
"Strompreis" (virt. Eingang)

Statistiken mit "digitalen Werten" EIN/AUS funktionieren noch nicht (Testdaten angehängt)
"Regensensor" (digitaler Eingang)
"Stellventil" (KNX-GA EIS1 Schalten/Tasten)
"Dämmerungsschalter" (KNX-Gruppenadresse EIS1 Schalten/Tasten)

Beim Laden der Statistik vom "Energiemonitor" aka "Fronius-Baustein" kommt die Meldung "wrong file format"

Andere Punkte die mir aufgefallen sind
- der Listenbereich (Spalten) mit den Werten ist zu schmal, sollte sich breiter ziehen lassen
- Datumsformat bitte wie im XML (ymd) anzeigen, oder in deutsch (dmy)
- für Value2, Value3,.... werden (noch) keine Grafiken erstellt
- anpassbare Skalierung der x-Achse zum einfacheren Finden einzelner falscher Werte wäre schön
- wie kann ich Werte ändern?

nice to have
- Daten aus erster Zeile im XML (Name, Beschreibungen,..) auch im Editor


schöne Grüße
Robert

[svethi]

Hallo Robert,

In den richtigen Statistik-Dateien stehen keine Infos. Daher kann er die sicher nicht anzeigen.

MightyLox, Du musst, wenn Du dann das Schreiben aktivierst, unbedingt darauf hinweisen, dass nach dem Hochladen der geänderten Statistikdateien der MiniServer neu gestartet werden muss. Der kann sonst nicht in das aktuelle File reinschreiben.

Gruß Sven

[MightyLox]

@Robert:
Super Input und vielen Dank für die Testdatei. Die Testdatei werde ich morgen gleich angehen. Genau sowas brauche ich, Statistiken, die nicht funktionieren oder wo die ausgelesenen Werte nicht stimmen.

Der eigentlich Name der Statistik wird doch unter dem Graphen angezeigt, oder nicht?

Deine Verbesserungsvorschläge machen soweit auch alle Sinn für mich. Werde ich nach und nach einbauen. Oberstes Ziel ist, alle Dateiformate zu unterstützen und dann das Schreiben zu aktivieren. Danach kommen die gems.

Wieviel Value-Werte hast du denn bisher maximal in einer Statistik gesehen? Das ist für mich elementar, denn mit jedem neuen Value ändert sich das Dateiformat.

@Sven:
Danke für den Hinweis. Hatte ich so noch nicht bedacht.

Grüße
Martin

[svethi]

Also beim Energiezähler sind es 4 obwohl bei mir die letzten Beiden immer leer waren.
Meine Version geht ja einen anderen Weg. Beim Energiezähler kommt ja auch noch zum Tragen, dass die Werte immer aufaddiert werden. Wenn das stimmig bleiben soll müssen alle folgenden Werte auch geändert werden. Ich bin daher den Weg über die XML gegangen. Man läd sich einfach die XML's runter. Editiert diese nach Belieben und wirft die meinem Tool zum "Fraß" vor. Der macht daraus dann die Statistik. Ist schon lange her, doch irgendwie hatte ich auch was eingebaut, dass man (bei fehlenden Werten wichtig) als Option einen Wert angeben kann, der dann dazuaddiert wird. Somit brauchte ich bei fehlenden Werten nur die fehlenden Wert dazudichten und konnte dann automatisch alle restlichen anpassen lassen. Meine Version ist aber wie gesagt gar nicht schick. Wenn ich mich recht erinnere ist die sogar Kommandozeile.
Sind ja aber vielleicht noch Tips für Dich dabei. Mit was programmierst Du denn da?

Noch ein kleiner FTP-Client rein und schon macht das Tool alles selber ;-)

Gruß Sven

[MightyLox]

Danke für die Infos. Das mit der Aufaddierung werde ich berücksichtigen. Den Editor habe ich in C# geschrieben.
FTP wäre möglich, aber die Liste der ToDos ist noch lanng. ;-)

[svethi]

Naja fast. Meins ist in VB.NET :-)

[Robert L.]

Im Anhang mal ein File mit dem der LoxStatsEditor nicht zurechtkommt...

[Benjamin Jobst]

Wow, kaum geht man einmal über Nacht nach Hause, verpasst man schon ein Stück Loxone-Geschichte!
MightyLox: Sieht schon mal sehr gut aus dein Programm, da sehe ich schon viel Potenzial. Schön, wenn die Community sich so gut selbst helfen kann, wenn Loxone es einmal nicht auf die Reihe bekommt =)

Zum Feedback - was meine Vorredner aber wohl größtenteils auch schon gesagt haben:
- Ich fände es praktisch, wenn man das Fenster auf den ganzen Bildschirm maximieren könnte. Derzeit machen Grafik und Tabelle die Größenänderung leider noch nicht mit.
- In der Zeitachse der Grafik sollte Datum und Uhrzeit stehen - allerdings musst du da auch aufpassen, wie du es mit der Darstellung umsetzt.

- Ich habe auch einen File, den der Editor leider nicht öffnen kann, siehe Anhang.

Ich weiß, das will wahrscheinlich keiner der Programmierer gerne hören, aber Torro (LoxGraph) und MightyLox, ihr bewegt euch hier natürlich auf sehr ähnlichen Ebenen. Ihr müsst beide auf die Statistik-Daten zugreifen und mit den Datenformaten zurechtkommen. Aus Sicht des Users wäre es da natürlich praktisch, wenn man eure beiden Projekte zusammenfassen und in ein Tool packen könnte bzw. wenn Uwe den Editor bei sich übernehmen könnte. Ansonsten laufen wir Gefahr, für jede Anwendung mit Loxone ein extra Programm zu haben...

[MightyLox]

Danke fürs Feedback. Zur Größenänderung: wenn ich das Fenster bei mir an der Seite anfasse und vergrößere, passen sich auch Tabelle und Graph an. Ist das bei dir oder anderen Benutzern nicht der Fall?
Datum und Uhrzeit ist halt schwierig vom Platz, daher hatte ich erstmal den Umweg über die Eintragsungsnummer gewählt.
Deine Datei schaue ich mir (wie die anderen) heute Abend näher an. Primäres Ziel ist erstmal, alle Dateiversionen einlesen zu können und dann das Schreiben zu aktivieren. Dann kann die Community den Editor bereits einsetzen und ich kann mich an die Kür machen.
Mit Torro habe ich schon telefoniert. Was da zusammengeht, müssen wir abwarten. ;-)

[Benjamin Jobst]

Hmm, du hast Recht jetzt geht es auch bei mir... Habe das mit dem Ziehen gar nicht versucht, sondern nach Win7-Manier das Fenster zum Maximieren nach oben gezogen, da hat er vorhin das Vergrößern nicht mit gemacht. Jetzt geht auch das. Dann nehme ich die Beschwerde erst einmal zurück, bis ich es reproduzieren kann ;-)

[Torro]

Hallo Benny,

Ich weiß, das will wahrscheinlich keiner der Programmierer gerne hören, aber Torro (LoxGraph) und MightyLox, ihr bewegt euch hier natürlich auf sehr ähnlichen Ebenen.

nicht ganz, ein Editor hat nichts mit Statistik zu tun.

Ihr müsst beide auf die Statistik-Daten zugreifen und mit den Datenformaten zurechtkommen.

und genau hier bist Du total auf dem Holzweg. Die Statistikdaten auf dem Miniserver interessieren mich ueberhaupt nicht, im Gegenteil, jeder kann dann beiu Nutzung von LoxGraph auf die Statistikdaten des Miniservers verzichten und die Funktion dort deaktivieren, was wieder Schreibzyklen auf der SD Karte spart und auch Performance auf dem MiniServer spart.

Aus Sicht des Users wäre es da natürlich praktisch, wenn man eure beiden Projekte zusammenfassen und in ein Tool packen könnte bzw. wenn Uwe den Editor bei sich übernehmen könnte. Ansonsten laufen wir Gefahr, für jede Anwendung mit Loxone ein extra Programm zu haben...

Naja, der Editor vom Martin kann mit meinen Daten nix anfangen und andersherum genauso. Ich glaube, Du hast noch nicht verstanden, wie LoxGraph arbeiten wird. Ich werde das mal in den nächsten Tagen noch mit skizzieren.

[Benjamin Jobst]

Hallo Uwe,

du hast Recht, wenn du es so beschreibst, habe ich aus deiner Vorstellung von LoxGraph die Funktionsweise nicht richtig verstanden. Du hast zwar beschrieben, dass die Daten in einer SQL abgelegt werden, aber nicht gesagt, woher du die Daten nimmst. Deshalb bin ich erst einmal davon ausgegangen, dass du die Loxone-Statistik-Files verwendest.
Wenn dem nicht so ist, stimmt es natürlich, dass du mit Martins Tool nichts anfangen kannst.

Mein "Problem" mit deiner Lösung ist - genauso wie schon mit LoxStats - dass man immer eine separate Hardware benötigt, um schöne Statistiken zu haben. Das führt zu einer erhöhten Anfälligkeit für Fehler und aus meiner Sicht vor allem zu einer parallelen Nutzung von zwei Webservern bzw. Apps - was ich mit Loxone als zentrale Steuerung eigentlich genau vermeiden will. Daran kannst du per se natürlich nichts ändern, da du den MS ja nicht umprogrammieren kannst. Ist also eher ein Problem bei Loxone selbst, die nicht in die Hufe kommen, eine zuverlässige, funktionale Statistik auf die Beine zu stellen - jetzt wo sie ja angeblich so ambitioniert ins Energiemanagement wollen...

Und das soll jetzt wirklich keine Abwertung eurer Arbeit sein, wie gesagt chapeau für das, was ihr hier ehrenamtlich abliefert! Ich denke nur eben, bei so aufwendigen Dingen muss man das Rad ja nicht unbedingt fünfmal erfinden. Daher meine Vorschläge ;-)

[MightyLox]

Auch wenn beide Tools per se anders funktionieren, kann man doch die eine oder andere Technik in beiden Tools verwenden. Aber wie gesagt, dass müssen Torro und ich erst noch genau ausklamüsern. Ich kann mich auch erst damit beschäftigen, wenn das Schreiben grundsätzlich funktioniert.

[Torro]

Hallo Benny,
korrekt, man braucht dafür ein weiteres System, welches die mysql Datenbank, den Apache Websever inkl. PHP5 beinhaltet. Das kann z.B. der LoyBerry sein, oder ein NAS, was man irgendwo rumstehen hat, das gibts viele Möglichkeiten.

Der Aufruf selber geht mit dem Miniserver direkt, man ruft also die Statistik über die webpage auf, diese Fotos wollte ich nicht machen, war mir jetzt auf die Schnelle zu aufwendig. Auch die Steuerung der Grafiken etc. geht darüber direkt, man muss also nicht eine separate Webseite aufrufen. Die ganze Statistik Aufbereitung erfolgt natürlich auf dem anderen Rechner im Hintergrund.

Das aber jetzt zum Abschluss, hier gehts um den Editor für die Loxone Miniserver Statistikdateien.

[MightyLox]

Ich sitze gerade an den hier zur Verfügung gestellten Testdateien. Wahrscheinlich kam es in Post #1 nicht richtig raus, aber ich benötige neben den Loxone Statistik Dateien auch parallel immer das XML File dazu. Nur so kann ich sehen, was eigentlich gemeint ist.
Wäre super, wenn Ihr noch die XML Dateien zu den Lox Stats hochladen könntet.
Danke!

[Torro]

Hi,

koennt Ihr abrufen mit: http://miniserver/stats/UUID also der Dateibezeichnung des Statistikfiles, wenn ich mich recht entsinne, steht auch oben im ersten Beitrag.

Gruss Uwe

[MightyLox]

Fixed heute:
09ffd16e-039c-facd-ffffeee0002400e3.201512
Rauchmelder_0b583e5b-01b5-40e5-ffff112233445566.201509
Regensensor_0a840acf-033b-0419-ffff112233445566.201509
Regensensor_0a840acf-033b-0419-ffff112233445566.201512
Stellventil1_0aae1d35-0186-283b-ffff112233445566.201512

Betraf alles die Skalierung des Grids (Skalierung der X/Y Achse) bei kleinen (digitalen - 1/0) Werten.

Datumsformat jetzt: yyyy-MM-dd

Danke für die Hilfe. Nächste Beta kommt, wenn ich bei den Energiemonitoren mit (bisher) bis zu 6 Statistikwerten klarsehe. Dafür fehlen mir aber noch die XML Dateien (oder zumindest eine). ;-)