Loxone Statistik Editor

**Christian Fenzl** · 29.11.2016, 07:31

Im Falle der binären Statistikdaten kann ich Loxone dahingehend verstehen, da es sich um eine interne Datenablage handelt. Die Datenstruktur kann sich jederzeit ändern, und hat sich auch schon geändert. Wenn so eine Strukturänderung erfolgt, und ein Tool kennt diese Änderung nicht, können die Daten zerstört werden.

In unserem Unternehmen werden die Daten unseres Produkts auch in unserem eigenen Datenmodell abgelegt. Wir zeigen zwar offen, wie es funktioniert, aber ändern das Datenmodell auch unangekündigt und undokumentiert bei Updates. Direkter Zugriff aus Drittanwendungen wird nicht empfohlen, und eine Datenänderung bedeutet Gewährleistungs- und Supportverlust. Es gibt dafür entsprechende Schnittstellen.

Lassen sich über die Validierung nicht derartige Ausreißer gleich bei der Entstehung eliminieren?

**ddeml** · 29.11.2016, 08:25

Ich möchte nicht warten bis Loxone das Problem löst. Ich habe außerdem den Eindruck, dass Loxone das Problem als nicht so wichtig erachtet wie ich. Das akzeptiere ich und suche meinen eigenen Weg. Wenn Loxone mir nicht helfen möchte dann helfe ich mir selbst. Die Ergebnisse teile ich gerne, wenn dadurch auch anderen geholfen wird. Wenn Loxone mich zumindest in einem minimalen Mindestmaß unterstützt, könnte es sich sogar positiv auf deren Support-Aufkommen auswirken. Ob sie das auch so sehen überlasse ich denen. Mein Angebot steht.

**Christian Fenzl** · 29.11.2016, 09:11

ddeml Nicht falsch verstehen. Es wäre für alle hilfreich und kommt auch dem Support zugute, wenn sie dich bei der Entwicklung unterstützen, es ist aber auch legitim, wenn Loxone als nicht tut.

**ddeml** · 29.11.2016, 11:18

Hatte ich ja auch gesagt: Ich akzeptiere das. Ich hab auch kein Problem mit Formatänderungen. Ich seh auch ein, dass sie das nicht supporten wollen. Alles legitim. Ärgern tut es mich trotzdem.

Ich kenne keine offizielle Schnittstelle zum Anpassen der Statistiken. Ich teile nicht die Meinung von Loxone, dass die Validierung das Problem löst, sondern eher verschlimmbessert. In meinem Fall werden valide Daten fälschlicherweise als Ausreißer erkannt und abgeschnitten. Abschalten kann man die Validierung leider auch nicht.

Ich habe zusätzlich das Problem, dass ich viele Statistiken habe(n möchte) und damit der Miniserver schnell überfordert ist. Ich hatte zeitweise das Problem, dass ein Aufruf von IP/stats einen MS-Reboot auslöste! Auch alle anderen supporteten Wege, sich die Statistiken zu ziehen schlugen fehl (Timeouts, MS-Reboots). Die einzige bhilfe war, sie per FTP runterzuladen und dann zu löschen. Dann liegen sie aber nur im Binärformat vor. Das will Loxone aber nicht preisgeben!

Loxone bietet mir also keinen offiziellen Weg, meine Probleme bezüglich Statistiken zu lösen. Loxone ist der Meinung, dass ich halt weniger Statistiken fahren soll. Da ich das aber nicht möchte, muss ich mir eben selbst helfen. Dabei werde ich aber weiterhin versuchen, von Loxone so viel wie möglich Infos zu bekommen.

OT: Ich habe auch mal in einem Telefonat gehört: "Wenn es einen Workaround gibt, besteht kein Handlungsbedarf" - eine Einstellung, die mir nicht gefällt.

So, genug geärgert. BTT

**ddeml** · 04.12.2016, 17:58

Ich habe jetzte mal mit dem Hexinator (http://hexinator.com) eine Grammar-Datei erzeugt. Mit der kann man bestehenden Statistik-Benärdateien in eine halbwegs lesbare Form bringen und sogar bearbeiten. Super-Komfortabel ist das zwar noch nicht, aber immerhin ein erster Schritt. Aus irgendwelchen Gründen kann ich die Grammar-Datei nicht hochladen (Die Forum-Webseite sagt mir "Ungültige Datei"). Deswegen hier ein Link, deren Beständigkeit ich aber nicht garantieren kann: https://www.dropbox.com/s/127u10jslp...oxStat.grammar.

Das angebliche "Neue Format" hat sich übrigens als blöder Bug von Notepad++ herausgestellt...

**ddeml** · 04.12.2016, 22:03

So, für die ganz mutigen hier eine erste Version: https://www.dropbox.com/s/scm4wxpizc...oxStatEdit.exe
Momentan kann ich Loxone-Binärdateien laden, die Werte ändern und dann wieder abspeichern. Die abgespeicherten Dateien kann man wieder per FTP auf den MS hochladen (in das verzeichnis /stats) und die Änderungen werden ohne MS-Neustart sichtbar.
Als nächstes werde ich eine Art Statistik-Browser schreiben, der sich direkt mit dem MS verbindet und man direkt Statistiken auf dem MS bearbeiten kann.

**romildo** · 05.12.2016, 15:23

Hallo
Ich war mal so mutig und habe es ganz kurz getestet. Da ich bei mir die "falschen" Werte bereits korrigiert hatte, habe ich einfach mal einen Wert in einer einfachen Temperaturstatistik geändert und geschaut ob es soweit funktioniert.
Also kurz, es funktionierte.

Bemerkungen meinerseits:
Zwar noch nicht gerade Smart aber zumindest kann man somit Werte korrigieren.
Bei älteren Statistiken <= Vormonat ohne Probleme.
Bei gleichem Monat und kleinen Abfragezeiten könnte es sein, dass man nicht schnell genug ist und somit dann die neuesten Werte verliert.
Damit die Daten im Browser aktualisiert wurden, musste ich nach einer Änderung im Browser die Cookies löschen.

Vielen Dank für Deine bisherige Arbeit, bitte mach so weiter.
Bin schon gespannt wie die nächste Version aussieht.

**miqa** · 06.12.2016, 10:28

Ich hab auch mal drei Dateien rein geworfen und mir das angeguckt, allerdings noch nicht in dern Server zurück gespeichert.
Ich müsste nämlich erstmal rausfinden wie man bei den kryptischen Dateinamen rausfindet welche die Datei ist die man eigentlich bearbeiten will. Ich hatte drei Dateien die endeten mit 201609, 201610 und 201611. Jetzt könnte man ja meinen die sind für September, Oktober und November 2016.
Für September und Oktober passt das ganz gut. In der vermeintlichen Datei für November sind aber nur Einträge mit Timestamp 2009. Außerdem sind keine Werte drin.

kann mir da, insbesondere bei der Auswahl der Datei, jemand weiterhelfen?

**ddeml** · 06.12.2016, 11:07

Zitat von miqa

Ich müsste nämlich erstmal rausfinden wie man bei den kryptischen Dateinamen rausfindet welche die Datei ist die man eigentlich bearbeiten will.

Der Dateiname besteht aus einer GUID. Diese findest du z.B. in den Links auf http://miniserver/stats. Oder du suchst die GUID in deiner .Loxone-Datei, die letztlich auch nur eine XML ist. Oder du wartest, bis ich zeit gefunden habe, mein Programm zu erweitern.

Zitat von miqa

Ich hatte drei Dateien die endeten mit 201609, 201610 und 201611. Jetzt könnte man ja meinen die sind für September, Oktober und November 2016.

Stimmt. Übrigens ist es - wie romildo schon richtig festgestellt hat - nicht empfehlenswert, die Statistikdatei des aktuellen Monats zu bearbeiten!

Zitat von miqa

Für September und Oktober passt das ganz gut. In der vermeintlichen Datei für November sind aber nur Einträge mit Timestamp 2009. Außerdem sind keine Werte drin.

Könntest du mir diese unleserliche Statistik-Datei mal zuschicken? Könntest du mir dazu auch den XML-Export (via http://miniserver/stats) zukommen lassen? Meine Kontaktdaten findest du auf meiner Homepage (http://www.hafner-software.de).

**miqa** · 06.12.2016, 13:05

Zitat von ddeml

Der Dateiname besteht aus einer GUID. Diese findest du z.B. in den Links auf http://miniserver/stats. Oder du suchst die GUID in deiner .Loxone-Datei, die letztlich auch nur eine XML ist. Oder du wartest, bis ich zeit gefunden habe, mein Programm zu erweitern.

Ich wollte jetzt nicht drängeln. Ich bin ja froh das es überhaupt endlich mal jemand hinbekommen hat die Dateien zu ändern. Dachte nur das ich einfach nur zu dusselig war.

Wegen der Datei schau ich mal. Hoffe das ich heute Abend dazu komme.

**ddeml** · 08.12.2016, 22:26

Kleines Update:

Datum kann jetzt auch angepasst werden
Probleme im Datenformat werden erkannt und benannt. (unter Anderen auch das fehlerhafte File von @miqa)

**ddeml** · 09.12.2016, 17:56

romildo kannst du mir einer der Dateien zukommen lassen?

Das Programm vergleicht die Dateiendung (z.B: 201611) mit den Zeitstempeln aus der Datei. Wenn das nicht passt, meldet er dieses "Problem"...

**Gast** · 11.12.2016, 10:13

Morgen !
Endlich tut sich was mit dem Statistikeditor ! Habe dad Proggi die Tage mal probiert, ich habe das Problem gehabt, jedesmal wenn ich das Programm neu einspiele u d mein Reedkontakt des Gaszählers auf High steht, hatte es mir die Statistik zerschossen....

Bis ich da draufkam, alter ....

Jetzt hätte ich das mal probiert znd gleich mal eine frage, wenn ich z.b. mein programm im Sommer mal eingespielt habe und einen ausreisser an diesem einen Tag von mehreren m3 auf einmal habe, und dann einige Wochen wieder kein Gasverbrauch ist, muss ich die ganzen Werte ändern?? Das können ja dann mitunter sehr viel sein, bis zum nächsten Datenpunkt, wo ich wieder einen normalen Verbrauch habe ....

Bg
tomrach

**ddeml** · 18.12.2016, 17:27

Kleines Update: Ich habe jetzt einen primitiven Browser für Statistik-Files erstellt, so dass es einfacher ist, Statistikfiles zu finden und auch wieder hochzuladen.
Nach dem Start muss man zunächst einen korrekte Miniserver-URL eingeben und auf "Refresh MS" klicken. Zum Bearbeiten muss man die Daten zunächst per FTP downloaden in den "Working Folder" (entweder einzeln in den man in den entsprechenden Zeilen auf "Download" klickt, oder in dem man die entsprechenden Dateien auswählt und auf "Download selected" klickt. Dann kann man die Dateien mit "Edit" bearbeiten mit dem bereits bekannten Editor. Schließlich kann man sie mit "Upload" wieder auf den MS hochladen. Ich musste außerdem das Icon ändern, weil Loxone es nicht so toll fand, dass ich deren genommen habe. Ich habe stattdessen jetzt erst mal das loxforum-Icon genommen. Wenn jemand eine bessere Idee hat, dann immer her damit.

Bezüglich dem Problem von Gast: Ich werde einen CSV-Import/Export bauen, damit man sich die Daten in Excel anschauen und bearbeiten kann. Würde dir das reichen?

Bezüglich dem Einwand von romildo: Hast recht, ich habe die Check-Routinen entsprechend angepasst.

Als nächstes steht auf meiner Agenda, dass man mehr als nur "Download selected" im Batch machen kann. Z.B. "Delete selected" und "Upload selected". Dann will ich die Selektionsmöglichkeiten verbessern, so dass Aufgaben wie "Alle Statistiken älter als n Monate runterladen und dann vom MS löschen" möglich sein werden.

ach ja: Man kann das Programm mit 1 oder 2 Aufrufparametern starten: der erste ist die MS-URL. Wenn man die angibt wird auch gleich ein "Refresh MS" gemacht. Der zweiter ist ein alternativer "Working Folder". Als am besten eine Verknüpfung oder ein bat erstellen.

**Gerrit** · 18.12.2016, 23:53

ddeml
Erstmal vielen Dank. Fix einen Ausreißers hat funktioniert. Gab nur ein paar kleine Hindernisse:
Statistik stammt von einem Verbrauchszähler
- Beim Öffnen und Speichern wird ein Problem gelistet: UID Part mismatch. Habe trotzallem mit Sicherungskopie zuvor gespeichert und Date konnte auch gelesen werden. (btw musste einen Gesamtwert korrigieren, der einmal deutlich geringer war. Mit einer Plausibilitätsprüfung von Loxone hätte soetwas natürlich gar nicht erst passieren müssen)
- Nach dem Speichern stand in der Liste nur "newer on FS" und ein Drücken des Upload Button hat auch nichts dran geändert. Keine Meldung o.ä. Hab die Datei dann manuell hochgeladen. Auch danach heißt es weiterhin, dass die lokale Datei neuer sei. Könnte man hier stattdessen Hashes berechnen? Vielleicht liefert ja auch der FTP die Daten nicht korrekt zurück.

Loxone Statistik Editor

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar