Loxone Statistik Editor

[romildo]

ddeml
Leider funktioniert es bei mir noch nicht so richtig, oder ich kann es nicht bedienen.
Wenn ich beim Miniserver einen Refresh ausführe werden die Statistiken angezeigt. Wenn ich dann eine Statistik herunterlade, verschwindet sie im Fenster.
Ein Refresh auf Working Folder bewirkt nur etwas, wenn ich vorher keinen Miniserver Refresh gemacht habe.

[Stonelink]

Danke Romildo, Dein Hinweis hat funktioniert. Dank "Blacksun" und Dir hab ich es nun geschafft, die Statistik zu korrigieren!

Folgender Workaround:
- Tool runterladen gem. Post 87.2 mit Downloadlink
- Tool ausführen (und wie hier im Forum beschrieben die Verbindung zum Miniserver per FTP Adresseingabe herstellen:
ftp://adminusername:adminpasswort@miniserver-IP:21)
- Refresh drücken, nun sollten die Datensätze importiert werden. Nicht wundern, vorerst kryptische Überschriften, die für die Monate gezogen werden
- download Button bei den Monaten drücken, wo man seine Daten vermutet (ich habe z.B. alle Datensätze des Monats 10/2019). Nach Download ist die
Überschrift dann in Klarschrift zu sehen
- dann den gewünschten Eintrag auswählen (Klick) und Button "Edit" drücken
- es öffnet sich ein neues Fenster mit den einzelnen Tageswerten
- man korrigiert nun was nicht passt (reinklicken und reinschreiben) und drückt dann wenn man fertig ist den "save" Button
- man bestätigt den Warnhinweis und erhält dann die Meldung der erfolgreichen Speicherung und kann das Editierfenster nun schliessen (das Hauptfenster geöffnet lassen)
- jetzt zurück auf dem Hauptfenster den Upload Button drücken

Soweit Teil 1...


Ich musste nun wie folgt weitermachen, damit die Daten in der Visualisierung auch korrekt angezeigt werden:

1. meine AQ Ausgänge zeigten trotz dieser Vorgehensweise im aktivierten Live-Modus weiterhin viel zu hohe Werte - kurz man muss am Verbrauchszähler Baustein einen Reset durchführen (dann wird der nur aktuelle Monat zurückgesetzt). Bei mir ideal dass heute der 01.11. ist... gleich kurz nach Mitternach konnte ich deshalb loslegen
Dazu am Verbrauchszähler Baustein unten links das Plus symbol aufklicken und "Reset" mit anwählen, so dass dieser Eingang am Baustein nun mit angezeigt wird
Dann dort entweder einen virtuellen Eingang dranhängen als Taste konfiguriert (F5-Suche "virtueller Eingang") oder man nimmt einen Taster.
das ganze mit dem Reset Eingang verbinden (virtuellen Eingang auf das Blatt ziehen und verbinden)
in den Miniserver speichern
dann über App oder WEB den Reset auslösen, dann sollte der AQ Ausgang auf 0 stehen
nach wenigen Minuten kommen dann wieder korrekte Daten vom Zähler. Wie gesagt Live Modus mal anmachen und schauen was kommt

2. Das reicht aber immer noch nicht aus.... jetzt wird zwar alles was im November passiert (aktueller Monat) korrekt dargestellt, jedoch der Vormonat (hier Okt.) wird in der App oder im Webbrowser weiterhin nicht korrekt angezeigt und die hohen Ausschläge verzerren das Bild...
Hier muss man dann bei Browsern wie Firefox, Chrome oder MS Edge den Cache löschen. (Bei mir hat es zum Kurzcheck schon gereicht mal kurz den Start des Webportals auf nem Browser durchzuführen den ich sonst nie nutze...)
Wie man über die jew. Browsereinstellungen den Cache leert kriegt man sicher schnell via google/Youtube raus oder wiess das bereits;-)
auf dem Handy auch den Cache leeren... mir fiel da nur ein die App kurz runterzu löschen und wieder neu zu installieren (also Anmeldedaten parat haben)
nachdem man dies gemacht hat passt die Statistik wieder

3. was jetzt immer noch nicht korrekt angezeigt wird sind die diversen Auswertungsdaten, die an AQ2, 3,4,5 usw. hängen über virtuelle Statusbausteine.
z.B Verbrauch dieser Monat, Verbrauch letzter Monat, dieses Jahr, gestern, vorgestern etc.
auch hier muss sicher noch etwas unternommen werden, um hier wieder die korrekten Stände zu erhalten... das versuche ich noch herauszubekommen und poste es dann gern...

Romildo... wieder eine Hilfestellung von Dir dazu mgl. wie man den jeweiligen virtuellen Statusbaustein zurücksetzt??




Hoffe diese Ausführliche Schritt für Schritt Beschreibung hilft bis dahin erst einmal ein gutes Stück weiter, Danke allen Beteiligten!

[Stonelink]

So weiter gehts mit Teil 3, nachdem mir Romildo mal wieder weitergeholfen hat - großen Dank!

Teil 3 Korrektur einer XML Datei, die sich auf der Micro-SD Karte im Miniserver befindet:

was jetzt immer noch nicht korrekt angezeigt wird sind die diversen Auswertungsdaten, die an AQ2, 3,4,5 usw. hängen über virtuelle Statusbausteine.
z.B Verbrauch dieser Monat, Verbrauch letzter Monat, dieses Jahr, gestern, vorgestern etc.
auch hier muss noch etwas unternommen werden, um hier wieder die korrekten Stände zu erhalten... und zwar:

Die Verbrauchswerte für Monat Jahr usw, bezieht der Miniserver beim Neustart aus der neuesten Remanenzdatei, remxxx.xml (xxx steht für die fortlaufende Nummer)
Diese liegt auf dem Miniserver im Verzeichnis /sys/rem/

Daten welche während der Änderung hereinkommen werden natürlich nicht berücksichtigt.

Grundsätzlich:
Die Datei kann mit einem Texteditor bearbeitet werden.

Dazu muss man eigentlich nur die UUID und die Sollwerte des zu korrigierenden Verbrauchszählers kennen.
UUID herausfinden:
Möglichkeit 1 (mein Favorit):
Im Webbrowser http://<IP-Miniserver:Port>/data/LoxAPP3.json eingeben
In der Json Auflistung unter „controls“ nach der UUID, welche Du vermutest die richtige zu sein, suchen. Durch Klick auf die UUID erscheint dann auch der Name.

Möglichkeit 2:
Auf dem PC die Programmdatei mit einem Texteditor öffnen und nach der Bezeichnung der Verbrauchszählers suchen. Kurz vor dem Text findet man die zugehörige UUID.


Vorgehensweise:
Damit die remxxx.xml möglichst aktuell ist lade ich mir das Programm erst vom Miniserver in die config. Danach wieder von der config in den Miniserver. Beim Speichern wird eine neue remxxx.xml angelegt.
Diese remxxx.xml lade ich mir per ftp auf den PC, einmal als Kopie und einmal zum Bearbeiten.
ACHTUNG: es muss nicht die letzte fortlaufende Nummer sein!!! Orientiert Euch an der Spalte „geändert am“ und sucht euch die Datei mit dem neueste Datum/Uhrzeit. Bei mir war vom Dateinamen her z.B. eine rem198.xml aber die vom Datum her und Uhrzeit war eine rem138.xml mit 1 KB Größe. Zeitgleich wurde auch eine rem38.xml mit 7 KB geschrieben – die nicht nehmen sodern die im Bereich >99 und kleiner 1.000.
Ein gutes Programm dafür ist „WinSCP“. Dort FTP als Verbindungsart auswählen und mit IP des Miniservers und Admin Zugangsdaten einwählen
Die Datei auf den eigenen Rechner übertragen (in Kopfzeile Button „Herunterladen“ nutzen
Sicherheitskopie der Datei erstellen und dann geht es mit der Datei ans editieren…
Ich habe einfach den von Windows verfügbaren Editor genutzt (rechte maustaste auf Datei und öffnen mit  Editor angewählt.

Nun sucht man in der xml Datei mittels UUID den richtigen Verbrauchszähler und korrigierst die Werte welche nicht passen. Oder schreibt wie in meinem Fall welche dazu… bei mir waren einige AQ Ausgänge gar nicht aufgeführt. Wichtig ist hier den Aufbau zu verstehen und die Einträge akribisch sowohl in den Kopfbereich als auch untereinander zu erfassen (also 2fach)
Die Werte sind immer zweimal vorhanden.

Konkret für Verbrauchszähler ein Bsp. vor Editieren (diverse Werte falsch und es fehlen AQ3, AQ5, AQ7 und AQ9):

<?xml version="1.0" encoding="utf-8"?>
<Rem Date="2019-11-02 13:50:04" Save="2019-11-02 13:51:01" Version="3" LastTimeChanged="341896123">
<RO Obj="10b0d720-001c-955f-ffffefc088fafadd" FT="341934710661" V="49218.6" A="49218.6" D="305" V0="12.6" V1="49206" V3="49218.6" V5="49218.6" V7="49218.6">
<O K="AQ" V="49218.6"/>
<O K="AQp" V="1200"/>
<O K="AQ1" V="12.6"/>
<O K="AQ2" V="49206"/>
<O K="AQ4" V="49218.6"/>
<O K="AQ6" V="49218.6"/>
<O K="AQ8" V="49218.6"/>
</RO>
</Rem>




Fertig editiert sieht es dann so aus:
<?xml version="1.0" encoding="utf-8"?>
<Rem Date="2019-11-02 13:50:04" Save="2019-11-02 13:51:01" Version="3" LastTimeChanged="341896123">
<RO Obj="10b0d720-001c-955f-ffffefc088fafadd" FT="341934710661" V="49218.6" A="49218.6" D="305" V0="12.6" V1="34.0" V2="39.5" V3="166.8" V4="120.6" V5="46.7" V6="603.6" V7="6800.0" V8="8400.0">
<O K="AQ" V="49218.6"/>
<O K="AQp" V="1200"/>
<O K="AQ1" V="12.6"/>
<O K="AQ2" V="34.0"/>
<O K="AQ3" V="39.5"/>
<O K="AQ4" V="166.8"/>
<O K="AQ5" V="120.6"/>
<O K="AQ6" V="46.7"/>
<O K="AQ7" V="603.6"/>
<O K="AQ8" V="6800.0"/>
<O K="AQ9" V="8400.0"/>#
</RO>
</Rem>

Welcher AQ welchen Wert ausgibt sieht man in der Config bei Mausover über den jew. Ausgang
z.B.
AQ1 = Verbrauch heute
AQ2 = Verbrauch gestern
AQ3 = vorgestern usw.

Die genauen Werte/Daten dafür habe ich mir über die Handyapp geholt da ja die Statistik des Stromzähler (das Balkendiagramm) bereits korrekt arbeitet durch unsere Reparaturschritte weiter oben
Durch Ein- und Auszoomen erhält man Tageswerte, Wochenwerte (Taschenrechner nutzen ;-) ) Monatswerte und Jahreswerte angezeigt.
Wenn alles passt, die Datei abspeichern

Die nun korrigierte remxxx.xml speichert man dann wieder über ftp z.B. wieder mit dem Programm WinSCP auf den Miniserver.
Wenn das erfolgt ist, trennt man den Miniserver (MS) kurz vom Netz (Stecker rausziehen o.ä. und paar Sekunden warten, ich hab bis 5 gezählt)
Dann wieder Stecker einstecken und MS bestromen. Bei dieser Vorgehensweise wird keine neue remxxx.xml geschrieben
(was Ziel dieser Übung ist).
Bei Stromwiederkehr nimmt der MS somit die korrigierte remxxx.xml und verarbeitet diese
Danach sollten die Daten richtig angezeigt werden.

That’s it! Viel Erfolg!

# Danke @Blacksun
# Danke romildo

[Reimai]

Wäre es nicht sinnvoll zuerst die Remanenzdatei zu ändern und anschließend die statistischen Einzelwerte?

[MightyLox]

Hi,

ohne jetzt alles gelesen zu haben. Toll, wie es hier weitergeht. Wenn ich helfen kann, gerne.

Grüße
Mighty

[simon_hh]

ddeml Kannst Du nochmal den Link aktualisieren?

Danke

[romildo]

Du findest ihn in #87.2

[simon_hh]

Danke Dir

[scallywag]

ddeml: Erstmal vielen Dank für Deinen Einsatz und das Tool! Tolle Arbeit!!!!

Getreu dem Motto "trail & error" war ich mal gleich so mutig und habe eine Statistik aus diesem Monat bearbeitet, da mir am Monatgmittag ein Verbrauchszähler-Baustein einen exorbitant hohen und nie zu erreichenden Wert in die Statistik gefeuert hat.
Hat auch prima geklappt, da ich nur 2 direkt auf einanderfolgende Werte ändern musste. Genau so problemlos lief das zurückschreiben auf den MS.

Wenn ich mir die Statistik nun über einen Browser ansehe, wird der Graph mit den angepassten Werten angezeigt.
Lediglich in der LoxoneApp (V7.4) bekomme ich noch den alten Graph mit dem Ausreißer angezeigt.

Hat jemand eine Idee, wie man in der App den Graphen neu laden kann? MS ist schon neu gestartet, brachte aber keine Änderung.

[scallywag]

Danke für den Tipp!
Jetzt wäre das nicht so dramatisch, noch bis Samstag zu warten und die Änderung dann zu machen.
Passiert sowas aber am Monatsanfang und hat dann den Rest des Monats eine Statistik, auf der man nichts mehr erkennen kann, da es einen Ausreißer gibt, der die y-Achse bis in´s Unendlich zieht, wäre das nicht so pralle!

[romildo]

Das Problem ist halt, dass Loxone keine Lösung dafür hat.
Du kannst die Daten des aktuellen Monats schon ändern musst aber folgendes dabei bedenken.
Du holst die komplette Monatsdatei vom Server, änderst diese und legst die geänderte Datei wieder in den Server.
Sämtliche Aufzeichnungen während dieser Zeit werden aber in die Datei auf dem Server geschrieben und sind in der Datei welche du gerade am Ändern bist nicht vorhanden. Nach der Änderung überschreibst Du die Datei auf dem Server mit der geänderten und verlierst somit alle Aufzeichnungen welche während der Änderung gemacht wurden. Ob Dir dies lieber ist musst Du entscheiden.

[scallywag]

Das ist schon klar.
In diesem Fall wird die entsprechende Statistik alle 5 Minuten mit dem nächsten Wert ergänzt. in dem Zeitraum ist es ohne Probleme Möglich, die zu fehlerhafte Datei vom Server zu holen, zu ändern und wieder zurückzuschreiben.
Trotzdem Danke für den Hinweis! *thumbsup*

[Gast]

Hallo ddemi

gerne möchte ich dein Tool ausprobieren. Mutig dazu hin ich immer

Leider funktioniert der Dropbox link nicht mehr. Habe ein paar Ausreisser zum korrigieren, die mir die RS485 Schnittstelle vom Kostal WR her in die Statistik gehauen hat.

Gruss
Sigma

[romildo]

Scheinbar hast Du nicht alles gelesen
Siehe #93.1

Hallo romildo
Ja, Du hast recht, ich habe es danach gesehen und das Programm holen können. Es war im Kommentar und nicht im original Thread.
Aber muss noch etwas testen. Bekomme einen Fehler wenn ich die Daten auslesen will. Muss mal gucken ob da noch zusätzlich etwas installiert werden muss. Bilder anhängen scheint hier im Forum, zumindest im Kommentrafeld nicht zu gehen.

Gruss
Sigma

[Benjamin Jobst]

ddeml Sehr schön, dass sich jemand gefunden hat, der sich des Statistik Editors wieder angenommen hat =) Die Version sieht schon mal sehr vielversprechend aus, bei mir hat die Änderung eines Testwerts problemlos geklappt. Ich bin begeistert, was hier alles umgesetzt wird! =)

[Gast]

Hier noch der Fehler nach dem Start.

Gruss
Sigma

[romildo]

Du musst zuerst die gewünschte Datei downloaden (Download), dabei wird die Datei in den Working Folder geladen und in der Liste mit dem Namen aufgeführt.
Diese Datei kannst Du dann editieren (Edit).

Hallo romildo
Danke Dir, irgendwann habe ich das nach ein paar Versuchen rausgefunden. Ohne Download auf Edit drücken war nicht das gelbe vom Ei. Genau dann erhalte ich diesen Fehler. Nach dem Download hats dann funktioniert. Jetzt muss ich mal rausfinden welches File es nun genau ist und wo der Hund begraben ist.
Muss aber bis Smstag oder Sonntag warten. Vorher komme ich nicht mehr dazu.

Gruss
Sigma

[romildo]

Es kann ja auch mehrfach markiert und dann heruntergeladen werden.
Am einfachsten ist es, wenn Du alle herunterlädst, dann werden nähmlich die Namen angezeigt und somit eine Suche vereinfacht.

[eisenkarl]

DotNet?

[romildo]

Hast Du denn die Datei (siehe #97.1) heruntergeladen?
Direkt vom Miniserver geht nicht, da kommt bei mir die Meldung auch.

[ezi]

Bei mir funktioniert der download...

Das mit dot.net dachte ich zuerst auch. Aber es war simpler...ich habe die Files. Nicht runtergelesen, sondern wollte direkt editieren auf dem ms, das klappt scheinbar nicht. Da kam dann der Fehler. Downloaden und es klappte,

Gruss
Sigma

[soko]

Hallo Leute,

EDIT: Tool funkt super, DANKE!!!
Aber ich hab dasselbe Problem mit dem App-Refresh unter iOS wie scallywag
Hast du eine Lösung dazu gefunden??

danke
Soko

[Iksi]

Vielleicht ne etwas blöde Frage:
Wo kann ich den Editor runterladen?

Gesendet von meinem BLN-L21 mit Tapatalk

[simon_hh]

ist etwas versteckt in den Kommentaren in #87.2:

Hier noch mal der originale Link von ddeml

https://www.dropbox.com/s/scm4wxpizct2jqz/LoxStatEdit.exe

[Gast]

Hallo allerseits,

das ist ja super, dass es mit dem LoxStatEdit weitergegangen ist :-) Leider ist der dropbox link tot. Könnte jemand nochmal die aktuelle Version hochladen, bei mir haben sich gleich ein paar Statistiken zerschossen und das Teil wäre eine große Hilfe.

Viele Grüße und danke schon im voraus,

Stefan

[romildo]

Nimm den aus #87.2 der geht.

[Gast]

@romildo: Klasse, vielen Dank! Ich dachte ich hätte alle ausprobiert Der Editor ist großartig und funktioniert einwandfrei!!

[uli]

Erst mal vielen Dank für das tolle Programm! Ich konnte bereits einige Ausreißer damit korrigieren.

Allerdings habe ich immer noch ein paar hartnäckige Fehler im Energiemonitor. Ich habe nun den betroffenen Vormonat, Monat und Monat danach heruntergeladen. Es werden aber keine Probleme angezeigt und ich finde auch keinen Fehler, die Werte sehen einwandfrei aus.

Habt Ihr noch eine Idee, wie ich die Ausreißer finden kann? (Den Cache habe ich gelöscht, daran kann es nicht liegen)

[Gast]

Ich habe ja leider noch immer ein Problem mit meinem (Gas-) Verbrauchszähler, siehe Bild.
Sind einige ordentliche ausreißer drin, damit die ganze Statistik hinüber ist...

Mit dem derzeitigen Statistikeditor ist dieses Problem ja nicht zu lösen, oder ?
Gibts da eine Möglichkeit das noch in den Griff zu bekommen?

bg
tomrach

[romildo]

Die Ausreisser kannst Du mit dem Editor schon korrigieren, wenn Du die echten Werte nicht kennst, müsstest Du sie halt schätzen.
Wenn Du auch eine Tagesstatistik hast, könntest Du diese Werte zusammenzählen.