LoxBerry: Statistik Plugin - Diskussion

[Robert L.]

kurze Anmerkung zum RRD: das hat einen großen Nachteil, die Daten gehen ja mit der Zeit verloren..

zum "graphisch" anschauen im Browser usw. alles toll

wenn man nichts vergessen hat..

hat man z.b. den Maximalwert vergessen (sondern nur Mittelwerte) bekommt man den nie wieder..

die "rohdaten" sollte man also auch archivieren (in einem platzsparenden Format, also eher nicht MySQL?)

bei TB Großen Festplatten (NAS usw) ja wohl kein Problem..

[Prof.Mobilux]

Robert L.


Das ist ja das Charmante an RRD: 99,9% der Nutzer werden 5 Jahre alte 1-Minuten-Werte wohl eher nicht mehr benötigen... Aber Du hast ja auch die Möglichkeit, dass RRD-Archiv so einzustellen, dass die detaillierten Minutenwerte für die letzten 20 Jahre archiviert werden.

Der Große Vorteil ist, dass Du gleich vom ersten tag an weisst wieviel Speicherplatz Du brauchst.

[Robert L.]

ich verstehe dich,
ich weiß aber nicht ob/wie einfach man dann an diese Minutenwerte kommt
ob man sie z.b. editieren kann


ich bleibe bei meiner Meinung: archiviert gehören die Daten in einem "lesbaren" Format,
als "backend" zum darstellen ist rrd sicher super..

[Gast]

Es reichen doch eigentlich druchschnittswerte pro Stunde oder gar pro Tag... will man wirklich nach 5 Jahren da noch so einen "drilldown" in die Daten machen? Reichen da nicht ab dem 2. Jahr Mittelwerte pro Tag oder alle 3-4 Stunden? Einen Trend anschauen möchte man sicher, aber pro Tag minutengenau alle Werte abfragen? Ich weiß nicht... Min und Max Werte wären schön - gerade beim Wetter. Aber das ist ne andere Diskussion :-)

P.S. Mittlerweile gibt es 10TB Festplatten, in den nächsten Jahren erwarten und 30 und 50 TB SSDs (da kann man immer höhere Kapazitäten erreichen, in größeren Sprüngen als bei klassischen HDDs). Vielleicht ist das dann mit dem minutengenauen Erfassen über 10 Jahre gar kein Thema mehr :-)

[Robert L.]

>Min und Max Werte wären schön - gerade beim Wetter. Aber das ist ne andere Diskussion

das ist aber die loxone Herangehensweise
erstmal machen, dann nachdenken

wir wollen das doch besser machen..

bei Wind z.b interessiert mich Durchschnitt z.b. überhaupt nicht, sondern Max
komme ich in 2 Jahren drauf, das Max wichtig wäre, aber ich nur Durchschnitt haben.. sind die Daten verloren..

[Christian Fenzl]

Im Vorschlag an Michael hab ich doch geschrieben, dass AVG, Min und Max IMMER dabei sein soll. Von der Datenmenge ist das vernachlässigbar.

Robert L. Etwas frech finde ich dein "erstmal machen, dann nachdenken".
Schau dich um: Seit 5 Jahren "denken" Leute nach, und was ist herausgekommen? Wieviele für den Laien einrichtbare Statistikaufzeichnungstools gibt es für Loxone?
Ich habe seit Jahren mit RRDTool gearbeitet, und meine Langzeiteerfahrungen an Michael weitergegeben. Michael ist auch nicht morgens aufgewacht, hat sich gedacht, "Statistik ist cool" und hat losprogrammiert, sondern hier aktiv alles, wo's um Statistik geht, mitverfolgt.

Nochmal möchte ich betonen, dass es hier um ein Statistiktool für den LoxBerry, also einen Raspberry Pi geht. Gerne kann sich jeder daheim ein Rechenzentrum mit Octacores und SAN-Speicher hinstellen, und sich seine Software installieren, um die Raumtemperatur der letzten 20 Jahre minutengenau aufzuzeichnen. Und ein Octacore 64GB RAM und RAID-0 hat dann sicher auch keine Probleme, aus nicht aggregierten Minutenwerten einen Jahresvergleich zu machen. Der Rasp kann das nicht.

lg, Christian

[Robert L.]

>AVG, Min und Max IMMER

es ging mir eher ums "Prinzip" nicht um den konkreten Fall
also dass man einfach irgendwas! vergessen hat.. (was weiß ich jetzt auch noch nicht, aber um das gehts ja)

>Gerne kann sich jeder daheim ein Rechenzentrum mit Octacores .. aus nicht aggregierten Minutenwerten einen Jahresvergleich zu machen.
hab ich ja nie geschrieben, das Archiv nur ZUSÄTZLICH zum RRD
das RRD muss sich aus dem ARCHIV neu aufbauen lassen können..


>Etwas frech finde ich dein "erstmal machen, dann nachdenken".

kann man in RRD die Minutenwerte editieren??
nein,
dann finde ich es nicht frech..

[Christian Fenzl]

PS: Es dürfte ein leichtes sein, die abgegolten Daten auch in eine SQL-Datenbank zu schicken. Daran wird es nicht scheitern. Es soll nachher nur niemand jammern, wenn die Visu 30 Sekunden braucht, um die Monatswerte für ein paar Temperaturen anzuzeigen.

[Robert L.]

die Antwort hat sich überschnitten, siehe oben

VISU natürlich nur aus dem RRD

[svethi]

Christian Fenzl Robert scheint sich ja prächtig auf dem Gebiet auszukennen. Für meinen Teil hätte er doch genug KnowHow um Wörtern auch Taten folgen zu lassen, oder?

[Robert L.]

könnte ich ja, hab abere andere Prioritäten ;-)

na, ernsthaft, a bisserl kritik wird "man" ja wohl noch vertragen...

gerade das editieren von "Ausreißern" ist ja jetzt nicht auf meinem Mist gewachsen, sondern eines der Hauptkritikpunkte an loxone statistiken..



zum Archiv: ich hab z.B. alle Heizungswerte (30 werte ca. ) ,ok nur 5 Minütig, aber viel mehr gibt die alte Anlage nicht her,
seit ca. 8 Jahren gespeichert (auch) als csv
da geht es aber um Megabyte größen, nicht um Gigabyte (das ist also vernachlässigbar)



ich könnte also ganz einfach die Werte in das zukünftige LoxBerry: Statistik Plugin - importieren
ohne Archiv wäre das schwierig..

[Christian Fenzl]

Aus meiner Sicht ist eh das Einfachhalten der Einrichtung das Schwierigste. RRDTool ist echt nicht einfach zu verstehen, aber wenn du einem Laien die SQL-Commands zum Anlegen von Datenbanken und Tabellen um die Ohren wirfst, ist das auch das gleiche.

Wenn Michael also eine coole Visu zum Einrichten und einen fertigen Poller hat, kann man sich da noch hineinhängen und auch gleich ein INSERT in eine Datenbank schicken. Gleiches bei der Visualisierung.

Editieren kann man ein RRD-Archiv nur über Umwege - das ist prinzipbedingt nicht vorgesehen, weil man ja mit aggregierten Daten zu tun hat. Editieren heißt: XML-Backup, Editieren, XML-Restore.

[Torro]

Hallo Robert,

kann man in RRD die Minutenwerte editieren??
nein,
dann finde ich es nicht frech..

Ja, man kann am Ende alles editieren in den RRD Datenbanken. Ob es allerdings Sinn macht, muss jeder für sich selbst entscheiden. Man kann sogar eine erstellte Daten nachträglich in der Struktur ändern.

[Hannes Schellnast]

Brainstorming von meiner Seite: Wäre vielleicht auch zu überlegen, ob neben der zyklusgetriebenen Aufzeichnung auch eine von Events getriebene Aufzeichnung sinnvoll wäre. Das RRD-Tool basiert (so nehme ich an) auf zyklischen Samplewerten. Vielleicht gibt es auch einige Usecases, bei denen über eine eventgetriebenen Aufzeichnungsmethode Speicher gespart werden könnte. Bsp. Ein Signalverlauf ändert sich über Stunden nicht, und dann gibt es plötzliche Signalschwankungen, die für den User über eine kurze Zeitspanne interessant sein könnten. Ev. könnte es auch interessant sein, eine gewisse Bandbreite vorzugeben, und die Werte erst dann aufzuzeichnen, sobald der Messwert über diese Toleranzschwelle rausfährt.
Eine genaue Abschätzung der Datenmenge wäre bei der eventbasierten Datenaufzeichnung natürlich nicht möglich, jedoch kann bei einigen Anwendungen sicher viel Speicher eingespart werden.
Jede dieser Datenaufzeichnungsmethoden hat ihre Vor- u. Nachteile. Deshalb wäre es optimal, wenn der User für verschiedene Anwendungen verschiedenen Methoden zur Speicherung wählen könnte.
MfG
Hannes

[Prof.Mobilux]

Aaaaaalso, Kritik ist erlaubt, uns zu unterstellen, dass wir nicht nachgedacht hätten, nicht.

Ich weiß nicht was ihr in eurer Freizeit so treibt, aber bei mir gehört das Editieren von irgendwelchen Statisitiken der letzten 20 Jahre nicht dazu. Aber jeder hat andere Hobbies... Das RRdTool bietet auf jeden Fall die MinMax Begrenzung, damit dürften Ausreißer zu einem großen Teil schon mal erledigt sein. Ein Export in XML, CSV oder ähnlich ist ebenfalls jederzeit möglich.

Und ja: später noch die Möglichkeit zu schaffen jeden Wert parallel in eine SQL DB zu feuern ist simpel. Robert steuert sicherlich den entsprechenden Code bei ;-)

[Robert L.]

>Aaaaaalso, Kritik ist erlaubt, uns zu unterstellen, dass wir nicht nachgedacht hätten, nicht.

das "erst machen dann denken" bezog sich auf folgendes Posting:

https://www.loxforum.com/forum/german/software-konfiguration-programm-und-visualisierung/61081-loxberry-statistik-plugin-diskussion?p=63022#post63022

genauer auf
>>Min und Max Werte wären schön - gerade beim Wetter. Aber das ist ne andere Diskussion

das hab ich auch so zitiert..
(warum sich hier plötzlich "alle" betroffen fühlen ist mir schleierhaft)

wenn man das machen WÜRDE (also nur AVG speichern, im RRD , ..)
wird man sich später über die verlorenenden Daten ärgern.
(so wie man sich bei der Loxone statistik eben auch ärgert, dass es nur "mittelwert über 5, 10, 30 " usw. gibt aber keine min/max über diese zeit

Mein Vorschlag wäre sicher die bessere Lösung, dass ihr/wir keine Resourcen dafür haben ist auch klar.. (ist halt wie bei loxone ;-))



>aber bei mir gehört das Editieren von irgendwelchen Statisitiken der letzten 20 Jahre nicht dazu

meines auch nicht, aber nach Stromausfall z.b.

(https://loxfeedback.uservoice.com/fo...en-k%C3%B6nnen)


>Robert steuert sicherlich den entsprechenden Code bei ;-)

nein, weil ich es nicht in eine SQL DB schreiben würde, .. steht aber auch alles weiter oben..

[svethi]

Warst nicht Du es, der schrieb das Du die Daten in einer CSV hast? Naja, da stehen die als Text und belegen sicher mehr Speicher als in der DB mit Wertefeldern. Ebenso ist das Abrufen der Werten, gerade über einen so langen Zeitraum, sicher effizienter über eine DB. Was hast Du da dagegen?
Klar ist eigentlich leider auch, dass der Raspi mit seiner SD-Karte ebensowenig für solche Dinge gemacht ist wie der MiniServer

[Gast]

Also da ich wohl mit den Min/Max Werte hier den Einstieg gegeben habe: zum einen war das nicht als Begrenzung gedacht sondern als "Hey, das war die maximale Luftfeuchtigkeit, die wir je in dem Raum hatten." oder "Wow, dieser Sommer hat einen neuen Hitzerekord bei mir daheim aufgestellt." Da geht es nur um einen Indikator, was der maximale Werte eines Sensors war, der jemals (seit Aufzeichnungen mit dem Statistik-Plugin gemacht wurden).

Ich selbst kenne mich viel zu wenig mit RRdTool aus, als das ich hier irgendjemand irgendwas empfehlen könnte. Meine Stärken liegen in anderen Bereichen. Daher seht es bitte als Feature-Vorschlag und nicht als Kritik an eurer Arbeit. Ich persönlich freue mich sehr auf das Plugin und habe großen Respekt vor eurer Programmierleistung. Ich kann zwar nur rudimentär programmieren, weiß aber sehr genau, wie schwer das sein kann!

[Prof.Mobilux]

das "erst machen dann denken" bezog sich auf folgendes Posting:
genauer auf
>>Min und Max Werte wären schön - gerade beim Wetter. Aber das ist ne andere Diskussion
das hab ich auch so zitiert..
(warum sich hier plötzlich "alle" betroffen fühlen ist mir schleierhaft)

Ja, weil wir uns genau über diesen Punkt bereits Gedanken gemacht haben und beschlossen haben, sowohl AVG als auch Min und Max immer zu speichern. Das kannst Du oben alles nachlesen wenn Du möchtest.

Und nein: Ich bin weder beleidigt noch betroffen ;-) Aber wenn einem so etwas schon zu unrecht vorgeworfen wird, dann musst Du auch damit leben, dass wir Dir erläutern, dass Du falsch liegst.

>Robert steuert sicherlich den entsprechenden Code bei ;-)

nein, weil ich es nicht in eine SQL DB schreiben würde, .. steht aber auch alles weiter oben..

Kannst ja auch etwas anderes nehmen. Ich schlage vor, Du machst Dir erstmal Gedanken darüber ;-)

[Robert L.]

ok, du willst mich nicht verstehen,
lasen wir es..

[Prof.Mobilux]

Aha.