MQTT / Incoming Overview - Out of Memory

[mariokrupik]

Habe aktuell das Problem dass unsere neuen E-Ladestationen große Menge an Mqtt Strings sendet, und am Loxberry die Incoming-Overview nicht mehr zuverlässig funktioniert, sodass der Browser dann die Meldung Out of Memory ausgiebt.

Ich hatte das Problem schon einmal mit mit dem Lox2Mqtt Plugin, wodurch soviele Strings abgerufen wurden dass der Loxberry extrem schwerfällig wurde.
Hab dann das Plugin kurzerhand wieder deinstalliert.

Unsere neuen Wallboxen würde ich aber gerne weiterverwenden.
Hab hier 10 Stück AC011K Wallboxen gekauft, und mit einer alternativen Firmware von den warp Chargern geflasht.

Der Loxberry ist weiterhin performant, aber da bei der Incoming Overview alle 100K+ Einträge geladen werden, geht hier der Browser in die Knie.
Gibt es vielleicht eine Möglichkeit zur Seitenweisen Darstellung mit max. 1000 Einträgen / Seite?

[Prof.Mobilux]

Du könntest im ersten Schritt einmal probieren nicht pauschal das ganze Topic der Wallbox zu abonnieren sondern mit Regexen zu arbeiten und nur das zu abonnieren, was du am Ende auch benötigst.

[mariokrupik]

Vielen dank. Gibt es evtl. irgendwo eine Doku wie man die Regex genau verwendet, hab aktuell nichts gefunden im Wiki / Forum.

Vielleicht kann mir jemand ein Beispiel geben anhand eines Shelly.
Wenn ich lediglich folgende Werte eines Shelly Plug-s benötige:

• shellies_shellyplug-s-80646F815BD9_relay_0
• shellies_shellyplug-s-80646F815BD9_relay_0_power
• shellies_shellyplug-s-80646F815BD9_announce_ip
• shellies_shellyplug-s-80646F83BC31_relay_0

Wie müsste ich die Regex definieren, um nur diese Werte zu übermitteln?

[Prof.Mobilux]

Du hast zwei Möglichkeiten, je nach Datenstruktur des Topics nutze ich das eine oder das andere:

Subscriptions:

Das sind normale MQTT Platzhaölter/Wildcards, die man hier nutzen kann: https://www.hivemq.com/blog/mqtt-ess...est-practices/



Oder "echte Regexe" - die werden dann nicht an den Miniserver geforwarded. Bin mir gerade unsicher, ob sie dennoch in der Incoming Overview auftauschen (könnte sein) - das würde Dir dann nicht direkt helfen, aber den Miniserver entlasten.

Zu regexen (extrem mächtig, aber komliziert) gibt es Doku wie Sand am Meer, Einstieg z. B. https://wiki.selfhtml.org/wiki/Regul%C3%A4rer_Ausdruck

[Christian Fenzl]

Die Regex' filtern nur zum Miniserver, werden aber von der Incoming Overview aufbereitet als „Filtered by RegEx“. Das heißt, es steht trotzdem im JSON.

Hast du die Performanceprobleme auch noch, wenn du einen Filter im UI gesetzt hast?
Wenn ja, müsste man das UI komplett umbauen, weil es derzeit nicht vorgesehen ist, nur Teile der Daten vom Server zu laden. Der Ui-Filter ist Clientbasiert und nimmt immer alle Daten vom Server entgegen.

Sprich: Die Performanceprobleme kommen entweder vom Aufbereiten, oder vom Anzeigen. Zweiteres lässt sich leichter korrigieren, während für ersteres viel mehr umzubauen wäre.

[mariokrupik]

Perfekt, danke.
Mit dem "+" single Topic Wildcard sollte ich meine Topics schon um über 90% reduzieren können.