Miniserverbackup

[Christian Fenzl]

Dev-Community und Wörsty

Das createmsbackup.pl ist jetzt komplett ver'LoxBerry;;System'd und liegt in meinem miniserverbackup-Fork / Branch LoxBerry-System.
Das CloudDNS-Handling sollte jetzt komplett aus LoxBerry::System kommen, ich kann (und will) es aber nicht testen.
Wahrscheinlich sind da noch ein paar Bugs drin. Ziel ist, dass es komplett transparent fürs Plugin ist, und LoxBerry::System bei get_miniservers bzw. get_ftpport genau das zurückliefert, was das Plugin für lokalen und CloudDNS-Zugriff braucht, ohne eine Zeile Code im Plugin. Nach meiner Meinung sollte das schon funktionieren, aber ohne CloudDNS, was ich nicht einrichten will, kann ich's nicht ausprobieren.

Tests mit Passwörtern werde ich jetzt durchführen. Die Passwörter sollten in der general.cfg URL-encoded liegen, sowas müsste auch in ein 0.2.4-Upgrade.

lg, Christian

[Wörsty]

Teste es heute Abend. Melde mich dann hier.

[Christian Fenzl]

Hi,

Die index.cgi ist jetzt auch ver'LoxBerry::System/Web'd und das Templatesystem auf Multilingual (ein einziges Template und dazu Sprachfiles) umgebaut, und die selected=selected Sachen auf JavaScript geändert.

Wenn mal einer der Dev-Runde als Vorab-Test ausprobieren möchte?
https://github.com/christianTF/LoxBe...oxBerry-System (LoxBerry-System Branch, nicht der master)

lg, Christian

[Christian Fenzl]

Hi,

wer die Überarbeitung mal ausprobieren möchte, kann das Plugin-ZIP hier herunterladen:

https://github.com/christianTF/LoxBerry-Plugin-miniserverbackup/raw/LoxBerry-System/LoxBerry-Plugin-miniserverbackup-v0.19.zip

Feedback wäre vor allem auch interessant von jenen, bei denen das Backup zum Absturz des MS geführt hat. Beachtet: Mit dieser Version des Plugins wird inkrementell gesichert, d.h. der ERSTE Download ist von der Miniserver-Last gleich wie bisher. Sollte der MS crashen, dann das Backup erneut versuchen. Die heruntergeladenen Daten bleiben am LoxBerry erhalten. Wenn einmal alles heruntergeladen wurde, werden vom MS nur noch zwei Dutzend Files (statt 1.000-3.000 Files) heruntergeladen. Das sollte die Crashes jedenfalls reduzieren. Das Memory-Leak des Miniservers selbst kann das natürlich nicht beheben. Das erste Backup kann insgesamt eine gute Stunde dauern.

lg, Christian

[Wörsty]

Loxone ist wohl guter Dinge, dass das Memory leak in der nächsten Beta behoben ist. Ich werde berichten..,,

[Wörsty]

Bei Cloud scheint die Firewall zuzumachen:

2017-02-23 19:07:57 Miniserver #2: Starte Herunterladen des Ordners: /temp ...
2017-02-23 19:07:57 62.158.81.1 ---- Connecting to ............ port ....
2017-02-23 19:07:57 62.158.81.1 <--- 220 FTP ready at Feb 23 19:07:57
2017-02-23 19:07:57 62.158.81.1 <--- 230 OK
2017-02-23 19:07:57 62.158.81.1 <--- 250 OK
2017-02-23 19:07:57 Miniserver #2: Mit Versuch 1 von 15 konnte die/das folgende Datei/Verzeichnis erfolgreich heruntergeladen werden: http://------:-----@..........:........../dev/cfg/ftp
2017-02-23 19:07:57 Miniserver #2: Starte Herunterladen des Ordners: /update ...
2017-02-23 19:07:57 62.158.81.1 ---- Connecting to .......... (..............) port ..........
2017-02-23 19:07:57 62.158.81.1 <--- 220 FTP ready at Feb 23 19:07:57
2017-02-23 19:07:57 62.158.81.1 <--- 230 OK
2017-02-23 19:07:57 62.158.81.1 <--- 250 OK
2017-02-23 19:08:17 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:22 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:27 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:32 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:37 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:42 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:47 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:52 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:08:57 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:02 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:07 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:12 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:17 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:22 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:27 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:32 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:37 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:42 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:47 62.158.81.1 **** Timeout - reconnecting
2017-02-23 19:09:52 62.158.81.1 **** Timeout - reconnecting

[svethi]

Sieht eher tatsächlich so aus, als wird der externe Verbindungsversuch unterbunden ... zu viel Connections in kurzer Zeit.
Christian, startest Du das lftp für verschiedene Verzeichnisse neu, oder connected das lftp von selber neu ...
Diese vielen neue Verbindungen sehe ich als Problem.

[Christian Fenzl]

Jedes Verzeichnis startet lftp neu - könnte man rasch ändern.

[svethi]

Ich kenne das Problem nämlich auch.
Wir haben auf vielen Server Fail2Ban laufen und wenn da irgendwelche Webdesigner an den Seiten arbeiten und dann permanent neue Sache einzeln per FTP hochladen, schießen die sich auch regelmäßig ab :-)

[svethi]

Christian Fenzl Deine System.pm und Web.pm sind also derzeit im miniserverbackup!? Gab es schon eine Einigung über das lib-Verzeichnis im Loxberry? Ich würde die ja auch schon einbinden wollen, doch dann halt zentral.

[Christian Fenzl]

In meinem Fork von LB ist auch immer die neueste Version. Im Prinzip muss man am System nur die Environment-Variable für Perllibs setzen mit dem Pfad.
Ich hab noch keine Idee, wie man das am besten macht, solange es keinen finalen Stand gibt. Wahrscheinlich derzeit vorläufig weiterhin pro Plugin mitliefern.
Das was bisher drin ist, schaut halbwegs stabil aus.

[svethi]

Also da kommt bei mir ein compilierungserror, da er Carl nicht finden kann.
Zuerst dachte ich mir, dass dies kein Problem ist, da das cgi im Apache läuft und dann als loxberry, doch man sollte Loxberry::System dann ja auch im daemon nutzen können. Da fällt er ja jetzt hardcodiert auf /opt/loxberry zurück

[Christian Fenzl]

Für einen Daemon und Cron müsste es noch eine schlaue Implementierung geben, die aus dem Namen der Datei die Plugin-Verzeichnisse zusammensortiert.
Die systemweite Umgebungsvariable wäre das Optimum, aber die muss man erst irgendwie setzen
Postinstall -> Daemon -> dort Variable setzen

[Christian Fenzl]

Beim Daemon ist jedenfalls der Dateiname der Pluginname.
Bei LB0.2.x ist das derzeit jedenfalls ein Henne-Ei-Problem.

[Wörsty]

Wenn du curl meinst, ja, habe ich wohl manuell installiert. Muss dann noch ins apt mir rein.
ansonsten ist das RAM Problem bzw ms reboot Thema ab 8.3.2.22 gelöst.

[Christian Fenzl]

Wörsty, gemeint war carp, nicht curl.
Das ist ein Command, mit dem du in Perl innerhalb eines Moduls ein Warning erzeugen kannst, wo dann nicht die Zeilennummer im pm-Modul genannt wird, sondern die Zeile im eigenen Script, wo die Funktion aufgerufen wird.

[Wörsty]

Ah ja - kenn ich nich

[Christian Fenzl]

Bezüglich CloudDNS: Kann jemand von euch mit den Timeout-Parametern von lftp spielen?

Wenn ihr CloudDNS probiert, sichert ihr dann wirklich via Web?

[Wörsty]

Ja und ja aber erst heute Abend.

[Wörsty]

Getestet. LAN geht.

Cloud nicht.
Ich glaube ich mache mal eine Anfrage bei Loxone auf, ob man die Firewall nicht etwas konfigurierbarer machen kann.
Dann könnte man das mit der Blockade vielleicht irgendwie damit umgehen.

[Christian Fenzl]

Ich hab eine Hälfte Code in petto, um Backups nach Intervall aufzuheben (z.B. 3 Monatsbackups, 4 Wochenbackups, usw.), aber da müsste ich auch wissen, ob alles geht.

ch hab leider keine Möglichkeit, ein Backup via Internet zu testen.

[Christian Fenzl]

Wörsty Möchtest du meine inkrementelle Variante des Backups als neue Version des Plugins übernehmen?

[Wörsty]

Könnte ich. Haste einen Push offen? Nix gesehen?

[Christian Fenzl]

Wörsty Nein, kann ich machen.

[Xenobiologist]

Ich habe gerade einen Loxberry installiert. Beim ersten Test eines Backups bekomme ich immer
2017-05-03 18:33:10 Miniserver #1: ERR#2006: Fehler beim Speichern von: ftp://xxx:xxx@192.168.178.77:21/log Versuch 5 von 15 (ERRORCODE: 1024)

[Xenobiologist]

Habe alles noch mal deinstalliert und neu installiert. Konnte auch über WinSCP mit dem User keinen ftp Zugang aufbauen.
Jetzt funktioniert es. Ggf. wäre es clever bei der Ersteinrichtung einmal einen Verbindungscheck auf allen benötigten Ebenen zu machen.

[Xenobiologist]

Wie deine Sugesstivfrage schon impliziert sehr wenig. Ich habe lediglich den Verbesserungsvorschlag gemacht, dass bei der Ersteinrichtung die Connections geprüft werden sollten. Dann würde man direkt merken, dass etwas nicht funktioniert und müsste nicht erst die Logmeldungen interpretieren. WinSCP habe ich lediglich genutzt um den ftp Zugang auszuprobieren, da ich vermutete, dass etwas mit der Anmeldung nicht stimmt.

[svethi]

Naja, da es ja mit WinSCP auch nicht ging, ist die Aussage des Plugin dann auch nicht erschöpfend. Das Problem ist, dass die MiniServer "Firewall" sehr "empfindlich" ist. Das Plugin müsste extra so umgebaut werden, dass Alles über eine einzige Verbindung stattfindet. Verbindung abbauen und neue Verbindung z.B. für einen anderen Ordner aufbauen, sorgt für eine Blokade seitens des MiniServer. Wahrscheinlich nimmt der MiniServer auch nur eine FTP-Verbindung zur Zeit an. Wenn das Plugin beim Einrichten jetzt zu viele Verbindungen zum Testen aufbaut, kannst Du Dir gleich einer Blokade sicher sein. Ist also Kontraproduktiv. Wenn es bei Dir nach Deinstallation des Plugin wieder ging, gehe ich mal davon aus, dass da zwischen MiniServer und Loxberry noch eine Verbindung "hing" und weder der MiniServer noch der Loxberry diese durch einen Timeout terminiert hat. Der MiniServer konnte daher keine Verbindung mehr annehmen, weshalb dann auch keine Verbindung mehr mit WinSCP mehr funktionierte.

[Xenobiologist]

Ja alles ok. DIe Idee war nicht das Plugin groß umzuschreiben. Sondern lediglich bei der Ersteinrichtung die Verbindungstest nacheinander durchzugehen. Dann könnte man zum Beispiel ein falsches Passwort oder so etwas direkt aufzeigen. Oder FTP geht, aber Telnet nicht oder sowas.

[Tom001]

Das erste Mal kam bei mir dieser Fehler:
Miniserver #1: ERR#2006: Fehler beim Speichern von: ftp://xxx:xxx@192.168.1.77:21/log Versuch 3 von 15 (ERRORCODE: 1024)
nach dem deinstallieren und erneutem Installieren vom Plugin bleibt er hier hängen:
OK: 2017-08-19 12:56:16 Miniserver #1: Beginne mit dem Herunterladen der Daten