Backup-Organisation

[MegaVolt]

Ich würde gerne ein automatisches Backup meiner Datenplatte einrichten.
Das ist prinzipiell auch ganz einfach, ich habe keine großartigen Anforderungen an die Daten selbst, es muss nichts inkrementell erweitert werden oder so, ein ganz simpler mirror der Datenplatte auf die Backup-Medien reicht mir.
Also im Wesentlichen genau das, was mit mit rsync in einer Zeile einrichten kann.
Aber: Meine Datenplatte ist größer, als die größte USB-Platte die mir zur Verfügung steht. D.h. ich will nicht nur auf eine einzige USB-Platte sichern sondern auf diverse. Das geht soweit ich weiß dann mit rsync schon nicht mehr.

Bacula scheint das vernünftig zu implementieren, es ist aber ein enormer Aufwand und ich müsste das wohl über inkrementelle Backups lösen. Dabei wäre mir so etwas ganz einfaches wie rsync deutlich lieber, insb. da ich dann die Backup-Daten auch direkt lesen kann.

Die Quick'n'dirty-Lösung wäre wohl, über LVM alle Backupplatten zusammenzuschalten und dann auf das entstehende volume den rsync loszulassen. Geht prinzipiell, hat aber den sehr unangenehmen Nebeneffekt, dass ich alle Platten gleichzeitig anschließen müsste und nicht nur die, auf die gerade gesichert wird.

Hat jemand eine Idee, wie ich ein ganz simples mirror Backup machen kann, das sich automatisch auf mehrere Zielmedien verteilt und bei dem ich optimalerweise nur das eine noch nicht volle Zielmedium einschalten muss damit die neuen Dateien da drauf geschrieben werden?

Achja, Linux only.

 

[HERR 2FICKENDEHUNDE]

wo ist das problem mit rsync? du wirst die platten ja irgendwie gemountet haben, also zb nach /data1 /data2 usw.

dann machst du halt einen rsync von bestimmten verzeichnissen nach /data1 und einen weiteren mit anderen verzeichnissen nach /data2?

 

[freesta]

Du kannst vermutlich einfach tar für ein Archiv mit mehreren Dateien nutzen, musst natürlich auf die richtigen Optionen achten.

 

[MegaVolt]

rsync manuell auf 2 Platten ist doof, weil ich dann selbst wissen muss was auf welcher Platte ist und ich muss es dann manuell auch auf den Speicherplatz aufteilen. Deshalb sollte ein Backup-Programm das abnehmen.

Tar kann auf mehrere Platten verteilen aber dann habe ich ein statisches Archiv, ich will ja Änderungen auch noch abbilden können.

Sowas wie Bacula und dann die Laufwerke wie Bänder behandeln wäre perfekt, d.h. das Backupprogramm behält eine Datenbank und weiß was auf allen gerade nicht eingelegten Bändern (Platten) gespeichert ist und schreibt nur das Delta auf das gerade eingelegte Band.

Also Bacula kann das was ich suche, ist aber halt mit Kanonen auf Spatzen geschossen, es ist unglaublich komplex und das muss doch auch irgendwie einfacher gehen, oder?

 

[HERR 2FICKENDEHUNDE]

ich versteh dein problem noch nicht ganz. du weisst doch ungefähr, was du sichern möchtest. also zb liegen deine daten in

/wichtige_daten1
/schmutzige_filme
/ziemlich_dreckige_filme
/unwichtige_zeitgenössische_musik

jetzt ermittelst du erstmal, wieviel daten in den verzeichnissen liegen

du -sch *DEINE_ORDNER*

dann weisst du was speicherplatztechnisch Sache ist. und das verteilst du dann mit rsync auf deine backupressourcen. setzt natürlich voraus, dass diese verfügbar sind. das ganze kannst du in ein script zusammenbasteln, überprüfungen einbauen für die speicherplatz anforderungen und dann per cronjob alle x stunden ausführen.

 

[MegaVolt]

Wenn dann aber /schmutzige_filme plötzlich ganz schnell wächst muss ich das alles manuell nachjustieren
hm ich könnte mir ein shell script schreiben, das meine verzeichnisse durchgeht und das so rsynced dass ich nix manuell machen muss - aber auch dann müssten immer alle backup medien angeschlossen sein weil ja alles rsynced wird. dann kann ich auch gleich ein LVM volume über die backup medien machen und mir den skript aufwand sparen

eine lösung, bei der ich nur eine festplatte (also die erste wird voll gepackt, wandert in den schrank und wird nie wieder gebraucht) anschließen muss wär toll. so wie man es halt bei nem inkrementellen backup auf band auch machen würde. aber das halt ohne ein wahnsinnsprogramm wie bacula nutzen zu müssen

 

[drwilly]

Datenplatte > Backupplatte, dynamischer Austausch zwischen den Platten, max 1 Backupplatte angeschlossen. Finde den Fehler.

 

[MegaVolt]

Ja aber prinzipiell geht das doch. Ein Programm muss sich nur merken was auf welche der Platten schon gesichert wurde und alle Änderungen werden dann auf die eine (noch nicht volle) gerade eingehängte Backupplatte gespeichert.
So wie das bei Bandlaufwerken eben auch vollkommen üblich ist, da wird ja auch eins vollgespielt und dann gewechselt und die alten Bänder liegen im Schrank und müssen nie wieder angefasst werden.
Genau das, nur halt mir Festplatten. Große Backupprogramme (wie Bacula) können das, ich fürchte letztendlich wird es dann wohl darauf hinauslaufen dass ich mich doch mit der Bacula Konfiguration herumschlagen muss ...

 

[HERR 2FICKENDEHUNDE]

ich kenns sowas jetzt nur von NetBackup. da gibt es eine katalogdb auf der solche informationen, also welche backups auf welchem tape, vorgehalten werden. aber das ist sowas von overdose, wenn das bei bacula gleich komplex ist, viel spass. es geht viel einfacher:

zb mit rsync exclude listen arbeiten. man rsync, für weitere optionen.

for i in /schmutzige_filme/*
do
rsync -av $i /backup  --exclude-from '~/backuprules/exclude.list'
echo $i >> ~/backuprules/exclude.list
done

damit haettest du schon mal ein textfile in dem alle bereits gesicherten verzeichnisse beim nächsten rsync ausgeschlossen werden. jetzt wäre nur noch die organsisation deiner backupplatten fällig. du könnstest zb vor dem kopier vorgang prüfen, ob die platte genug platz hat und ggf nen mail rausfeuern um rechtzeitig zu warnen oder so.

 

[MegaVolt]

Ganz so einfach ist es glaube ich nicht.
Wenn ich was auf meiner Datenplatte verschiebe wird es nochmal auf die Backupplatte kopiert, es ist ja nicht mehr an der exclude-Stelle. Die alte Datei wird aber nicht gelöscht, weil sie ja in der exclude-Liste steht, oder? D.h. wenn ich jemals die Verzeichnisstruktur der Datenplatte ändere habe ich ein Problem.
Für deinen Vorschlag bräuchte ich nichtmal rsync sondern könnte einfach ein normales copy plus exclude-Skript nutzen, oder? Nach einmaligem Kopieren wird es ja nie wieder angefasst.

Und ja, Bacula ist wohl nicht wirklich einfacher als NetBackup, deshalb würde ich es ja auch gerne umgehen
Andererseits wird's wohl erträglich wenn es erst einmal eingerichtet ist.