unRAID Server – Erweiterbarer Netzwerkspeicher mit Parität
Ich bin schon seit längerem am Überlegen, wie ich in Zukunft meine Daten speichern sollte. Dabei habe ich vor allem zwei Anforderungen: der Speicherplatz soll beliebig erweiterbar sein und es sollte eine gewisse Ausfallsicherheit existieren. Gängige RAID-Lösungen sind dazu jedoch zu unflexibel. Entweder können RAID-Verbunde überhaupt nicht erweitert werden, oder es wird eine zeitintensive Neustrukturierung der Daten erforderlich. Durch Zufall bin ich aber vor kurzem auf unRAID bei SYStm gestoßen…
unRAID verwendet eine ähnliche Technologie wie RAID4, verzichtet hierbei jedoch auf das Striping, also dem Verteilen einer zusammenhängenden Datei auf mehrere Festplatten. Somit werden Dateien immer im Ganzen auf eine einzige Festplatte geschrieben. unRAID kann sowohl Festplatten unterschiedlicher Größe als auch Technologie (IDE / SATA) miteinander kombinieren. Die größte Festplatte wird hierbei immer als Parität benutzt. Diese Eigenschaften bringen folgende Vorteile:
- Unbenutzte Festplatten können ausgeschaltet werden (längere Lebensdauer, weniger Stromverbrauch)
- Beim Verlust einer einzigen Festplatte können die Daten mit Hilfe der Partitäts-Platte wiederhergestellt werden
- Beim gleichzeitigen Ausfall von mehreren Festplatten bleiben die Daten auf den nicht betroffenen Festplatten intakt, da jede Festplatte ihr eigenes Dateisystem hat
Insgesamt hat dieses System also alles, was ich von einem Netzwerkspeicher erwarte. Das System kann schnell mit neuen Festplatten erweitert werden und die Datensicherheit ist durch eine Partitäts-Platte sowie eine clevere Datenverteilung gewährleistet. Einziger Wermutstropfen besteht darin, dass der unRAID Server nur bis zu 3 Festplatten (2x Daten, 1x Parität) kostenfrei ist.
Veröffentlicht am 30.12.2010
Tobias schrieb am 31. Dezember 2010
Klingt auf jeden Fall interessant…
Könnte eine alternative werden, wenn Ich hier mein ganzes Server / NAS Gerümpel mal vereinheitliche und aufräume…
Finde jetzt 70$ (6 Platten sollten vorerst ausreichen) oder vll 120$ auch nicht unbedingt sooo teuer…
Patrick schrieb am 31. Dezember 2010
Die kostenlose Lizenz für 3 HDDs reicht für mich erst einmal noch eine Weile aus, ich muss halt mal die ganzen Daten aufräumen.
Aber ich schaue mich dennoch nach einer kostenlosen Selbstbau-Variante um, vielleicht gibt es vergleichbare Funktionalitäten ja auch im Linux-Umfeld.
Gestern habe ich noch FlexRAID gefunden, welches sogar unter Windows funktionieren soll. Damit kann ich dann TV-Server + NAS kombinieren.
Tobias schrieb am 31. Dezember 2010
Naja Ich habe ja jetzt schon 5 Platten im Gebrauch, von daher wären die 6 schon gut
Auch wenn Ich sicherlich noch etwas aufräumen könnte, so dass die 5 auch mit Parität ausreichen sollten
Aber egal was man wie tun könnte… vor der Thesis wird das dank Studium alles nichts und Ich werd mich dann im Herbst mal umschauen (im Sommer hat man nachher immer so viel andere Dinge vor
)
Aber wenn du da Alternativen auftreiben solltest… immer her damit..
Fabian Ritzmann schrieb am 31. Dezember 2010
Wenn du Linux verwendest, dann nimm LVM. Das benutze ich schon seit Jahren auf allen meinen Rechnern. Damit kannst du beliebig “Volumes” zusammenlegen, erweitern, schrumpfen, etc. Das funktioniert natürlich auch im Zusammenspiel mit RAIDs.
Falls du ein NAS baust, dann schau dir auch FreeNAS an. Das basiert auf FreeBSD und kann ZFS. Damit geht noch mehr als Linux LVM + RAID und es ist komfortabler.
Patrick schrieb am 1. Januar 2011
@Fabian: FreeNAS habe ich bereits getestet und LVM ist mir auch nicht neu. Wenn, dann würde ich Linux, also LVM, verwenden. Kann ich LVM auch so einstellen, dass bei Ausfall einer HDD auch wirklich nur die Daten von der entsprechenden HDD weg sind? Wie sieht es aus mit einer Parity-Festplatte?
Ich finde den Ansatz von unRAID nämlich genial: Datensicherheit bei Ausfall einer HDD und wenn mehrere HDDs flöten gehen, sind nicht auf einmal sämtliche Daten von allen HDDs im Verbund weg (wie es bei RAID der Fall wäre).
Fabian Ritzmann schrieb am 2. Januar 2011
> Kann ich LVM auch so einstellen,
mdadm kümmert sich um den Software RAID bei Linux. LVM ist eine davon unabhängige Schicht, die sich nur um logische Laufwerke kümmert (die auf einem RAID liegen können).
> dass bei Ausfall einer HDD auch wirklich nur die Daten von der entsprechenden HDD weg sind?
Wenn nur eine Platte ausfällt und du kein RAID-0 verwendet hast, sind alle Daten noch vorhanden und du kannst weiterarbeiten. Sobald du eine neue Platte anstöpselst, wird die Redundanz wieder hergestellt.
> Wie sieht es aus mit einer Parity-Festplatte?
Brauchst du nur bei RAID-4. Aus dem Grund wird RAID-4 selten verwendet, weil die Paritätsfestplatte einen Flaschenhals darstellt. Siehe Wikipedia für Details.
> Ich finde den Ansatz von unRAID nämlich genial: Datensicherheit bei Ausfall einer HDD und wenn mehrere HDDs flöten gehen, sind nicht auf einmal sämtliche Daten von allen HDDs im Verbund weg (wie es bei RAID der Fall wäre).
Naja, gut, statt aller Fotos sind dann nur 2/3 futsch. Ein Backup spart man sich damit trotzdem nicht. Deshalb finde ich persönlich RAIDs und auch diese Lösung im Privatgebrauch ziemlich sinnlos.
Patrick schrieb am 2. Januar 2011
Irgendwie wollen mich alle über RAID belehren (auch im ubuntuusers-Wiki), dabei kenne ich mich doch mit RAID gut aus
Ich will ja eben kein RAID, weil man dort in der Regel verloren hat, wenn mehr als eine HDD ausfällt (mal abgesehen von RAID6 o.ä.).
Fabian Ritzmann schrieb am 2. Januar 2011
Also wenn du mich fragst, wärst du mit dem Drive Extender von Windows Home Server 2007 am besten bedient. Der Drive Extender dupliziert beliebige Verzeichnisse und sorgt auch dafür, dass die Kapazität jederzeit erweitert werden kann. Es kann auch gleichzeitig auf mehrere Laufwerke dupliziert werden. Wenn also mehrere Platten hopps gehen, solltest du immer noch eine Platte übrig haben mit dem duplizierten Verzeichnis in einem ganz normalen Dateisystem.
Patrick schrieb am 3. Januar 2011
Hmm was ist, wenn beim Drive Extender eine Platte abraucht? Ist das Vergleichbar zu einem JBOD, sodass die Daten aller anderen Platten auch weg sind, oder sind die Daten von den anderen Platten noch verfügbar? Kann man auch eine Art dezidierte Parity-Festplatte einrichten, sodass zumindest eine HDD ausfallen kann, ohne dass Daten verloren gehen?
Fabian Ritzmann schrieb am 3. Januar 2011
Der Drive Extender funktioniert viel einfacher. Sagen wir mal, du hast drei Platten. Eine Platte ist deine Hauptplatte, die anderen beiden hast du so konfiguriert, dass der Drive Extender alle Verzeichnisse der Hauptplatte dorthin kopiert. Jetzt rauchen die Hauptplatte und eine zweite Platte ab. Dann hast du immer noch die dritte Platte mit allen Daten in einer ganz normalen Dateistruktur. Im Zweifelsfall dupliziert man natürlich nicht alle Verzeichnisse sondern nur die mit den wichtigen Daten.
Ich finde den Ansatz wesentlich schlauer als z.B. unRAID, weil unRAID in Kauf nimmt, dass du trotzdem einen beträchtlichen Teil deiner Daten verlierst.
Lucas schrieb am 8. Januar 2011
Wie wäre es wie folgt:
NAS mit Raid 1 – Zugriff via WebDav.
PC mit Raid 1
Laptop ohne Raid
Auf dem PC & Laptop wird TeamDrive installiert.
TeamDrive synchronisiert nun alle Daten vom NAS auf die Platte des PCs bzw. Laptops.
Sollten dir beide Platten im NAS abschmieren, hast du immer noch eine Kopie auf dem PC und auf dem Laptop.
Ist natürlich sinnlos für diejenigen die ihr NAS haben, weil sie zu wenig Festplattenspeicher auf Laptop/PC haben.
Patrick schrieb am 8. Januar 2011
@Lucas: das würde den Sinn eines NAS ja total zunichte machen^^ Ich will einen zentralen Datenspeicher, der mir Massen an Daten sicher abspeichert.
Patrick schrieb am 8. Januar 2011
@Fabian: Der Drive Extender kommt mir immer sympatischer vor, vor allem da ich ein Windows-Betriebssystem für meinen MediaPortal-TV-Server brauche. So kann ich dann bequem TV-Server und NAS miteinander vereinen.
Christian schrieb am 7. April 2011
Moin,
gerade wenn du MediPortal benutzt ist unRAID schnell zu langsam für mehrere Aufzeichnungen und vielleicht ein HD Playback. Gerade für zu Hause halte ich die Lösung mit Hardware Raid5 und max. 4 Platten per LUN für die beste Lösung. Hotstandbye. Das Risiko, dass eine zweite Platte genau bei Rebuild ausfällt ist minimal, es sei denn man hat die Ersatzplatte nicht direkt parat.
Bei allen Lösungen ist ein Backup nötig, weil ein Defekt im Controller oder ein dateisystemzerlegender Effekt wie Virus ect. auch berücksichtigt werden muss. Brutto/Netto-Verhältniss und Performance sind auf jeden Fall beim Hardware-Raid am besten, gerade für zu Hause.
VG
Christian
Patrick schrieb am 7. April 2011
@Christian: Ich werde das Ganze wahrscheinlich auf ein RAID6 mit 5x 2TB auslegen. Ich muss lediglich einen guten RAID-Controller für den Zweck finden und der sollte nur 1x PCIe benötigen
Christian schrieb am 7. April 2011
Ich hatte lange den Adaptec 3405. Der hätte das mit neuer Firmware gamcht, hat aber leider nur 4 Ports. Such dir mal bei ebay einen Dell Perc 8-Port. Das sind eigentlich LSI Controller aus Dell Servern. Werden sehr günstig gehandelt und haben PCIe 8x glaube ich. Ich hab ihn in einem 16x Port und er läuft ohne Murren.
Meintest du mit 1x PCIe einen Steckplatz oder einen PCIe 1x Steckplatz? Das wird glaube ich nicht so einfach…
Patrick schrieb am 7. April 2011
Nene ich meine einen PCIe Steckplatz
Mit 6TB nutzbarer Speicherkapazität sollte ich eigentlich länger hinkommen, ich hoffe nur, dass ich das nie aufrüsten muss 
Christian schrieb am 7. April 2011
ich lass gerade den von dir vorgestellten MCEBuddy über mein Aufnahmeverzeichnis laufen. Das wird auch wieder einiges bringen
so lange kein neues Videoformat erfunden wirde sollte 6TB lange reichen..
aber: Raid 6 ist auf den aktuellen Controllern nicht gerade flott! Ich lebe mit dem Restrisiko von Raid5 und ziehe mir alle paar Monate die wichtigsten Daten per Robocopy runter und leg die Platten weg (z.B. bei den Eltern in den Keller; Risiko Diebstahl, Hochwasser, Hochstrom…)
Patrick schrieb am 7. April 2011
Also ich habe derzeit 2TB fast komplett befüllt und zwischendurch auch schon immer mal wieder Videos gelöscht, die ich eigentlich archivieren würde.
Was heisst bei dir “flott”? Solange ich 10MB/s Durchsatz schaffe ist mir das recht
Bei 5x2TB ist mir ein RAID5 zu riskant, falls mal eine Platte ausfällt. Insgesamt ist RAID aber für Archivierungszwecke nicht mehr zeitgemäß. Mal abwarten, was sich für Lösungen rund um den Windows Home Server Vail ergeben…
Christian schrieb am 7. April 2011
nicht mehr zeitgemäß ist gut, Raid war doch eigentlich nie zum Archivieren gedacht. Ich denke da gibt es nur Platten und Tapes. Tapes bieten sich nur an wenn man ein ordentliches Rotationssystem hat, das sprengt aber echt den privaten Rahmen. Die letzten Tapes die mich interessiert haben konnten knapp 700GB fassen, irgendwas von IBM.
Archiv:
Ich lege meine wichtigen Daten in TrueCrypt Containern auf Festplatten bei Familie/Freunden ab. Wenn du da ne bessere Alternative kennst wär ich begeistert. Es sollte halt auch die wesentlich größeren Risiken wie Diebstahl des ganzen Rechners oder Blitzschlag berücksichtigen, dass kommt statistisch deutlich öfter vor als ein Ausfall von zwei Platten zur gleichen Zeit.
Speed:
Mein Adaptec hat im Raid5 knapp 120mb/s gemacht. Wenn ich zwei DVB-T Sender und drei Radiosender im Hintergrund aufzeichne (Radio läuft 24h und schneidet alles auf Titel zurecht.) kann ich oft kein HD mehr gucken. Die situation kommt abends echt häufig vor.. Raid 6 wird die Grenze früher setzen.
Fabian Ritzmann schrieb am 7. April 2011
Speed: Da ist etwas nicht in Ordnung oder dein Mediencenter ist Murks. Ich kann mit VDR drei (SDTV) Sendungen parallel aufzeichnen und eine vierte anschauen, ohne irgendwelche Aussetzer. Mehr habe ich nie probiert, da kein Bedarf. Mit einer uralten 2,5″ Festplatte wohlgemerkt, nix RAID!
Patrick schrieb am 7. April 2011
@Fabian: Je nachdem kann ein RAID schneller oder langsamer sein. Das hängt wie schon gesagt stark vom Controller ab. Am Besten ist es natürlich, einen Controller mit einem echten RAID zu kaufen (eigenständiger Prozessor auf dem Controller verbaut), statt ein Fake-RAID-Controller zu benutzen (der verwendet die CPU zur Berechnung). Sind aber dementsprechend teu(r)er.
Mir geht es vor allem darum, dass ich alle meine Festplatten als eine Festplatte ansprechen kann und eine gewisse Ausfallsicherheit habe. Zudem möchte ich auf demselben System auch den MediaPortal TV Server betreiben können, was bei unRAID schon sehr schwer wird.
Fabian Ritzmann schrieb am 8. April 2011
Von diesen billigen RAID Controllern würde ich dir dringend abraten. Ich habe schon Leute erlebt, denen das Mainboard mit Controller nach drei Jahren gestorben ist und die dann nicht mehr an die Daten rankamen. Dann lieber reines Software RAID. Ich würde auf das RAID immer noch LVM (Linux) oder LDM (Windows) draufsetzen, dann kann man auch später noch Partitionen beliebig verändern. Mach ich selbst bei meinen nicht-RAID Systemen so.