Ceph-Storage im Proxmox-VE-Cluster
Mit Ceph wird der lokale Speicher Ihrer Proxmox-VE-Server zu einem gemeinsamen, redundanten Storage. inett plant Hardware und Netz, baut den Cluster auf und betreut ihn im Betrieb.
Wo klassischer Speicher bremst
Für Live-Migration und Hochverfügbarkeit braucht ein Virtualisierungscluster gemeinsamen Speicher. Klassisch ist das ein SAN oder ein NAS. Das Gerät kostet viel, bindet Sie an einen Hersteller und ist oft selbst ein einzelner Ausfallpunkt. Wird es voll, kaufen Sie ein größeres oder ein Erweiterungsregal zum Preis des Herstellers.
Was inett für Sie tut
Ceph ist ein verteiltes Speichersystem unter Open-Source-Lizenz. Es verteilt Daten über viele Festplatten auf mehreren Servern und legt jede Information mehrfach ab. Fällt eine Platte aus, erzeugt Ceph die fehlenden Kopien selbst auf anderen Platten neu. Fällt ein ganzer Server aus, arbeiten die VMs mit den verbliebenen Kopien weiter.
Proxmox VE bringt Ceph mit. Sie installieren und verwalten es über die Weboberfläche oder das Werkzeug pveceph. Dieselben Server liefern dann Rechenleistung und Speicher. Das nennt man hyperkonvergent. Die VM-Disks liegen als Blockgeräte in Ceph RBD. Für ISO-Images, Vorlagen und gemeinsam genutzte Dateien steht CephFS bereit. inett ist Proxmox Gold Partner und baut Ceph-Cluster in dieser integrierten Form auf, ebenso als eigenständige Speicher-Cluster.
Ceph verzeiht wenig bei der Planung. Zu wenige Knoten, ein langsames Netz oder ein RAID-Controller an der falschen Stelle führen zu schlechter Leistung oder zu Datenverlust im Fehlerfall. Deshalb fangen wir bei der Hardware an:
- Knoten: Wir planen mindestens drei möglichst gleiche Server. Mit drei Kopien je Objekt hält der Cluster den Ausfall eines Servers aus und bleibt beschreibbar.
- Netz: Ceph bekommt ein eigenes Netz mit mindestens 10 Gbit/s, bei NVMe-SSDs 25 Gbit/s oder mehr. Der Clusterverkehr von Proxmox VE (Corosync) läuft getrennt davon. Bei drei bis fünf Knoten ohne schnelle Switches ist ein Full-Mesh-Netz möglich.
- Platten: Wir setzen Enterprise-SSDs ein, in kleinen Clustern bevorzugt, weil die Wiederherstellung nach einem Ausfall damit schneller geht. Die Platten hängen an einem HBA, nicht hinter einem RAID-Controller.
- Arbeitsspeicher: Proxmox empfiehlt mindestens 8 GiB RAM je OSD, also je Datenträger, zusätzlich zum Bedarf der VMs.
Danach bauen wir den Cluster auf, richten Pools und Regeln für die Datenverteilung ein und testen den Ausfall eines Knotens mit Ihnen. Im Betrieb überwachen wir den Zustand des Clusters, spielen Updates ein und erweitern ihn um Platten oder Server.
Ceph betreiben wir auch ohne Proxmox VE, als eigenständigen Speicher-Cluster, den wir mit cephadm aufbauen. Er stellt bereit:
- Blockspeicher (RBD) für andere Virtualisierungsplattformen oder Kubernetes
- Dateisystem (CephFS), auf Wunsch auch per NFS
- Objektspeicher mit S3-Schnittstelle über das RADOS Gateway, zum Beispiel als Ziel für Backups
Planung, Aufbau, Betrieb und Erweiterung laufen wie beim hyperkonvergenten Cluster.
Technische Daten
- Ceph-Versionen in Proxmox VE 9.2
- Ceph Tentacle 20.2 und Ceph Squid 19.2 (Stand Oktober 2026). Für Squid nennt das Ceph-Projekt als voraussichtliches Support-Ende den 31. Oktober 2026 (Ceph-Releases)
- Mindestgröße
- drei Knoten, möglichst baugleich; Proxmox empfiehlt mindestens 12 OSDs, gleichmäßig verteilt
- Replikation
- Standardpool mit 3 Kopien (size 3) und min_size 2; von min_size 1 rät Proxmox ausdrücklich ab
- Netz
- eigenes Ceph-Netz mit mindestens 10 Gbit/s; bei NVMe 25 Gbit/s oder mehr; Corosync getrennt, z. B. 1 Gbit/s
- Datenträger
- SSDs empfohlen, besonders in kleinen Clustern; HBA statt RAID-Controller
- Arbeitsspeicher
- mindestens 8 GiB je OSD empfohlen (Standard 4 GiB), plus Reserve für Recovery
- Schnittstellen
- RBD für VM- und Container-Disks, CephFS als Dateisystem
- Quelle
- Proxmox-VE-Handbuch, Kapitel Ceph
Lieferumfang
- Prüfung Ihrer Anforderungen an Kapazität, Leistung und Ausfallsicherheit
- Hardware- und Netzplanung für den hyperkonvergenten Cluster
- Installation von Ceph über Proxmox VE
- Einrichtung von Monitoren, Managern, OSDs, Pools und CephFS
- Test von Platten- und Knotenausfall vor dem Produktivstart
- Dokumentation und Einweisung Ihres Teams
- Auf Wunsch Betrieb, Updates und Erweiterung über unsere Managed Services
Für wen das passt
Ceph passt zu Ihnen, wenn Sie einen Proxmox-VE-Cluster mit mindestens drei Servern planen und kein SAN anschaffen oder ersetzen wollen. Es wächst mit: Sie ergänzen Platten oder ganze Server, und Ceph verteilt die Daten neu.
Für einen oder zwei Server ist Ceph nicht geeignet. Dort ist lokales ZFS mit der asynchronen Speicherreplikation von Proxmox VE die bessere Wahl. Auch wenn Ihr Netz keine 10 Gbit/s für Storage hergibt, sollten Sie zuerst das Netz planen.
Häufige Fragen
Warum mindestens drei Server?
Ceph hält jede Information standardmäßig dreifach und verteilt die Kopien auf verschiedene Server. Die Ceph-Monitore brauchen außerdem eine Mehrheit, um Entscheidungen zu treffen. Mit drei Servern übersteht der Cluster den Ausfall eines Servers.
Wie viel Speicherplatz bleibt nutzbar?
Bei drei Kopien etwa ein Drittel der Rohkapazität. Zusätzlich sollten Sie Platz freihalten, damit Ceph nach einem Ausfall die Kopien neu verteilen kann.