Seite wählen

NETWAYS Blog

NETWAYS Cloud: Mit flexiblem S3/Swift Object Storage

Mit S3 hat Amazon einen Standard für Object Storage geschaffen, der von vielen Anwendungen direkt unterstützt und von vielen Webentwicklern genutzt wird. Mit Swift hat das OpenStack-Projekt ein Gegenstück parat, mit dem man – ohne in die Abhängigkeit von Amazon gehen zu müssen – alle Vorteile in der Private oder Public Cloud nutzen kann. Beide Protokolle sind mit dem NETWAYS Cloud Speicher kompatibel. Mit unserem Object Storage kannst du Dateien als so genannte Objekte flach in unseren hochverfügbaren und über zwei Standorte verteilten Online-Ceph-Speicher hochladen und herunterladen.

Was sind die Vorteile von S3/Swift?

  • S3 / Swift | S3 ist das von Amazon für seinen Object Store entwickelte Protokoll, Swift das Gegenstück von OpenStack. Du kannst mit beiden Zugriffsmodi auf den NETWAYS Cloud Speicher zugreifen.
  • Grenzenloser Raum | Der Objektspeicher bietet unbegrenzten Speicherplatz für alle Arten von Dateien, Anwendungen und sonstige Daten.
  • Kosteneffizienz | Es werden nur die tatsächlich verwendeten Daten berechnet und keine potenzielle Volumengröße.
  • Temporäre Dateien | Benutzer können temporäre Dateien speichern, für die sie ein Ablaufdatum festlegen. Die Datei wird nach einer bestimmten Zeit automatisch entfernt.
  • Variabler Zugriff | Mit dem NETWAYS Cloud Objektspeicher können Benutzer Objekte für jedermann veröffentlichen oder den Benutzerkreis mit einem Kennwort einschränken.
  • Höchste Sicherheit und Integrität | Jedes Objekt wird dreimal repliziert und auf zwei Standorte in Deutschland in den Rechenzentren von NETWAYS verteilt, um höchste Sicherheitsstandards zu gewährleisten.

Wer benötigt S3/Swift?

  • Webentwickler aller Art, für die S3 oder Swift ein Begriff ist
  • Projekte (Hosting), die i.d.R. mehr als eine virtuelle Maschine/Server aufgrund der Besucherzahlen benötigen
  • Projekte, die Container (Docker, Kubernetes, Mesos) einsetzen

Warum sollte ich S3/Swift einsetzen?
S3/Swift ist ein dynamischer und flexibler Speicher, für den wir mit unserer verteilten Umgebung über zwei ISO 27001-zertifizierte Rechenzentren in Nürnberg auch die notwendigen Datensicherheit bieten können. Außerdem kannst du S3 bei einem deutschen Anbieter nutzen, was auch aufgrund der DSGVO für viele zwingend notwendig ist.

Wo kann ich mich anmelden?
Einfach unter nws.netways.de einen Account anlegen und loslegen. Und bei Fragen stehen wir gerne zur Verfügung.

Martin Krodel
Martin Krodel
Head of Sales

Der studierte Volljurist leitet bei NETWAYS die Sales Abteilung und berät unsere Kunden bei ihren Monitoring- und Hosting-Projekten. Privat reist er gerne durch die Weltgeschichte und widmet sich seinem ständig wachsenden Fuhrpark an Apple Hardware.

Final call for OSBConf: Grab your ticket!


Open Source Backup Conference | September 26, 2018 | Cologne
Final Call: Get one of our last tickets for OSBConf 2018 and be part of one enjoyable, inspiring day full of backup!
Backup and recovery are an integral part of any data center these days. With the current data explosion, the need for an efficient solution has become critical. The Open Source world offers its own answers to todays challenges. Whether you want to learn what fits best for your company or you already work with these tools and want to get updated on latest developments, OSBConf is the perfect event for you! Besides bringing you deeper into technical aspects OSBConf provides the ideal opportunity for IT professionals to meet, exchange thoughts and establish new connections.
Backup your seat! Register now!

osbconf.org/tickets

Verschlüsselten File-Container mittels cryptsetup und LUKS erstellen


Datenschutz wird im Jahr 2018 so groß geschrieben wie nie zuvor. Verschiedene Anforderungen an die Absicherung der Daten zwingen Admins, sich elegante und sichere Setups einfallen zu lassen. Ich nehme das zum Anlass, eine neue Serie zur Dateiverschlüsselung zu eröffnen, bei der es um die verschiedensten Möglichkeiten geht, die gespeicherten Daten gegen den Zugriff Unbefugter abzusichern.
Oftmals ist eine Verschlüsselung der Daten aufgrund bestehender Infrastrukturen oder mangels Rechten (z. B. bei extern angemieteten Storages) nicht so einfach möglich. Früher war hier ECryptFS im Linux-Umfeld und TrueCrypt bei Windows State of the Art. Heute haben sich die Anforderungen geändert und ECryptFS ist wegen einer zu restriktiven Beschränkungen der Dateinamen nicht mehr alltagstauglich. Daher stelle ich hier eine moderne Alternative mit cryptsetup in Ergänzung mit LUKS vor.

Vorbereitung

Installation von cryptsetup (Beispiel Debian-Derivate)

sudo apt-get install cryptsetup

Laden des Kernel-Moduls (nur bei initialer Einrichtung)

sudo modprobe dm-crypt

File-Container erstellen

Zunächst wird mittels dd ein File-Container mit 1GB Größe erstellt, der Wert kann natürlich je nach Anforderung angepasst werden

dd if=/dev/zero of=/storage/my_container bs=1M count=1024

File-Container mittels cryptsetup initialisieren

 cryptsetup -y luksFormat /storage/my_container

Nun die gewünschte Passphrase eingeben. Aber Achtung, ohne ein gut gewähltes Passwort nutzt die stärkste Verschlüsselung nichts!
Verschlüsselten Container öffnen und Dateisystem erstellen

cryptsetup luksOpen /storage/my_container my_mount

hier wird das Kennwort abgefragt, dies sollte man sich natürlich zuvor gut merken. Der Container ist nun unter /dev/mapper/my_mount eingebunden.  Anschließend wird ein ext4-Dateisystem in dem Container erzeugt.

mkfs.ext4 -j /dev/mapper/my_mount

File-Container am Wunschort mounten

Ordner zum mounten erstellen

mkdir /my_data
mount /dev/mapper/my_mount /my_data

Fertig – alle Daten die nun in /my_data erzeugt werden, landen am Ende verschlüsselt im Container, wie in meinem Beispiel unter /storage/my_container

Mount aushängen und File-Container schließen

Damit die Daten während der Nichtnutzung auch wirklich sicher sind, empfehle ich, den Container wieder abzuschließen.

umount /my_data
cryptsetup luksClose my_mount

Protip

Ich habe auf diese Art der Verschlüsselung bei meiner Nextcloud zurückgegriffen, da mir die Bordmittel von Nextcloud nicht gefallen, oder zu langsam sind. Im nächsten Artikel werde ich auch erklären, wie man den Container entsprechend vergrößern kann. Alle mit my_ verwendeten Variablen, können natürlich auf die jeweiligen Bedürfnisse angepasst werden.

Haben wollen?

Wir bieten natürlich bei uns im Managed-Hosting individuelle Lösungen an. Falls unsere (potentiellen) Kunden ein solches Setup wünschen, so sind wir natürlich für jeden Spaß zu haben.

Disclaimer

LUKS verwaltet die Verschlüsselungsdaten im Header. Ohne den Header (oder im Falle einer Beschädigung), ist ein Zugriff auf die Daten nicht mehr möglich. Es gibt verschiedene Tools, wie beispielsweise zuluCrypt, mit denen die Schlüssel und Header verwaltet und gesichert werden können, doch dazu in einem späteren Artikel mehr. Die Anleitung wurde nach bestem Wissen und Gewissen erstellt, testet bitte jedoch selbst ausreichend, bevor diese Lösung in die Produktion geht, damit das ihr die Funktionsweise versteht und Datenverlust vermeidet.

Ceph: Increasing placement groups in production

Ceph LogoIf you are running a Ceph cluster for several years you will come to the point where the number of placement groups (PGs) no longer fits to the size of your cluster. Maybe you increased the number of OSDs several times, maybe you misjudged the growth of a pool years ago.
Too few PGs per OSD can lead to drawbacks regarding performance, recovery time and uneven data distribution. The latter can be examined with the command ceph osd df. It shows the usage, weight, variance and number of PGs for each OSD as well the min/max variance and the standard deviation of your OSD usage.
Increasing the number of the PGs can lead to a more even data distribution,
but there are several warnings in blogs or mailings lists, especially for production environments. Doubling the PGs (e.g. from 1024 to 2048) may bring down your cluster for some minutes, because creating, activating and peering the new PGs may strongly influence your client’s traffic.
Regarding this warnings, we decided to increase the PGs in slices of 128. Between each slice we waited until all PGs peered successfully, which needed only a few seconds and did not influence the client traffic at all.
Increasing the number of PGs is done with two simple commands:

$ ceph osd set <pool> pg_num <int>
$ ceph osd set <pool> pgp_num <int>

Increasing pg_num creates new PGs, but the data rebalancing and backfilling will only start after increasing pgp_num (the number of placement groups for placement), too. pg_num and pgp_num should always have the same value. Increasing your PGs usually comes with a huge amount of backfilling which should not be a problem for a well configured cluster.

Achim Ledermüller
Achim Ledermüller
Senior Manager Cloud

Der Exil Regensburger kam 2012 zu NETWAYS, nachdem er dort sein Wirtschaftsinformatik Studium beendet hatte. In der Managed Services Abteilung ist er für den Betrieb und die Weiterentwicklung unserer Cloud-Plattform verantwortlich.

NetApp FAS 3140 sucht neues Zuhause

Wir hätten da aktuell etwas abzugeben – unseren anspruchsvollen Kunden reicht die NetApp FAS 3140 leider nicht mehr und wir haben entsprechend mit starker Hardware nachgerüstet. Für ein mittelständisches Unternehmen bei dem der Storage langsam knapp wird, bieten wir hier aber eine optimale Lösung an.
Der Vorteil: leistungsstarke Hardware zum kleinen Preis. Wir stellen jetzt einmal 5.000 € netto in den Raum. Das ist viel zu wenig? Dann verraten Sie es niemanden und kommen Sie schnell vorbei. Zu teuer? Machen Sie uns doch ein Angebot, Sie erreichen uns am besten hier.
Aber einmal von vorn; was wird überhaupt angeboten:

  1. NetApp FAS 3140 mit 2×256 PAM-Karten
  2. 1 x Shelf DS14 MK2 mit 14 x 1TB (Hitachi HUA721010KLA330 7200 U/Min)
  3. 3x Shelf DS14 MK4 mit je 14 x 450 GB (Seagate ST3450856FC 15000 U/Min)
  4. 1x Shelf DS14 MK4 mit 14x 450 GB (Hitachi HUS156045VLF400 15000 U/Min)
  5. Rack-Montagematerial, Glasfaserkabel usw.

Das sind brutto fast 40TB feinster High-Performance Storage.
Am liebsten ist uns die Abholung bei uns im Büro – wir helfen auch beim Verladen. Alternativ können wir uns auch gerne mit einer Spedition Ihrer Wahl in Verbindung setzen um die Ware sicher zu Ihnen zu bringen.
Zustand: Hardware ist frei von äußerlichen Schäden. Betrieb erfolgte in nahezu staubfreier Umgebung. Es sind keine Verladeschäden zu erkennen. Alle technischen Komponenten liefen bis zuletzt ohne Ausfälle. (Nachtrag: vermutlich ist eine Platte defekt, dafür geben wir eine Flasche Bier dazu ;))


Wichtig, weil es einfach dazu gehört: Diese Hardware wird nicht an Verbraucher verkauft. Die Sachmängelhaftung wird ausgeschlossen. Die Speditionskosten sind vom Käufer zu tragen. Mit dem Versand der Ware erhalten Sie eine Rechnung auf Ihr Unternehmen inkl. ausgewiesener Umsatzsteuer. Lizenzen und Support sind kein Bestandteil des Angebotes, aber möglicher Weise noch vorhanden.