Autoprovisionierung mit Foreman

Da kommende Woche die Open Source Monitoring Conference, kurz OSMC, hier in Nürnberg ansteht, laufen die Vorbereitungen dafür natürlich bei uns auf Hochtouren. Für die Workshops, die seit einigen Jahren traditionell vor der eigentlichen Konferenz allerdings zeitgleich stattfinden, reichen unsere eigenen Notebookbestände der Trainings nicht ganz aus. Deswegen greifen wir hier auf Anbieter für Leihnotebooks zurück um unsere Bestände entsprechend aufzustocken.
Es sollte kein Geheimnis sein das wir die von uns angebotenen Softwarelösungen auch intern einsetzen, daher verwenden wir – wie soll’s auch anders sein – Foreman in Kombination mit Puppet zur Provisionierung der Notebooks. Speziell das Discovery Plugin, über das Dirk schon ein einem früheren Blogpost (siehe Metal as a Service mit Foreman) berichtet hatte, leistet hier seinen Beitrag.
Ist das Plugin installiert wird das PXE-Bootmenü auf den zu provisionierenden Clients um einen Eintrag zum Discovery erweitert. Wählt man diesen aus, stellen die zu provisionierenden Systeme automatisch eine Verbindung zum Foreman-Server her. Bei Erfolg sind sie dort dann unter “Discovered hosts” zu finden und können so mit entsprechenden Informationen versehen (z.B. Hostname, Host Group, usw.) werden. Anschließend startet dann die Installation.
bildschirmfoto-2016-11-25-um-08-45-05
Mit den Discovery Rules bietet das Discovery Plugin noch eine Möglichkeit den Vorgang etwas zu Vereinfachen bzw. zu Automatisieren. Anhand von bestimmten Kritierien, wie z.B. in unserem Fall das Modell des Notebooks, werden Regeln für die Provisionierung definiert. Wenn sich das Notebook dann via PXE-Boot am Foreman meldet, greifen diese Rules und der Installationsvorgang beginnt ohne weiteres Zutun. U.a. lässt sich in den Discovery Regeln ein Muster für den Hostname anhand von Puppet Facts (beispielsweise eine individuelle ID) sowie die Hostgruppe mit den Informationen für die Installation festgelegen. Außerdem kann man die maximale Anzahl der Hosts für und bei Bedarf eine entsprechende Priorisierung der Regeln einstellen.
Somit bleibt mir eigentlich nur noch den Teilnehmern der diesjährigen OSMC eine erfolgreiche Konferenz zu wünschen! Selbstverständlich bin auch ich wieder vertreten und freue mich über interessante Gespräche – auch zum Thema Foreman.

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

Vorträge der OSBConf 2016

Nachdem Daniela vor Kurzem ja schon was zu den vorgelagerten Workshops und zum Rahmenprogramm der diesjährigen Open Source Backup Conference in Köln geschrieben hat (siehe: Rauchende Köpfe, knurrende Mägen…), möchte ich noch etwas über die Vorträge dort berichten.
img_0802Nach einer kurzen Begrüßung durch Maik Außendorf von der dass IT ging’s los mit Julius Faubel von der Tandberg Data GmbH. Er referierte über Backup to Tape und stellte anschließend die Produkte der NEOxl, NEOs und der NEOe-Series vor. Gregor Wolf von Red Hat sprach anschließend über die Herausforderungen der Datenexplosion und wie man diese in den Griff bekommen kann.
Die Neuerungen von Bareos 16.2 und deren Roadmap für nächstes Jahr wurde uns von Philipp Storz und Maik Außendorf präsentiert. Neben anderen neuen Features wurde besonders anschaulich auf “Always Incremental” eingegangen, welches besonders bei großen Datenmengen Zeit- und Netzwerkkapazität reduziert.
Vor der ersten Kaffeepause zeigte Erol Ülükmen noch welche besonderen Ansprüche das Clientmanagement mit sich bringt und wie sich das Open Source Clientmanagementsystem Opsi (Open PC Server Integration) mit Bareos integrieren läßt.
Gratien d’haese, der am Tag zuvor auch schon den Workshop zu REAR (Relax-and-Recover) gehalten hatte, erklärte was bei einem Business Continuity Plan zu beachten ist und wie man das darin enthaltene Disaster Recovery mit Bareos und REAR abbilden kann. Einen praktischen und interessanten Einblick wie das Backup bei der Friedrich-Schiller-Universität in Jena mit Bareos durchgeführt wird, gab’s vor der Mittagspause noch von Thomas Otto.
img_0805Gut gestärkt hörte man Jörg Brühe zu, der über Datenbank Backup referierte. Dabei wies er v.a. auf Dringlichkeit und Testmöglichkeiten von Restores hin.
Später stellte Christian Reiß von Symgenius ZFS vor und zeigte wie es mit Bareos zusammenspielt. Das Deployment dafür wurde mit Puppet gelöst, weshalb er auch auf das von ihm geschriebene Bareos-Puppet Modul näher einging.
Tobias Groß präsentierte nach der Kaffeepause am Nachmittag wie sinnvoll ein skalierendes Backup anhand von Bareos Active Clients und Puppet ist, allerdings wurde das dafür benutzte Puppetmodul globalways-bareos leider aktuell noch nicht publiziert. Eine belebte Diskussionsrunde über diverse Themen bildete dann den gelungenen Abschluss der Konferenz, bevor alle Teilnehmer mit einem Lunchpaket im Gepäck den Nachhauseweg antraten.
Die Open Source Backup Conference findet im nächsten Jahr vom 25. bis zum 26. September mit hoffentlich ebenso interessanten Vorträgen sowie einem breiten Publikum wieder in Köln statt, also bis dann!

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

Teamevent Professional Services 2016

Vom 07. – 08. Juli trat das Professional Services Team, umgangssprachlich auch als Consultants bezeichnet, auch dieses Jahr wieder zum gemeinsamen Event an. Leider waren wir krankheitsbedingt nicht ganz komplett, für den Rest ging die Reise dieses Mal ins Hotel Rödiger im oberfränkischen Bad Staffelstein.
Vom Frühstück gestärkt, starteten wir am Freitag um 11:00 Uhr mit dem traditionellen Meetingmarathon. Neben einigen organisatiorischen Themen war der Blick in die bisherige Statistik für dieses Jahr sehr interessant. Nach dem Mittagessen waren eigene Themen bzw. allgemeine Diskussion an der Reihe. Natürlich waren da auch unsere Icinga 2 Setups fester Bestandteil. Am Spätnachmittag war dann die Zeit für einen ominösen Tagesordnungspunkt namens “Preisverleihung” gekommen. Tobi, hatte den genauen Inhalt bis dahin gekonnt geheim gehalten. Hier durfte nun jeder Consultant seinen Tipp für folgende Fragen abgeben:

  • Wer hat dieses Jahr bisher die meiste Zeit für Trainings bzw. Schulungsunterlagen aufgewendet?
  • Wer hat die meisten Urlaubstage ausstehend?
  • Wer hat das am Längsten unbearbeitete Ticket?
  • Wer pflegt Actitime (Zeiterfassung) am Schlechtesten?

Die Gewinner der Fragen bekamen als Preis für die “tolle” Arbeit jeweils eine an das Schokoeis Emoji angelehnte Plüschfigur. Mit Ausnahme des ersten Punktes sitzt diese Figur nun hoffentlich zu Hause auf der Couch und mahnt denjenigen daran die Dinge besser zu machen. Dirk hatte bei der Tipprunde die meisten Treffer und bekam dafür als Belohnung 2 Liter süffiges Kellerbier. Mit der durch die Preisverleihung aufgelockerten Stimmung beschlossen wir dann den Meetingmarathon und stellten uns schon mal geistig auf das Abendessen ein. Leider musste uns David aufgrund unaufschiebbarer privater Wochenendplanung schon verlassen, die anderen nutzten die Zeit an diesem schönen Sommertag für ein kühles Getränk im Biergarten oder für eine Erfrischung im Spa- und Wellnessbereich des Hotels. Hier konnte uns Markus die Wasserdichtigkeit seines neuen Samsung Galaxy S7 Smartphones auf beeindruckende Art demonstrieren.


Abendessen gab’s dann mit einer schlagfertigen Bedienung aufgrund des tollen Wetters draußen. Beim gemütlichen Zusammensein wurde dann anschließend nochmal über das ein oder andere Thema des Tages gesprochen. Da im Hotel am nächsten Tag eine Hochzeit anstand, waren die Gin-Vorräte relativ schnell aufgebraucht und so mussten einige von uns auf andere Getränke ausweichen. Die (Wein)Karte des Hauses, bot aber auch genügend andere Alternativen…
Am Samstag findet traditionell eine etwas belebtere Beschäftigung statt und so ging es für uns alle nach dem Frühstücksbuffet wieder auf nach Nürnberg zur Kartbahn Formula. Diese hatten wir uns für eine Stunde alleine gesichert. Der Ablauf war folgender:

  • Warmup
  • Qualifying
  • 40 Minuten Rennen


Schon nach den ersten Runden zeigte sich wer die Anwärter für die vorderen Plätze waren. So fand auch im Rennen zwischen Tobi und Tom ein harter Kampf um Platz 1 statt, den Tobi schlussendlich sehr knapp gewann. Wer schon einmal Go-Kart gefahren ist, der weiß das man die 40 Minuten ganz schön in Armen und teilweise Beinen merkt, daher waren im Endeffekt alle Sieger die es ins Ziel geschafft haben. Abgesehen davon hat es aber jeden durch die Bank viel Spaß gemacht und das ist doch die Hauptsache! Daher bleibt nur zu Hoffen das wir im nächsten Jahr wieder daran anknüpfen können und das hoffentlich auch wieder vollzählig.

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

Vive la Puppet!

Nächste Woche ist es soweit: Während der ersten UEFA EM-Woche in Frankreich starten auch wir mit unserer neuen Fundamentals for Puppet Schulung über drei Tage. Beim Auftakt lernen die Teilnehmer die grundsätzliche Funktionsweise von Puppet kennen und werden Stück für Stück an die Modulentwicklung und natürlich auch -benutzung herangeführt. Aufgrund der besseren Platzverhältnisse findet das allerdings hier in Deutschland, genauer gesagt in Nürnberg, statt.
EM-PokalWer sich durch den Besuch des Fundamentals for Puppet Trainings qualifiziert, dem sei als logischer zweiter Schritt ein Besuch von Advanced Puppet nahegelegt. Dieser Kurs befasst sich mit erweitertem Moduldesign und geht auf die bestehenden Validierungs- und Testmöglichkeiten ein. Weiterhin werden in dem ebenfalls 3tägigen Training optionale Komponenten wie eigene Facts und Funktionen behandelt. Auch Datenseparierung mit Hiera und die Benutzung von Git als Versions Control System sind Thema.
Die nächste Advanced Puppet Schulung ist für Mitte Juli (11.07.-13.07.2016) angesetzt. Fussballinteressierten ist nun bestimmt aufgefallen das dies einem Tag nach dem EM-Finale in Paris startet, aber davon lassen wir uns nicht abschrecken. Wer’s doch nicht ganz schaffen sollte hat dann auch nochmal im November die Gelegenheit daran teilzunehmen.
In die Verlängerung geht es dann mit Scaling Puppet. Wie der Name schon sagt dreht sich hier alles um Hochverfügbarkeit und Lastverteilung der einzelnen Puppet Komponenten. Besonders große und verteilte Systeme erfordern tiefergehendes Wissen und ein paar Tipps und Tricks auf die während des 2tägigen Trainings eingegangen wird.
Auch bei uns haben sich ein paar Regeln geändert: Alle Puppet Trainings werden nun ausschließlich auf Basis der Open Source Variante durchgeführt! Natürlich gehen wir aber trotzdem noch auf die Unterschiede im Gegensatz zur Enterprise Variante ein. Außerdem sind die Schulungen auf die neue Major Version von Puppet – Puppet 4.x, fokussiert.
Ich freue mich über alle die in die nähere Auswahl für die Open Source Puppet Trainings kommen und wünsche den Fußball Begeisterten unter euch viel Spaß bei der Europameisterschaft in Frankreich, mit einem hoffentlich zufrieden stellenden Ausgang…

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

Schöne bunte Apfelwelt

Ich hab’s getan! Nachdem einige Jahre Windows und viele Jahre Linux auf meinem Arbeitsplatzrechner lief, bin ich nun (freiwillig) zu Mac OS gewechselt. Um Missverständnissen vorzubeugen: Ich möchte mit diesem Blogpost keinen erneuten Glaubenskrieg lostreten, sondern lediglich meine Erfahrungen mit Mac OS X bzw. dem MacBook Pro 2015 der ersten Tage wiedergeben. Meiner Ansicht nach hat jedes Betriebssystem und jede Hardware je nach Einsatzzweck auch seine Daseinsberechtigung.
Beweggründe
Generell ist es uns hier bei NETWAYS frei gestellt mit welchem Notebook bzw. welchem Betriebssystem wir arbeiten möchten, allerdings ist die Geräteauswahl (derzeit) aus nachvollziehbaren Gründen auf Dell, Lenovo und Apple eingeschränkt. Bisher hatte ich ein Dell Latitude E6530, das nun über 3 Jahre auf dem Buckel hat. Als Betriebssystem habe ich Linux Mint eingesetzt. Das Dell an sich hat mir treue Dienste geleistet, ich hatte nie einen Supportfall. Es ist zwar schön wenn man auch außerhalb des eigenen Büros ein großes Display (15,6″) hat, aber im Laufe der Zeit ist mir das Latitude einfach zu klobig und v.a. auch zu schwer geworden. Hardwareseitig bin ich v.a. bei Trainings mit mehreren gleichzeitig laufenden VM’s an die Grenzen gestossen.
Als Betriebssystem auf Linux Mint zu setzen war, rückwirkend betrachtet, vermutlich nicht die beste Wahl. Die Probleme die ich damit hatte treten so oder so ähnlich aber auch bei anderen Arbeitsplatzrechnern mit Linux auf. Brandaktuelle Softwarepakete ziehen u. U. Abhängigkeitsprobleme nach sich, so kam es beispielsweise vor das nach dem Update plötzlich der VPN-Client des Kunden oder der Mailclient (Thunderbird) nicht mehr korrekt funktionierten. Bei zusätzlicher Software stand ich auch oft vor dem Problem das Linux gar nicht unterstützt wurde, allerdings fast immer Windows und Mac OS (Webconferencing, etc.). Auch Unverträglichkeiten mit Beamern sind vielen Linux-Usern bekannt…
Einstieg
macbookpro2015Der große Vorteil von Apple ist das sie die Möglichkeit haben Hard- und Software perfekt aufeinander abzustimmen. Das macht sich beim Betrieb auf alle Fälle bemerkbar, es läuft einfach rund und bringt vieles von Haus auf mit. Zusätzliche Software ist mit ein paar Klicks installiert und Einstellungen schnell angepasst, sobald man sich an das geänderte Fensterkonzept mit Menüleiste und Dock gewöhnt hat. Natürlich merkt man dem aktuellen MacBook Pro auch seine Leistung an, nicht nur (viele) VM’s laufen flüssig, sondern das ganze System und alle Applikationen regieren sehr flott. Dabei gibt das Gerät durch den fehlenden Lüfter keinen Ton von sich. Die 2te Maustaste lässt sich über die Systemeinstellungen zuschalten, daher war für mich die größte Hürde eigentlich die Tastatur. Das geänderte Layout ist, wie ich finde, v.a. für Umsteiger gewöhnungsbedürftig. So dauert es ein wenig bis das @-Zeichen sitzt oder andere Sonderzeichen wie “|” gefunden werden.
Fazit
Nach der ersten Woche habe ich neben Kundenterminen nun den Großteil meiner bisherigen Umgebung auf das MacBook gezogen und mich mit den meisten Änderungen angefreundet. Das Ganze läuft von Tag zu Tag flüssiger und macht zunehmend mehr Spass. Insgesamt habe ich den Umstieg trotz der anfänglichen Hürden also nicht bereut und einen großen Vorteil hat das MacBook und dessen Zubehör auf alle Fälle: Es sieht einfach verdammt gut aus!

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

TrueCrypt Disaster Recovery

Ich stand vor Kurzem privat vor der Aufgabe die Daten einer mit TrueCrypt verschlüsselten Festplatte, die versehentlich mittels fdisk partitioniert und anschließend formatiert wurde, wiederherzustellen. Unmöglich? Dachte ich auch zuerst…
Bevor ich irgendwelche Wiederherstellungsvesuche unternommen habe, wurde das komplette Abbild der Festplatte aber erstmal mittels dd gesichert. Unter Linux geht das ganz einfach, z.B. so:

# dd if=/QUELL/PLATTE of=/SPEICHER/ZIEL

Mein erster Ansatz war ein mir altbekanntes Tool: TestDisk. Allerdings stösst das bei per TrueCrypt verschlüsselten Platten schnell an seine Grenzen. Nach einer kurzen Recherche fand ich dann schließlich TestCrypt. TestCrypt ist speziell für die Wiederherstellung von TrueCrypt-Verschlüsselungen entwickelt worden, funkioniert aber erst ab TrueCrypt Version 5.1a. Voraussetzung ist natürlich das man noch im Besitz des TrueCrypt Passwortes oder des Keyfiles ist.
testcryptDie größte Schwierigkeit bei TestCrypt war bei mir das es nur unter Windows funktioniert, also musste ich kurzerhand eine alte Windows XP Installation aktivieren um die Software installieren zu können. Sobald die Software gestartet und das entsprechende Volume ausgewählt wurde, sucht TestCrypt nach dem Backup Volume Header. Sobald dieser gefunden wurde lässt sich das Volume als zusätzlicher Datenträger einhängen und erhält so Zugriff auf die schon verloren geglaubten Daten.
Nach Sicherung der Daten auf eine andere Platte, habe ich die Gelegenheit genutzt und den Datenträger gleich neu mit VeraCrypt verschlüsselt. VeraCrypt ist sozusagen der Nachfolger von TrueCrypt, da dieses seit Mitte 2014 nicht mehr weiterentwickelt und somit als potenziell unsicher eingestuft wird.
Um solchen “Horror”-Szenarien vorbeugen bzw. besser begegnen zu können empfiehlt es sich beispielweise im Vorfeld den entsprechenden Volume Header zu sichern oder aber gleich eine bewährte Backup- bzw. Recoverylösung wie Bareos zu verwenden. Nicht zuletzt möchte ich mich bei den Entwicklern von TestCrypt bedanken, mir haben sie in diesem Fall sehr viel Ärger erspart!

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

PDF's mit Showoff

Graphite_TrainingShowoff habe ich ja bereits in einem früheren Blogpost näher behandelt. Heute möchte ich nun etwas über die PDF-Generierung mit Showoff berichten, da hier die ein oder andere Stolperstelle überwunden werden muss.
Generell gibt es drei Möglichkeiten um über Showoff PDF’s zu erstellen, für die ersten beiden muss Showoff zwingend im Präsentationsmodus mit showoff serve gestartet sein. Über den Aufruf http://localhost:9090/pdf, der übrigens auch über einen Button im Presenter-Modus ausgewählt werden kann, ist es nun möglich ein PDF der Präsentation zu erstellen. Leider funktioniert diese Methode nur mit der Masterpräsentation, d.h. supplementäre Aufrufe wie für Exercises oder Solutions (siehe: https://github.com/puppetlabs/showoff/blob/master/documentation/AUTHORING.rdoc) funktionieren damit nicht.
Die zweite Möglichkeit ist der Aufruf über http://localhost:9090/print im Druckmodus. Das Drucken wird hier noch manuell durchgeführt, also brauchen wir dafür einen lokalen PDF-Drucker. Im Gegensatz zur ersten Methode können hier auch die ergänzenden Bereiche beispielsweise über http://localhost:9090/supplemental/exercises aufgerufen werden. Beide bisher vorgestellten Möglichkeiten haben jedoch einige Probleme gemeinsam: Unterschiedliche Browservarianten und teilweise auch verschiedene Browserversionen interpretieren das dahinter liegende CSS oft anders. Dadurch bekommt man leider oft sehr schlechte Druckergebnisse. Ein weiteres Problem ist das diese Vorgänge nicht automatisierbar sind und daher immer von jemandem manuell durchgeführt werden müssen.
Daher nun also die dritte Möglichkeit: Das Showoff-Kommando lässt sich auf der CLI mit einem Parameter namens static aufrufen, dazu muss die Präsentation also nicht einmal gestartet werden. Dieser static-Parameter unterstützt auch die supplementären Teile:

# showoff static print
# showoff static supplemental exercises

Danach befindet sich im neuen Unterordner “static” eine HTML-Datei (index.html). Mit weiteren Tools wie beispielsweise wkhtmltopdf kann nun daraus im Anschluss ein PDF-Dokument erstellt werden. Der große Vorteil dabei ist, das nun ganz einfach auch Seitenzahlen oder ein Copyright-Hinweis hinzugefügt werden kann. Ein Beispielaufruf von wkhtmltopdf sieht so aus:

# wkhtmltopdf -s A5 --print-media-type --footer-left [page] --footer-right '© NETWAYS' static/index.html /HAPPY/NEW/YEAR.pdf

Wer nun schon ganz gespannt auf das Ergebnis ist, dem möchte ich unsere Trainings nahe legen, denn da kommt genau das zum Einsatz.

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

Ncdu – Speicherplatzanalyse leicht gemacht

ncduIch möchte heute mal ein äußerst nützliches Tool vorstellen, das ich schon seit Jahren verwende: Ncdu. Die Abkürzung steht für NCurses Disk Usage und wie der Name schon sagt lässt sich damit die Disk Usage, also der belegte Speicherplatz analysieren.
Gerade wenn’s mal schnell gehen muss und es “brennt” dauert die Suche nach einem Speicherplatzfresser über herkömliche Befehle wie du doch verhältnismäßig lange, hier kommt ncdu in Spiel. Bei Debian steht es über die Standardrepositories zur Verfügung, bei RHEL/CentOS muss auf das EPEL-Repo zurückgegriffen werden.
Ein Aufruf ohne Parameter errechnet den belegten Speicherplatz ausgehend von dem aktuellen Verzeichnis, mit “-x” kann man das aber noch abändern:

# ncdo -x /var

Die Bedienung erfolgt dann hauptsächlich mittels Enter- und Pfeiltasten. Ansonsten gibt es noch verschiedene Tasten für eine andere Sortierung und mit “d” können z.B. auch Dateien oder ganze Verzeichnisse über ncdu gelöscht werden. Mit “q” verlässt man ncdu.
Mit dem Parameter “-o” besteht die Möglichkeit die Ausgabe auch noch zu exportieren, das macht v.a. bei größeren Dateisystemen Sinn:

# ncdo -o export.txt

Auch an einen Remoteaufruf haben die Entwickler von ncdu gedacht, allerdings muss hier natürlich ncdu auch auf dem Zielsystem installiert sein:

#ssh -C root@192.168.56.81 ncdu -o- /var | ncdu -f-

Alles in allem ist ncdu ein hilfreiches Tool, das hoffentlich nicht nur mir weiter treue Dienste leistet.

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

Gastbeitrag von Stephan Hermann-Strauß: Dieses NETWAYS-Laufshirt macht süchtig!

sportograf-68579642Nachdem ich bereits in Ulm meinem Hobby, dem Triathlonsport, unter der NETWAYS-Flagge gefrönt habe, war ich am 9. August in Karlsdorf beim Summertime-Triathlon am Start. Und weil’s von dort leider keine NETWAYS-Blog-tauglichen Beweisfotos gibt, musste ich natürlich ein weiteres Mal ran:
Beim Breisgau-Triathlon in Malterdingen – einer meiner Lieblingswettkämpfe – genoss ich also meinen Saisonabschluss. Auf einer kleinen, aber feinen (und zuweilen ziemlich anspruchsvollen) Strecke habe ich erneut zeigen dürfen, dass es mit NETWAYS einfach besser läuft. Nachdem ich den triathlonüblich-dezenten Schlägereien im Wasser erfolgreich entflohen bin, 32 hügelige Radkilometer hinter mich gebracht habe und schließlich laufend 7,2 km durch die Malterdinger Innenstadt flanierte, kam ich nach 1:54:31 Stunden einmal mehr ebenso erschöpft wie glücklich ins Ziel.
sportograf-68577118Viel Freude hat’s mir in dieser Triathlonsaison bereitet, nicht mit “irgendeinem” Schriftzug auf der Brust umherzulaufen, sondern mit einem, der Sinn macht. Denn jeder, der dieses Blog liest, weiß natürlich: NETWAYS macht Open Source, und Open Source rettet die Welt! 😉
In diesem Sinne: Liebe Grüße aus Freiburg nach Nürnberg
Euer Stephan
IT-Systemadministrator, Rinklin Naturkost GmbH

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

host sFlow und Graphite

Es gibt ja die verschiedene Möglichkeiten Graphite mit entsprechenden Metriken zu versorgen. Neben den Klassikern wie zum Beispiel collectd existieren auch zahlreiche andere Tools, die mit Graphite zusammen arbeiten. Eines davon ist host sFlow, welches ich hier nachfolgend vorstellen möchte.
Wie der Name des Tools schon sagt, steht es im Zusammenhang mit sFlow, dem Standard aus dem Netzwerkbereich zur Trafficweiterleitung bzw. -analyse. host sFlow wird u.a. als DEB oder RPM-Paket zum Download angeboten.
Nach der Installation müssen in der Konfigurationsdatei “/etc/hsflowd.conf” Sammelwerte und die sFlow Kollektoren eingetragen werden, hier ist das nur einer:

sflow{
  packetSamplingRate=400
  counterPollingInterval=20
  collector{
    ip = 127.0.0.1
}

Der Daemon hsflowd sollte jetzt bereits gestartet werden, allerdings benötigen wir für den Transfer der Metriken von host sFlow an Graphite noch ein zusätzliches Skript names sflow2graphite. Da dieses auf sflowtool zurück greift, müssen wir das im Vorfeld installieren:

# git clone https://github.com/sflow/sflowtool.git
# automake
# autoconf
# ./configure
# make
# make install

Schlussendlich benötigen wir eben nur noch sflow2graphite, welches im Anschluss gestartet wird:

# wget https://sflow2graphite.googlecode.com/files/sflow2graphite-0.5.2.tar.gz
# tar -xf sflow2graphite-0.5.2.tar.gz
# ./sflow2graphite

Nun sollten die Metriken bereits von Graphite empfangen und als Whisper Files abgelegt werden:

├── cpu
│   ├── contexts.wsp
│   ├── idle.wsp
│   ├── ...
├── disk
│   ├── bytes_read.wsp
│   ├── bytes_written.wsp
│   ├── ...
│   ├──
├── load
│   ├── load_fifteen.wsp
│   ├── load_five.wsp
│   └── ...
├── mem
│   ├── buffers.wsp
│   ├── cached.wsp
│   ├── ...
└── net
    ├── bytes_in.wsp
    ├── bytes_out.wsp
    ...

Für eine bessere Visualisierung der Metriken bieten sich beispielsweise noch Dashboards mit Grafana an, hier am Beispiel der von host sFlow gesammelten Netzwerkmetriken:
Bildschirmfoto vom 2015-09-04 07:36:19

Markus Waldmüller
Markus Waldmüller
Lead Senior Consultant

Markus war bereits mehrere Jahre als Sysadmin in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. Wenn er nicht gerade die Welt bereist, ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.