In Love with new Features!

Graylog v3.0 unter der Lupe

Teil I

Am “Tag der Liebe” dem Valentinstag 2019 wurde Graylog Version 3 veröffentlicht. Auf den ersten Blick könnte man vermuten, dass sich nichts geändert hat. Dies stimmt aber so nicht!

Es gibt drei Neuerungen in der Open Source Variante, wobei eine elementar ist (dazu unten mehr). In der Enterprise Variante kommen zu diesen Neuerungen dann noch Views und ein Reporting hinzu. Die Enterprise Features sind jedoch für jeden bis zu einer täglichen Log-Menge von 5GB mit einer entsprechenden Lizenz (im letzten Drittel auf der Download-Page anzufordern) frei Nutzbar. In diesem Artikel werden wir uns dem neuen Sidecar, Content Pack Feature und den neuen Grok Debugger kurz anschauen.

Sidecar (Breaking Change)

Mit Graylog Version 3 wird der Sidecar in die Version 1.0.0 gehoben. Bevor wir zu der Umsetzung in Graylog kommen, muss man über die neue Nutzung des Sidecars sprechen. War es doch in den alten Versionen üblich, dass Sidecar die Shipper wie Filebeat, Winlogbeat und NXlog installiert hat, muss man sich jetzt um deren Installation selbst kümmern. Sidecar ist jetzt in der Lage, jegliche Elastic Beats oder Syslog-Daemons parametrisiert zu steuern und zu starten. Hierbei werden die einzelnen Dienste als Prozess mit Commando-Parametern durch den Sidecar aufgerufen.

Beispiel:

[root@graylog ~]# ps aux | grep filebeat
root 12836 0.0 0.6 498340 23524 ? Sl Mär13 0:27 /usr/share/filebeat/bin/filebeat -c /var/lib/graylog-sidecar/generated/filebeat-syslog-sysmodule-ssh-rpmbase.conf --path.home /usr/share/filebeat --modules system -M system.syslog.enabled=false -M system.auth.enabled=true -M system.auth.var.paths=[/var/log/secure]

Um den Filebeat wie oben gezeigt auszuführen, muss man folgende als Wert für die “Excecute Parameter” eingetragen werden:

-c %s --path.home /usr/share/filebeat --modules system -M "system.syslog.enabled=false" -M "system.auth.enabled=true" -M "system.auth.var.paths=[/var/log/secure]"

Hierzu werden Konfigurationen für “Log Collectors” global hinterlegt und als sogenannte “Configurations” genutzt. Diese “Log Collectors” können dann einen Filebeat, Auditbeat oder rSyslog mit der entsprechend generierten Konfiguration, welche auf dem Sidecar-Host unter “/var/lib/graylog-sidecar/generated/” (z.b unter Linux) ausgerollt werden, steuern.

Hier wird der Collector für einen Auditbeat konfiguriert:

Hier ist das Template Beispiel für einen Auditbeat:

auditbeat.modules:
- module: auditd
audit_rules: |
# Things that affect identity.
-w /etc/group -p wa -k identity
-w /etc/passwd -p wa -k identity
-w /etc/gshadow -p wa -k identity
-w /etc/shadow -p wa -k identity
-w /etc/passwd -p wra -k passwd
-a exit,always -F arch=b64 -S clock_settime -k changetime
# Unauthorized access attempts to files (unsuccessful).
-a always,exit -F arch=b32 -S open,creat,truncate,ftruncate,openat,open_by_handle_at -F exit=-EACCES -F auid>=1000 -F auid!=4294967295 -F key=access
-a always,exit -F arch=b32 -S open,creat,truncate,ftruncate,openat,open_by_handle_at -F exit=-EPERM -F auid>=1000 -F auid!=4294967295 -F key=access
-a always,exit -F arch=b64 -S open,truncate,ftruncate,creat,openat,open_by_handle_at -F exit=-EACCES -F auid>=1000 -F auid!=4294967295 -F key=access
-a always,exit -F arch=b64 -S open,truncate,ftruncate,creat,openat,open_by_handle_at -F exit=-EPERM -F auid>=1000 -F auid!=4294967295 -F key=access
- module: file_integrity
paths:
- /bin
- /usr/bin
- /sbin
- /usr/sbin
- /etc
- module: system
datasets:
- host # General host information, e.g. uptime, IPs
- user # User information
period: 1m
user.detect_password_changes: true
- module: system
datasets:
- process # Started and stopped processes
- socket # Opened and closed sockets
period: 1s
setup.template.enabled: false
output.logstash:
hosts: ["192.168.0.1:5044"]
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
path:
data: /var/lib/graylog-sidecar/collectors/auditbeat/data
logs: /var/lib/graylog-sidecar/collectors/auditbeat/log

Danach kann man diesen Collector als Konfiguration nutzen und und ebenfalls anpassen:

Unter “Collectors Administration” werden diese dann den einzelnen Sidecars zugeordnet:

In Anbetracht der Tatsache, dass sich so auch die Module eines Filebeats und andere Dienste vielseitiger nutzen lassen, ist der Wegfall der vorher vorhanden Automatisierung beim Rollout zu verkraften. Zumal mit der neuen Umsetzung die Versionsbindung bei den Beats wegfällt.

Wichtig ist auch zu wissen, dass die alten Graylog-Sidecars mit dieser Umsetzung nicht kompatibel sind und es deswegen unter dem Punkt “Collectors (Legacy)” zu verwalten sind. Doch der Umstieg lohnt sich!

Content Packs

Die Zeit der Frustration hat ein Ende! War es doch in der Vergangenheit so, dass man immer wieder geniale Pipeline Konstrukte gebaut hat und sich gedacht hat: Jetzt habe ich hier doch ein gutes Setup, dass würde ich gerne wieder verwenden oder mit meiner Gemeinschaft teilen! Und da war er der Stolperstein, denn Pipelines und Pipeline Rules konnten nicht in einem Content Pack verarbeitet werden. Für Frust sorgte auch, wenn man ein Content Pack herausnehmen und aktualisieren wollte oder gar versehentlich zwei mal installierte! All dies hat jetzt ein Ende!

Mit der neuen Umsetzung der Content Packs lassen sich Element wie Pipelines, Pipeline Rules, Sidecar Collectoren und Configurations sowie die gewohnten Standards verarbeiten und mit einer umfangreichen Description und Herkunftsangabe exportieren, ja sogar Variablen können verwendet werden. Aber noch nicht genug – sind diese einmal erstellt, lassen diese sich in einer Versionierung aktualisieren und neu installieren. Damit ist man nun in der Lage, sich einen validen Werkzeugkasten aufzubauen, um für jeden Einsatz das richtige Werkzeug zu haben.

Grok Debugger

Immer wieder stolperte man über die Tatsache, dass sich die Umsetzung in Java-Grok doch von der bekannten Syntax des Groks in Logstash’s jruby unterscheidet. Man was ich mir schon die Finger wund getippt habe, um Escapes einzufügen, welche die Java-Implementierung fordert. Dies hat nun ein Ende. Will man jetzt einen Grok-Pattern einzeln anlegen oder bearbeiten, wird einem die Möglichkeit geboten, mit einem Beispiel-Datensatz dieses Pattern direkt zu testen.

So das waren jetzt ein paar Kurze Worte zu bereits drei der neuen Features. Aber ich bin mir sicher das jedes einzelne hier in diesem Blog noch mal Beachtung finden wird.

Und weil Spaß macht, dürft Ihr euch auf den nächsten Blogpost freuen, in dem die erste Version des “Graylog Linux Security and System Audit” Content Pack veröffentlicht wird.

Und wer jetzt Lust auf mehr hat der ist herzlich eingeladen eine unserer Schulungen bei NETWAYS (z.b. vom Mai 28 – Mai 29 in Nürnberg) zu besuchen oder sich bei notwendiger Hilfe an unser Sales Team zu wenden, um von den kompetenten Kollegen von NETWAYS Professional Services bei den eigenen Herausforderungen rund um Graylog oder gar Elastic Hilfe zu erfahren.

Wer übrigens oben noch nicht dem Link zum Valentinstag im ersten Satz gefolgt ist hier ein Zitat:

Liebe ist etwas völlig anderes als Verliebtheit.

Holger Kuntze, Paartherapeut
Mal sehen wie lange meine Verliebtheit hier anhält :-)…
Daniel Neuberger
Daniel Neuberger
Senior Consultant

Nach seiner Ausbildung zum Fachinformatiker für Systemintegration und Tätigkeit als Systemadministrator kam er 2012 zum Consulting. Nach nun mehr als 4 Jahren Linux und Open Source Backup Consulting zieht es ihn in die Welt des Monitorings und System Management. Seit April 2017 verstärkt er das Netways Professional Services Team im Consulting rund um die Themen Elastic, Icinga und Bareos. Wenn er gerade mal nicht um anderen zu Helfen durch die Welt tingelt geht er seiner...

Icinga Camp Berlin: Letzte Tickets!

Das Icinga Camp Berlin 2019 rückt näher und damit die letzte Chance, Tickets zu bekommen. Die Veranstaltung findet am Donnerstag, 14. März, in der Kalkscheune in Berlin statt. Das Line-Up und der Zeitplan stehen!

Die Themen in Berlin reichen vom aktuellen Stand von Icinga über Implementierungen in großen Umgebungen bis hin zu Integrationen mit Elastic- und Hashicorp-Tools. Check it out! Das gesamte Programm und die Tickets sind auf der Webseite der Veranstaltung erhältlich.

 

Icinga Camp Berlin | March 14, 2019 | Berlin

Julia Hornung
Julia Hornung
Marketing Manager

Julia ist seit Juni 2018 Mitglied der NETWAYS Family. Vor ihrer Zeit in unserem Marketing Team hat sie als Journalistin und in der freien Theaterszene gearbeitet. Ihre Leidenschaft gilt gutem Storytelling, klarer Sprache und ausgefeilten Texten. Privat widmet sie sich dem Klettern und ihrer Ausbildung zur Yogalehrerin.

HW group veröffentlicht SensDesk v2

Am 27. Februar startete HW group mit Ihrem vollständig neu gestalteten SensDesk Portal wieder durch und hat nun nicht nur ein schickeres Design, sondern auch einiges an neuen Features im IoT-Berich zu bieten.

Was ist SensDesk Portal?

SensDesk ist die von HW group kostenfrei zur Verfügung gestellte Web-Oberfläche, mit der u. a. die HW group Messgeräte ausgelesen und Alarmierungen ausgelöst werden können. Zusätzlich wird auch SensDesk Mobile als Android- oder iOS-App angeboten. Bereits die kleinsten Geräte von HW group, wie z. B. das Netzwerkthermometer STE2, können dort eingebunden werden.

 

Das Dashboard

Wie im Screenshot unten zu sehen ist, bekommt man durch das neu aufbereitete Dashboard bereits auf der Startseite einen soliden Überblick über das Setup, die gemessenen Werte und eventuelle Alarme – und das unabhängig von der Anzahl der eingesetzten Sensoren. Durch Klicken auf einen Eintrag wird man direkt zu dessen Details weitergeleitet.

 

Die Geräte

In Version 2 bekommt der User nun eine Übersicht zu den eingesetzten Geräten.  Dort ist auch sofort erkennbar, welchen Status die Geräte gerade haben und ob Handlungsbedarf besteht.

 

Die Sensoren

Um noch weiter ins Detail zu gehen, hat HW group auch eine Ansicht für die angeschlossenen Senoren eingeführt. Auch hier lässt sich auf den ersten Blick sofort erkennen, ob es kritisch zugeht oder alles im grünen Bereich liegt. Und man muss neidlos zugeben, dass das Tacho-Design schon einen sportlichen Eindruck macht!

Dies sind jedoch nicht die einzigen Neuerungen, die es zu beachten gilt, denn HW group hat sich auch dazu entschieden, seine Graphing Engine vollständig zu überarbeiten. Dies hat für die Nutzer nicht nur schnellere Ladezeiten zum Vorteil, sondern es können nun auch die Werte meherer Sensoren übereinandergelegt in dargestellt werden – und das in beliebiger Granularität. Natürlich wurde auch die Export-Funktion verbessert, um höheren Ansprüchen bzgl. Detailreichtum gerecht zu werden.

Zwei weitere Goodies gibt es für Fans von Ordnung und Aufgeräumtheit, nämlich die Möglichkeit, Übersichten anhand von Locations zu erhalten sowie Geräte und Sensoren in vom Nutzer selbst definerten Gruppen zu sortieren.

Wer nun neugierig geworden ist, der sollte sich in unserem Shop das umfangreiche HW group-Portfolio ansehen. Schließlich gibt es immer was zu Monitoren.

 

Nicole Lang
Nicole Lang
Sales Engineer

Ihr Interesse für die IT kam bei Nicole in ihrer Zeit als Übersetzerin mit dem Fachgebiet Technik. Seit 2010 sammelt sie bereits Erfahrungen im Support und der Administration von Storagesystemen beim ZDF in Mainz. Ab September 2016 startete Sie Ihre Ausbildung zur Fachinformatikerin für Systemintegration bei NETWAYS, wo sie vor allem das Arbeiten mit Linux und freier Software reizt. In ihrer Freizeit überschüttet Sie Ihren Hund mit Liebe, kocht viel Gesundes, werkelt im Garten, liest...

NETWAYS Webinare: Geballte Power

Am 20. Februar 2019 gibt es eine Doppelfolge unserer beliebten NETWAYS Webinar-Reihe: Vormittags behandeln wir OpenStack und nachmittags Graylog. Was erwartet unsere Teilnehmer inhaltlich?

OpenStack ist seit vielen Jahren in der IT-Branche ein Begriff und wird auf nahezu allen Konferenzen, die sich mit Automatisierung, Hosting, Rechenzentren usw. beschäftigen, beworben und vorgestellt. Unsere eigene IaaS-Plattform baut ebenso auf OpenStack auf – aber was ist OpenStack eigentlich? Wo kommt es her, welche Vorteile bietet die Lösung und was kann ich damit am Ende tun? Diese Fragen wollen wir in unserem Webinar beantworten und einige Möglichkeiten anhand unserer OpenStack-Plattform demonstrieren.

Graylog ist eine vielseitige und umfangreiche Lösung, wenn es um die zentrale Speicherung, Analyse und Auswertung von Logdaten – egal ob Syslog, Windows Event Log, Log-Dateien oder viele andere – geht. Neben einer übersichtlichen Oberfläche bietet Graylog vor allem die Möglichkeit, nativ Berechtigungen auf Inhalten und Dashboards festzulegen und individuelle Streams, Inputs und Filter zu definieren. In der neuen Version 3.0 stehen viele neue Features wie Views, Reports und die neue Sidecar zur Verfügung. In diesem Webinar wollen wir grundlegend auf die Möglichkeiten von Graylog, vor allem jedoch auf die Neuheiten, eingehen und diese vorstellen.

Für alle Freunde unserer Icinga 2 Webinare haben wir leider schlechte Nachrichten, da wir im März das Thema vorerst abschließen wollen:

Aber niemand muss traurig sein – seht Euch unseren Webinar-Kalender einfach an. Wir sind sicher, dass Euch auch die neue Webinar-Reihe zum Thema OpenStack begeistern wird.

Wir freuen uns, Euch in unseren Webinaren begrüßen zu dürfen!

Nicole Lang
Nicole Lang
Sales Engineer

Ihr Interesse für die IT kam bei Nicole in ihrer Zeit als Übersetzerin mit dem Fachgebiet Technik. Seit 2010 sammelt sie bereits Erfahrungen im Support und der Administration von Storagesystemen beim ZDF in Mainz. Ab September 2016 startete Sie Ihre Ausbildung zur Fachinformatikerin für Systemintegration bei NETWAYS, wo sie vor allem das Arbeiten mit Linux und freier Software reizt. In ihrer Freizeit überschüttet Sie Ihren Hund mit Liebe, kocht viel Gesundes, werkelt im Garten, liest...

Meine ersten eigenen Projekte

Das letzte Mal das ich einen Blogpost geschrieben habe ist jetzt schon ein Weilchen her und das Thema hat sich wenig mit meiner Arbeit beschäftigt – Teamwochenende.

Doch in den letzten Wochen habe ich meine ersten eigenständigen Projekte bekommen. Zunächst hat mir Markus die Aufgabe gegeben eine Backup-Lösung für unsere Notebooks zu finden. Vorgabe hierzu war es, sowohl Disaster Recovery und normale Datensicherung zu bewerkstelligen. Dies habe ich mittels Relax and Recover und DejaDub gelöst.

Natürlich hatte die Aufgabe ihre Tücke, wenn man noch keine Erfahrung mit dem Thema hat, aber zum Einstieg war das genau richtig. Vor Allem hat mir die Aufgabe die Möglichkeit gegeben nicht nur Erfahrung sondern auch Selbstvertrauen zu sammeln.

Danach bekam ich das Stichwort “Puppetized Graphing” zugeworfen, dahinter verbirgt sich dass ich Grafana und Graphite via Puppet installieren sollte. Ziel war es auch das Graphite und Grafana miteinander kommunizieren und alles was dazu gehört, sprich Datenbank und ähnliches. Ich durfte bei Netways auch schon einige Schulungen absolvieren und habe über entsprechende Grundlagenkenntnisse von Puppet verfügt, genauso wie Graphite und Grafana, und hatte auch Unterlagen, sowie Referenzen, aber einige Fallstricke kamen bei dem Thema trotz alledem auf mich zu.

In dem Zeitraum habe ich dutzende Versuche gestartet und bin oft hingefallen und hab Dinge gelernt, die ich ursprünglich gar nicht mit dem Thema in Verbindung gebracht hätte. Zu keinem Zeitpunkt hab ich mich allein gefühlt in meiner Aufgabe, denn auch wenn mal ein Kollege grinsend an der gigantischen Fehlerausgabe vorbei lief, wurde oft genug gefragt ob man mir den helfen könnte und auch umgekehrt, hat mich keiner abgewunken, wenn ich mal Hilfe brauchte.

 

Tobias Bauriedel
Tobias Bauriedel
Junior Consultant

Tobias ist ein offener und gelassener Mensch, dem vor allem der Spaß an der Arbeit wichtig ist. Bei uns macht er zurzeit seine Ausbildung zum Fachinformatiker. In seiner Freizeit ist er viel unterwegs und unternimmt gern etwas mit Freunden.

Icinga Camp Berlin 2019 – Bekanntgabe der ersten Referenten

Bald ist es so weit! Das diesjährige Icinga Camp Berlin findet am 14. März statt und wir freuen uns, die ersten bestätigten Referenten vorstellen zu können. Auf dem Programm stehen eine Reihe von Vorträgen erfahrener Icinga-Anwender. Die Themen reichen von der Integration mit Elastic und dem HashiCorp Stack bis hin zu Erfahrungsberichten professioneller Icinga-Anwender über Herausforderungen und Best Practices aus der täglichen Anwendung. Nicht zu vergessen die neuesten Nachrichten direkt aus dem Icinga-Team zu aktuellen Entwicklungen und den künftig anstehenden Projekten.

Icinga Camps sind eine großartige Plattform, um Euren Wissensstand zu verbessern und neue Methoden kennenzulernen sowie Eure Monitoring-Kenntnisse zu erweitern. Neben dem Vortragsprogramm dient das Icinga Camps als Treffpunkt für Monitoring-Enthusiasten aus allen Branchen.

 

DIE AGENDA

Bernd Erk  | State of Icinga
Assaf Flato | Migrating from Vanilla to Director based solution – War Story
Jean Flach | IcingaDB Development
Max Rosin | Scaling Icinga2 with many heterogeneous projects – and still preserving configurability
Yaron Idan | Monitoria – A Monitoring Democracyy
Bram Vogelaar | Integrating Icinga 2 and the HashiCorp Stack
Francesco Melchiori | Automating Failure Analysis with KI
Philipp Krenn | Dashboards for Your Management with Kibana Canvas
Eric Lippmann | What’s next in Icinga

 

Die Frühbuchertickets sind bereits ausverkauft, reguläre Tickets sind aber noch zu haben. Also los, hol dir Dein Ticket für das Icinga Camp Berlin 2019!

Du möchtest ein Icinga Camp besuchen, aber Berlin liegt nicht auf Deiner Reiseroute? Kein Problem – wir haben in diesem Jahr noch viele weitere Veranstaltungen. Schau Dir die Icinga Tour Dates 2019 doch mal genauer an.

Pamela Drescher
Pamela Drescher
Head of Marketing

Pamela hat im Dezember 2015 das Marketing bei NETWAYS übernommen. Sie ist für die Corporate Identity unserer Veranstaltungen sowie von NETWAYS insgesamt verantwortlich. Die enge Zusammenarbeit mit Events ergibt sich aus dem Umstand heraus, dass sie vor ein paar Jahren mit Markus zusammen die Eventsabteilung geleitet hat und diese äußerst vorzügliche Zusammenarbeit nun auch die Bereiche Events und Marketing noch enger verknüpft. Privat ist sie Anführerin einer vier Mitglieder starken Katzenhorde, was ihr den absolut...