pixel
Seite wählen

NETWAYS Blog

Aus Graylog ENTERPRISE wird Graylog Operations

Wie im Blogpost von Graylog bekannt gegeben, wurde die Lösung Graylog ENTERPRISE umbenannt in Graylog Operations. Der neue Name spiegelt dabei das Ziel von Graylog wider, sich verstärkt in den operational Bereich einzugliedern und Herausforderungen, die sich aus diesem ergeben, anzugehen.

Graylog Operations ist eine mächtige und dabei einfach zu bedienende Lösung, um Loginformationen und Ereignisse zu sammeln, zu korrelieren, aufzubereiten und visuell darzustellen. Dadurch werden mögliche Schwachstellen, Bottlenecks und zu verbessernde IT-Prozesse aufgezeigt und erlaubt es den Nutzern, mit diesen Reports die interne Infrastruktur weiter zu optimieren.

Graylog Security

Neben dem neuen Namen Graylog Operations und der daraus resultierenden Mission, ist Graylog Security nun ebenfalls flächendeckend verfügbar. Das Ziel von Graylog Security ist es, die interne IT auf mögliche Bedrohungen hin zu analysieren, schadhaftes Verhalten aufzudecken und die Cyberabwehr zu stärken.

Dabei hilft die kosteneffiziente Lösung, alle Informationen nicht nur zu sammeln, sondern auch auszuwerten, grafisch darzustellen und mithilfe der Reporting Funktion automatisiert detaillierte Reports über den aktuellen Status der Umgebung zu erstellen. Der Vorteil von Graylog Security ist dabei, dass die Informationen einfach eingesammelt und dargestellt werden können, ohne auf komplexe SIEM Lösungen zurückgreifen zu müssen.

 

Wir haben euer Interesse geweckt? Dann nehmt doch einfach Kontakt mit uns auf. Wir stehen bei Rückfragen und Informationen rund um Graylog Operations und Graylog Security gerne zur Verfügung!

Christian Stein
Christian Stein
Lead Account Manager

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Senior Sales Engineer und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".

NETWAYS Webinar Plan 2022 – Phase 1

Es ist wieder soweit: In 2022 starten wir wieder voll durch mit neuen Webinaren rund um unsere angebotenen Dienstleistungen von Icinga, über Graylog bis hin zu Elastic. Den Fokus legen wir dabei auch wie üblich auf einen einfachen Einstieg und im späteren Verlauf auf komplexere Themen.

Anfangen werden wir mit einigen Webinaren für Icinga for Windows – die Lösung von Icinga, um Windows Systeme und Microsoft Produkte zu überwachen. Die folgenden Termine stehen dabei schon fest:

Für Icinga selbst werden im Laufe des Jahres dann noch eigene Webinare zum Icinga Director, der vSphereDB sowie dem Reporting Modul folgen – daher am besten direkt unseren YouTube Kanal abonnieren und die Glocke aktivieren.

Darüber hinaus, haben wir noch eine Webinar-Serie zu jeweils Elastic und Graylog geplant, welche die Grundfunktionalitäten sowie Erstinstallation, aber auch spätere Integrationen, Dashboard Erstellung und Auswertungen aufzeigt. Hierzu folgen in den nächsten Wochen weitere Informationen.

Wie immer freuen wir uns über eine rege Teilnahme sowie Input für Themen, welche wir vorstellen können!

Christian Stein
Christian Stein
Lead Account Manager

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Senior Sales Engineer und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".

Warum OpenSearch? Was ist OpenSearch? OpenSearch VS. Elastic

Es fing bereits 2015 an zu brodeln, als AWS seinen neuen SaaS-Dienst „AWS Elasticsearch Services“ veröffentlichte und später dann 2019 das Produkt OpenDistro erschien. Bei zuletzt genanntem Produkt erschließt sich mir bis heute nicht, warum ich dieses der X-Pack Basic von Elastic vorziehen sollte. So lange ich natürlich ein Elasticsearch oder den Elastic Stack nicht als SaaS-Dienst vermarkten möchte. Denn dann bleibt mir nur die bis vor kurzem verfügbare OSS-Variante, welche natürlich entsprechende Features, welche im X-Pack Basic integriert sind, vermissen lässt.

2017 auf der ElasticON in San Francisco wurde das neue offene Lizenz-Modell auf Basis der Apache-2.0-Lizenz und der daraus entstandenen OSS-Variante, so wie die Veröffentlichung einer X-Pack Basic Variante bekannt gegeben. Dieser Weg wird jetzt teilweise verlassen.

Anfang des Jahres war der Höhepunkt einer langen gerichtlichen Auseinandersetzung wohl erreicht. Elastic kündigte im Januar, wohl als letztes Mittel gegen Amazon, dass Ende der OSS mit Version Elasitc Stack 7.11 und den Wechsel zu einem dualen Lizenzmodell aus Server Side Public License (SSPL, wie z.b MongoDB) oder Elastic-Lizenz an. Amazon reagierte darauf und brachte die Community zum kochen, dass Ergebnis ist der Fork von Amazon „OpenSearch“, welcher auf Elastic Stack v 7.10 aufbaut.

Jetzt wollen wir aber mal alles im Detail betrachten und wie es weitergeht.

Spieler 1: Elastic

Was bedeutet dies jetzt für die Nutzer von Elastic Stack Produkten (IMHO):

  1. Die OSS Varianten welche Elasticsearch, Kibana und Beats unter APLv2 frei nutzbar und auch als SaaS-Dienst verkaufbar machten wurden abgekündigt mit Version 7.10
  2. Die X-Pack Basic bleibt bestehen und ist weiterhin frei Verfügbar und nutzbar mit allen Features, die darin enthalten sind
  3.  Lediglich die Vermarktung des Elastic Stack als SaaS-Dienst ist nicht mehr möglich

IMHO: Bisher für mich in der Wertung alles noch kein Beinbruch und viele Reaktionen unverständlich, denn von irgendwas muss ja als Firma gelebt werden. Zudem darf man nicht vergessen, dass mit den Werkzeugen des Elastic Stack, hervorragende Standards für ein modernes Event und Informations-Managment geschaffen wurden.

Was mich aber wirklich aufregt an der ganzen Sache ist der Fakt, dass mit der Filebeat Version 7.13, die Beats nur noch mit Elasticsearch und Kibana mit Versionen ältere als 7.10 sprich 7.11 zusammen spielen. Breaking Change lesen hier.
Dies könnte es schwierig machen die aktuellen Beats bzw. Filebeat mit anderen Werkzeugen wie z.B. Graylog zu nutzen. Aber dies werden wir für euch testen und berichten.

Spieler 2: OpenSearch

Als Antwort auf die Veränderungen des Elastic Stack wurde die Community unter anderem um AWS OpenDistro laut und es brodelte weiter bis es zum Ausbruch kam und Amazon AWS den Fork von Elastic Stack OSS 7.10 bekannt gab. Dies zunächst in Form von „OpenSearch“ als Fork von Elasticsearch und OpenDashboard als Fork von Kibana. Beide kommen bereits mit einer Vielzahl an Plugins und Integrationen, wie Sie es im Elastic Stack gibt. Hier ist schon mal ein guter Grundstock vorhanden.

Am 25.5.2021 wurde die Roadmap veröffentlicht  welche besagt, dass der aktuelle RC1 am 12.07.2021 als v1.0 veröffentlicht wird.

Jetzt wollen wir aber auch die Gegenseite Stellung beziehen lassen:

  1.  Am 21.01.2021 wurde der Fork ausgerufen und der heldenhafte Einsatz für ein ehrliches und quelloffenes Elasticsearch erklärt
  2.  Am 12.04.2021 wurde der Fork „OpenSearch“ öffentlich vorgestellt und gestartet.

Was bedeutet das für neue Nutzer oder Nutzer von OpenDistro oder von Nutzern des AWS Saas-Dienstes (IMHO):

  1. Abwarten ist hier angesagt der RC1 welchen wir uns natürlich für euch bereits ansehen und auch demnächst vorstellen werden ist „nur“ ein RC.
  2. Nutzer von OpenDistro sollten mit der Veröffentlichung von Version 1.0 umsteigen. Dennn OpenDistro wird mit Version 1.13 eingestellt!
  3.  „AWS Elasticsearch Service“ Nutzer müssen nicht bangen.
  4. Denn es gibt eine Abwärts-Kompatibilität zu Elasticsearch und Kibana 7.10.2 wie hier besagt und in den FAQs beschrieben.
  5. Diese Abwärts-Kompatibilität bedeutet es ist auch von Elasticsearch-OSS 7.10 oder gar 6.0 auf OpenSearch möglich.
  6. Wer Elasticsearch als SaaS-Dienst oder in SaaS-Dienste oder ähnlichen Produkt-Formaten verwenden will muss auf OpenSearch setzen (oder einfach Solr nutzen)

 

Abschließend bleibt zu sagen…

Nun liebe Lesenden ich weiss, dass war jetzt alles nichts technisches. Aber wir sind bereits den RC1 fleißig für euch am Testen und werden euch so bald es passt davon berichten. Vielleicht sogar passend zur Veröffentlichung von Version 1.0 am 12.07.2021?

Wer bisher auf den „alt“ bewährten Elastic Stack setzen möchte, kann dies in der Zukunft natürlich gerne weiterhin tun. Zu mal auch abzuwarten bleibt, wie es sich bei einer Vielzahl von Anwendungen welche auf Elasticsearch als Speicher setzen, wie z.B Graylog  mit der Integration verhält.

IMHO: Für mich ist klar Amazon in Form von AWS hat, dies bewusst provoziert und ist nicht der faire Spieler in dieser Partie (gewesen). Denn wenn man durchs Leben geht sollte es immer gelten ….

Bei allem, was wir denken, sagen oder tun, sollten wir uns fragen:
1. Ist es wahr?
2. Ist es fair für alle Beteiligten?
3. Wird es Freundschaft und guten Willen fördern?
4. Wird es dem Wohl aller Beteiligten dienen?”

Wer zu den oben erwähnten Themen und Werkzeugen Unterstützung benötigt, darf sich natürlich gerne von uns helfen lassen und bei den Kollegen von Sales nach einem/r Kollegen/Kollegin von Professional Services fragen. Oder in einer unserer Schulungen zu Graylog oder dem Elastic Stack lernen, wie mit den Werkzeugen in der Produktion umgegangen wird.

Daniel Neuberger
Daniel Neuberger
Senior Consultant

Nach seiner Ausbildung zum Fachinformatiker für Systemintegration und Tätigkeit als Systemadministrator kam er 2012 zum Consulting. Nach nun mehr als 4 Jahren Linux und Open Source Backup Consulting zieht es ihn in die Welt des Monitorings und System Management. Seit April 2017 verstärkt er das NETWAYS Professional Services Team im Consulting rund um die Themen Elastic, Icinga und Bareos. Wenn er gerade mal nicht um anderen zu Helfen durch die Welt tingelt geht er seiner Leidenschaft für die Natur beim Biken und der Imkerei nach und kassiert dabei schon mal einen Stich.

Multiline in Grok – Kein schönes Format

In einem modernen Log-Management ist das Aufbereiten für die spätere Analyse unverzichtbar. Je schöner das Format ist, in welchem wir eine Information geliefert bekommen, desto einfacher ist deren Verarbeitung.
Das Aufbereiten der Daten ist oft eine große Herausforderung. Doch über die Jahre hinweg habe ich mir beholfen, indem ich mir ein standardisiertes Vorgehen angewöhnt habe. Und das nicht nur weil ich ein großer Fan der RFC5424 bin.

Egal ob ich mit Graylog oder Logstash arbeite, irgendwann kommt der Punkt an dem ein Grok-Filter benötigt wird, weil kein einfaches Key-Value-Format oder noch besser kein JSON-Format vorliegt.

Ein schönes Beispiel sind Stack-Traces einer JAVA-Anwendung in JBOSS:

2020-07-02 23:54:32,979 [severity] [class] [thread]\n
traceline1\n
traceline2\n
traceline3]

Eine solches Ereignis fängt immer mit den Meta-Informationen an und ich würde zuerst aus diesen Felder erzeugen und mich im Nachgang der eigentlichen Information dem Trace als Nachricht zuwenden. Dies erfordert aber das ich mittels Grok das Feld “message” neu belegen kann. Dies ist die Voraussetzung für das weitere verarbeiten der Kern-Nachricht. Hier würde sich zum Beispiel ein Key-Value Filter anbieten.

Hierfür würden wir in der Implementierung von Grok in Logstash folgendes Muster benötigen:

(?m)

Doch nicht so in Graylog. Die Implementierung von Grok in Graylog erfordert einen anderes Muster zumindest für die Filter in den “Pipeline-Processors”

(?s)

Somit sind wir mit diesem Muster in der Lage die mehrzeilige Information als eine Nachricht in einem Grok-Filter in einer “Pipeline-Regel” abzufangen.
Hier ein Beispiel in der gänze für ein mögliches JBoss Server-Log

%{TIMESTAMP_ISO8601:timestamp}%{SPACE}%{WORD:severity}%{SPACE}\[%{HOSTNAME:jboss_class}\]%{SPACE}\[%{HOSTNAME:thread}\]\n(?<message>(?s).*)

Diese Erkenntnis für die Multiline in Grok stammt aus dem folgenden Issue #2465.
Ich hoffe es hilft dem nächsten Suchenden, dem es ergeht wie mir um mit Zeilenumbrüchen in Grok umzugehen.

Wenn Ihr gerne mehr über Graylog oder die spannenden Welt des Informations- und Event-Management wissen wollt zögert nicht ein Training bei NETWAYS Events zu besuchen oder euch direkt Hilfe bei unseren Kollegen von Netways Professional Services zu holen.

Daniel Neuberger
Daniel Neuberger
Senior Consultant

Nach seiner Ausbildung zum Fachinformatiker für Systemintegration und Tätigkeit als Systemadministrator kam er 2012 zum Consulting. Nach nun mehr als 4 Jahren Linux und Open Source Backup Consulting zieht es ihn in die Welt des Monitorings und System Management. Seit April 2017 verstärkt er das NETWAYS Professional Services Team im Consulting rund um die Themen Elastic, Icinga und Bareos. Wenn er gerade mal nicht um anderen zu Helfen durch die Welt tingelt geht er seiner Leidenschaft für die Natur beim Biken und der Imkerei nach und kassiert dabei schon mal einen Stich.

Graylog 3.2 – Jetzt verfügbar

Mit Graylog 3.2 haben die Kollegen von Graylog einen neuen Release bereitgestellt. Die größte Neuheit ist hierbei die Erweiterte Suche, die es erlaubt, bereits durchgeführte Suchen leichter zu wiederholen und Such-Worflows zu definieren. Sowohl für Nutzer der OpenSource als auch der Enterprise Variante gibt es einige Neuheiten. In unseren vergangenen Graylog Webinaren auf unserem YouTube Kanal sind wir bereits grob auf einige Neuerungen eingegangen. Der Downlod erfolgt entweder direkt über die Graylog-Webseite oder die bereitgestellten Pakete. Eine Migrationsanleitung von 3.1 auf 3.2 ist selbstverständlich verfügbar, als Graylog Partner unterstützen wir aber natürlich gerne bei einem Update.

Optimierte Suche

Mit der neuen Such-Funktion von Graylog können mehrere Suchen sehr einfach in eine einzelne Aktion kombiniert werden und liefern das Ergebnis in einer Ansicht aus. Ab hier können diese gelisteten Informationen nun genauer analysiert und gefiltert werden, um potentielle Angriffe, Fehler, Report-Informationen oder andere Daten zu erhalten. Darüber hinaus können Suchabfragen direkt innerhalb der Widgets von Dashboards angepasst und geändert werden, um schnell ein Feintuning vorzunehmen oder gänzlich neue Widgets mit erweiterten Suchkriteieren für eine noch bessere Übersicht anzulegen .

Widget-Daten bearbeiten

Optimierte Such-Konfiguration (ENTERPRISE)

Neben den bereits erwähnten Änderungen wurden auch Kontext-Menüeinträge, Ansichten und Menüpunkte optimiert, erweitert oder gänzlich neu implementiert. Hierdurch gibt es nun die Möglichkeit, schnell einzelne Einträge auszublenden, zur Ansicht hinzuzufügen oder in die Anfrage zu integrieren.

Dadurch können gesammelte Daten noch einfacher und schneller zielgerichtet aufbereitet und dargestellt werden. Ein kompliziertes Arbeiten über mehrere Browser-Tabs gehören somit der Vergangenheit an. Mit den neuen Views ist ebenfalls eine leichtere Bedienung möglich.

Such-Views

Mit den neuen Views können Suchkritieren nun einfach in einen View hinzugefügt und für eine spätere, weitere Verwendung gespeichert werden. Das Speichern der Suchen ist jedoch nur mit Graylog ENTERPRISE möglich. Mit diesem neuen Feature werden Such-Dashboards überflüssig, da die Darstellung der Inhalte direkt in der Suchmaske erfolgt. Neben klassischen Countern sind hier alle Ansichten wie Diagramme, Averages und Daten Tabellen vorhanden. Wird die Such-Query geändert, aktualisieren sich automatisch alle hinterlegten View-Widgets und liefern exakte Informationen basierend auf der Widget-Konfiguration zurück. Gerade für Fehleranalysen oder bei potentiellen Angriffen sind hier schnelle Auswertungen möglich, um potenzielle Ursachen herauszufinden und den Impact so gering wie möglich zu halten.

Neue Alerts (ENTERPRISE)

Mit den neuen Alerts können nun endlich dynamische Inhaltslisten genutzt und gegen mehrere Konditionen auf einmal geprüft werden. Die dynamischen Listen sind dabei eine Kombination aus Alarmierungs-Parametern und Datentabellen. Dies erlaubt es beispielsweise, Alarmierungskriterieren dynamisch anzupassen, je nachdem welche Informationen innerhalb einer Datentabelle vorhanden sind. Hierdurch steigt nicht nur die Flexibilität für die Alarmierung, sondern vereinfacht in vielen Fällen auch die Konfiguration.

Ein Beispiel ist die Alarmierung an Personen innerhalb einer AD-Gruppe. Wird die Liste der Benutzer im AD direkt geändert, werden diese umgehend berücksichtigt. Wenn neue Kollegen in das Team aufgenommen werden, wird dadurch eine Anpassung der Nachrichtenempfänger in Graylog überflüssig . Sobald der Benutzer im AD hinzugefügt wird, wird dieser automatisch bei künftigen Alarmen berücksichtigt.

Um Alarmierungen noch gezielter gestalten zu können, bietet Graylog 3.2 nun die Möglichkeiten mehrere Konditionen für einen Alarm zu definieren. Ein Beispiel wären hierfür fehlerhafte Logins innerhalb eines bestimmten Zeitraums. Möchte man prüfen, ob sich ein Benutzer 20 mal innerhalb eines Zeitraums von beispielsweise 5 Minuten falsch anmeldet, erfolgt dies über zwei Konditionen. Die erste würde prüfen, wie viele fehlerhafte Logins insgesamt stattfinden. Die zweite Konditionen würde dies auf den Zeitraum von 5 Minuten einschränken. Sobald beide Konditionen eintreffen, also 20 fehlerhafte Loginversuche in einem Zeitraum von 5 Minuten erfolgen, wird alarmiert.

Vollbild Dashboards

Mit Graylog 3.2 ist ein lang erwartetes Feature endlich verfügbar. Ein Vollbild Dashboard.

Nutzt man Graylog auf einem Dashboard Fernseher ist dies nun nativ in einem Vollbild-Modus möglich, ohne hierfür spezielle Browser-Funktionen oder Erweiterungen installieren zu müssen.

 

Neugierig auf die neue Graylog Version geworden? Dann am besten gleich direkt ausprobieren! Alternativ stellen wir die neuen Features bei Interesse gerne vor oder unterstützen bei der Installation, Konfiguration oder grundlegenden Einrichtung. Wir freuen uns über eine Kontaktaufnahme!

 

 

Christian Stein
Christian Stein
Lead Account Manager

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Senior Sales Engineer und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".