Seite wählen

NETWAYS Blog

Elasticsearch: Herzstück des Elastic Stack

von | Jul 25, 2022 |

Nachdem wir uns im letzten Blogpost den Elastic Stack im Allgemeinen angesehen haben, wollen wir uns heute auf den Teil Elasticsearch konzentrieren. Gerade zum Thema Elasticsearch gibt es aufgrund der Mächtigkeit des Tools eine Vielzahl an Fakten und Features.

Wie im Titel schon erwähnt, ist Elasticsearch das Herzstück des Elastic Stack. Elasticsearch ist eine Such- und Analytics-Engine, die als Kernaufgabe die Speicherung der (Log-)Daten übernimmt. Im Vordergrund stehen hier die hohe Performanz, die Relevanz von Daten kann granular geregelt werden und ein Elasticsearch Cluster kann problemlos skaliert werden.

 

Features von Elasticsearch

  • Suchanfragen sind kombinierbar – egal, ob strukturiert oder unstrukturiert. Suchparameter können selbst gesetzt werden, als Beispiel Metriken oder Geodaten. Hier kann aber indviduell angepasst werden.
  • Volltextsuche und Verstehen von Tippfehlern
  • Ranking von Suchergebnissen – nach individueller Definition können Suchergebnisse sortiert werden, z. B. nach Datum, Beliebtheit, Häufigkeit des Auftretens von Begriffen. Die Einstellungen für diese Rankings können auch per Funktion definiert werden.
  • Analysieren von Milliarden von Logfiles – mit Hilfe von Aggregationen kann mehr als nur eine Facette dargestellt werden. Die Analyse ermöglich das Erkennen von Zusammenhängen, Mustern und Trends sowie einen regelmäßigen Überblick.
  • Hohe Performance – jedes Log File wird mit einem Index versehen. Daten werden automatisch auf den Nodes verteilt, um ein perfektes Balancing zu erreichen.
  • Skalierbarkeit – vom One-Node-Setup im Testumfeld hin zur Produktivumgebung. Hier muss nichts neu aufgesetzt werden, sondern es wird skaliert durch das Hinzufügen von Nodes. Konfigurationen werden im Cluster automatisch verteilt. (Elastic empfiehlt für Produktivumgebungen mindestens drei Nodes)
  • Cluster-übergereifende Replikation – hier wird in einer verteilten Umgebung gearbeitet, so dass der Cluster und die darin enthaltenen Daten auch bei Hardware- oder Netzwerkausfall verfügbar sind. Auch kann jederzeit ein Hot Backup einspringen.
  • Elasticsearch Node weg? Der Cluster erkennt dies und erstetzt den verschwundenen Knoten mit einer Replika.

 

Ein sehr interessanter Aspekt ist auch, dass das Alternativprodukt Graylog auch auf Elasticsearch aufbaut. Das heißt, wer sich mit Elasticsearch auskennt, kann gleich zweimal punkten! Woher Ihr das Wissen bekommt? Natürlich von uns!

Über unsere Website könnt Ihr direkt Schulungen buchen für Elastic, aber auch für viele andere Produkte wie Graylog oder Icinga 2. Solltet Ihr Euch unsicher sein oder weitere Infos benötigen, dann kontaktiert einfach unsere Kollegen über events@netways.de.

Wer kurzfristig was lernen möchte, dem empfehle ich unsere Webinare. Hier findet hier auf unserer Website die bereits gehaltenen Webinare sowie Ankündigungen für neue. Insbesondere haben wir kürzlich Webinare zum Thema Elastic hinzugefügt.

Wir haben Euer Interesse an Elasticsearch und dem Elastic Stack geweckt? Ihr wollt vielleicht wissen, ob die Tools als Lösung für Eure Use Cases in Frage kommen? Dann kommt einfach auf uns zu! Wir sind erreichbar unter sales@netways.de oder über unser Kontaktformular.

Log Management mit Graylog

von | Jan 31, 2022 |

Graylog ist eines der Open Source Log Management Produkte aus dem NETWAYS Portfolio. Wir bieten hierzu sowohl Consulting-Dienstleistungen als auch Schulungen an. Im Consulting unterstützen wir Kunden vor allem

  • bei der Konzeptionierung und dem Sizing der Umgebung
  • dem initialen Aufbau
  • der Skalierung bzgl. Performance und Verfügbarkeit
  • Lösen von Problemstellungen
  • Erweitern des Funktionsumfangs, z. B. bei der Einrichtung der Graylog Enterprise Features

 

Im obigen Screenshot sieht man sehr schön die Anzahl der eingegangenen Log Messages im dargestellten Zeitraum. Darüber findet man sowohl die Suchleiste zum Filtern nach bestimmten Kriterien als auch die Möglichkeit, den zeitlichen Bereich individuell abzustecken.

 

 

 

 

 

 

 

 

 

Im folgenden möchten wir Euch einen ersten Überblick geben, was Graylog an Funktionen mitbringt und wie es Euch im alltäglichen Umgang mit Log Daten unterstützt:

Eingesetzt werden kann Graylog vor allem auf den Gebieten Security, Compliance, IT Operations und DevOps: Alle Log-Daten können mit einer Lösung kombiniert, angereichert, korreliert, abgefragt und visualisiert werden. Durch diese Möglichkeiten können Gefahren erkannt und gebannt, Audits vereinfacht, Downtimes verhindert und die Komplexität im Umgang mit Log-Daten reduziert werden.

Graylog ist also die zentrale Stelle zur Verarbeitung von Log-Dateien und den darin enthaltenen Log-Daten. Daraus ergeben sich ganz klar Mehrwerte sowohl für Techies als auch für das Management:

  • alle Log-Daten an einem Ort
  • tiefgreifende Analyse von Log-Daten durch das Erstellen und Kombinieren individuell erstellter Searches
  • Echtzeitverarbeitung von Searches
  • Exportieren von Resultaten anhand von Reports
  • Visualisierung der Log-Daten anhand von Widgets und Dashboards
  • schnelle Resultate durch verteilte Multithread Search Workflows sowie der Wiederverwendbarkeit bereits erstellter Elemente
  • Alarmierung anhand individuell definierter Events, gleichzeitigem Eintreten oder auch Ausbleiben von Events

 

Wir haben Euer Interesse an Graylog geweckt? Es haben sich Fragen aufgetan zu Eurer bestehenden Graylog-Umgebung? Dann her damit! Schreibt uns einfach über unser Kontaktformular oder an sales@netways.de. Auch per Telefon sind wir für Euch unter der 0911 / 92885-66 zum Thema Graylog erreichbar.

Graylog 3.2 – Jetzt verfügbar

von | Feb 7, 2020 | , , ,

Mit Graylog 3.2 haben die Kollegen von Graylog einen neuen Release bereitgestellt. Die größte Neuheit ist hierbei die Erweiterte Suche, die es erlaubt, bereits durchgeführte Suchen leichter zu wiederholen und Such-Worflows zu definieren. Sowohl für Nutzer der OpenSource als auch der Enterprise Variante gibt es einige Neuheiten. In unseren vergangenen Graylog Webinaren auf unserem YouTube Kanal sind wir bereits grob auf einige Neuerungen eingegangen. Der Downlod erfolgt entweder direkt über die Graylog-Webseite oder die bereitgestellten Pakete. Eine Migrationsanleitung von 3.1 auf 3.2 ist selbstverständlich verfügbar, als Graylog Partner unterstützen wir aber natürlich gerne bei einem Update.

Optimierte Suche

Mit der neuen Such-Funktion von Graylog können mehrere Suchen sehr einfach in eine einzelne Aktion kombiniert werden und liefern das Ergebnis in einer Ansicht aus. Ab hier können diese gelisteten Informationen nun genauer analysiert und gefiltert werden, um potentielle Angriffe, Fehler, Report-Informationen oder andere Daten zu erhalten. Darüber hinaus können Suchabfragen direkt innerhalb der Widgets von Dashboards angepasst und geändert werden, um schnell ein Feintuning vorzunehmen oder gänzlich neue Widgets mit erweiterten Suchkriteieren für eine noch bessere Übersicht anzulegen .

Widget-Daten bearbeiten

Optimierte Such-Konfiguration (ENTERPRISE)

Neben den bereits erwähnten Änderungen wurden auch Kontext-Menüeinträge, Ansichten und Menüpunkte optimiert, erweitert oder gänzlich neu implementiert. Hierdurch gibt es nun die Möglichkeit, schnell einzelne Einträge auszublenden, zur Ansicht hinzuzufügen oder in die Anfrage zu integrieren.

Dadurch können gesammelte Daten noch einfacher und schneller zielgerichtet aufbereitet und dargestellt werden. Ein kompliziertes Arbeiten über mehrere Browser-Tabs gehören somit der Vergangenheit an. Mit den neuen Views ist ebenfalls eine leichtere Bedienung möglich.

Such-Views

Mit den neuen Views können Suchkritieren nun einfach in einen View hinzugefügt und für eine spätere, weitere Verwendung gespeichert werden. Das Speichern der Suchen ist jedoch nur mit Graylog ENTERPRISE möglich. Mit diesem neuen Feature werden Such-Dashboards überflüssig, da die Darstellung der Inhalte direkt in der Suchmaske erfolgt. Neben klassischen Countern sind hier alle Ansichten wie Diagramme, Averages und Daten Tabellen vorhanden. Wird die Such-Query geändert, aktualisieren sich automatisch alle hinterlegten View-Widgets und liefern exakte Informationen basierend auf der Widget-Konfiguration zurück. Gerade für Fehleranalysen oder bei potentiellen Angriffen sind hier schnelle Auswertungen möglich, um potenzielle Ursachen herauszufinden und den Impact so gering wie möglich zu halten.

Neue Alerts (ENTERPRISE)

Mit den neuen Alerts können nun endlich dynamische Inhaltslisten genutzt und gegen mehrere Konditionen auf einmal geprüft werden. Die dynamischen Listen sind dabei eine Kombination aus Alarmierungs-Parametern und Datentabellen. Dies erlaubt es beispielsweise, Alarmierungskriterieren dynamisch anzupassen, je nachdem welche Informationen innerhalb einer Datentabelle vorhanden sind. Hierdurch steigt nicht nur die Flexibilität für die Alarmierung, sondern vereinfacht in vielen Fällen auch die Konfiguration.

Ein Beispiel ist die Alarmierung an Personen innerhalb einer AD-Gruppe. Wird die Liste der Benutzer im AD direkt geändert, werden diese umgehend berücksichtigt. Wenn neue Kollegen in das Team aufgenommen werden, wird dadurch eine Anpassung der Nachrichtenempfänger in Graylog überflüssig . Sobald der Benutzer im AD hinzugefügt wird, wird dieser automatisch bei künftigen Alarmen berücksichtigt.

Um Alarmierungen noch gezielter gestalten zu können, bietet Graylog 3.2 nun die Möglichkeiten mehrere Konditionen für einen Alarm zu definieren. Ein Beispiel wären hierfür fehlerhafte Logins innerhalb eines bestimmten Zeitraums. Möchte man prüfen, ob sich ein Benutzer 20 mal innerhalb eines Zeitraums von beispielsweise 5 Minuten falsch anmeldet, erfolgt dies über zwei Konditionen. Die erste würde prüfen, wie viele fehlerhafte Logins insgesamt stattfinden. Die zweite Konditionen würde dies auf den Zeitraum von 5 Minuten einschränken. Sobald beide Konditionen eintreffen, also 20 fehlerhafte Loginversuche in einem Zeitraum von 5 Minuten erfolgen, wird alarmiert.

Vollbild Dashboards

Mit Graylog 3.2 ist ein lang erwartetes Feature endlich verfügbar. Ein Vollbild Dashboard.

Nutzt man Graylog auf einem Dashboard Fernseher ist dies nun nativ in einem Vollbild-Modus möglich, ohne hierfür spezielle Browser-Funktionen oder Erweiterungen installieren zu müssen.

 

Neugierig auf die neue Graylog Version geworden? Dann am besten gleich direkt ausprobieren! Alternativ stellen wir die neuen Features bei Interesse gerne vor oder unterstützen bei der Installation, Konfiguration oder grundlegenden Einrichtung. Wir freuen uns über eine Kontaktaufnahme!

 

 

Christian Stein
Christian Stein
Manager Sales
Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Manager Sales und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".
Lies mehr von Christian und triff unser Team

OSDC 2015: Der Countdown läuft – nur noch 141 Tage

von | Dez 1, 2014 | ,

Jordan Sissel hat das Glück gefunden und erklärt euch wo man suchen muss, wenn man auch welches will.

 

OSDC? Noch nie gehört…
Das ist aber schade und fast schon ein unentschuldbares Versäumnis!
Aber wir holen das nach:
Die Open Source Data Center Conference (kurz OSDC) ist unsere internationale Konferenz zum Thema Open Source Software in Rechenzentren und großen IT-Umgebungen. 2015 findet sie zum siebten Mal statt und bietet mit dem Schwerpunktthema Agile Infrastructures ganz besonders erfahrenen Administratoren und Architekten ein Forum zum Austausch und die Gelegenheit zur Aneignung des aktuellsten Know-Hows für die tägliche Praxis. Diesmal treffen wir uns dafür in Berlin!
Workshops am Vortag der Konferenz und das im Anschluss an die Veranstaltung stattfindende Puppet Camp komplettieren dabei das Rundum-sorglos-Paket für Teilnehmer, die gar nicht genug Wissen in sich aufsaugen können.

OSDC 2015: Der Countdown läuft – nur noch 148 Tage

von | Nov 24, 2014 | ,

Jordan Sissel und Lennart Koopmann eröffnen den Videocountdown zur OSDC 2015. mit einer Einführung ins Log Management.

OSDC? Noch nie gehört…
Das ist aber schade und fast schon ein unentschuldbares Versäumnis!
Aber wir holen das nach:
Die Open Source Data Center Conference (kurz OSDC) ist unsere internationale Konferenz zum Thema Open Source Software in Rechenzentren und großen IT-Umgebungen. 2015 findet sie zum siebten Mal statt und bietet mit dem Schwerpunktthema Agile Infrastructures ganz besonders erfahrenen Administratoren und Architekten ein Forum zum Austausch und die Gelegenheit zur Aneignung des aktuellsten Know-Hows für die tägliche Praxis. Diesmal treffen wir uns dafür in Berlin!
Workshops am Vortag der Konferenz und das im Anschluss an die Veranstaltung stattfindende Puppet Camp komplettieren dabei das Rundum-sorglos-Paket für Teilnehmer, die gar nicht genug Wissen in sich aufsaugen können.

Trainings

Web Services

Events