pixel
Seite wählen

NETWAYS Blog

Log Management mit dem Elastic Stack

Auch zum Thema Elastic Stack können wir Euch eine Reihe an Unterstützung in Form von Consulting, Support und Trainings anbieten. Daher möchte ich Euch heute als Einstieg kurz vorstellen, was der Elastic Stack für Euch tun kann und wo der Mehrwert darin steckt, dieses Tool für Euer Log Management zu nutzen!

Die auch als ELK-Stack bekannten Tools setzen sich folgendermaßen zusammen:

  • Elasticsearch: performante Search und Analytics Engine basierend auf Apache Lucene
  • Logstash: bietet Pipelines zur Erfassung und Weiterverabeitung von Logs
  • Kibana: die Benutzeroberfläche für angenehmes Arbeiten
  • Beats: leichtgewichtige Data Shipper für viele verschiedene Datenquellen

 

Der Stack kann auch beliebig erweitert werden durch eine Vielzahl an weiteren verfügbaren Komponenten, z. B.:

  • Web-Crawler zum Ingestieren von Webinhalten
  • Content-Connectors als Verbindungstücke zu verschiedenen Produktivitäts- und Collaboration-Tools
  • Elastic Agent zur Anbindung von vielen Datenquellen
  • Elasticsearch Client um Daten direkt an den ELK Stack zu schicken

 

Auch kann Elastic Stack Log-Daten aus den gängigen Cloud-Lösungen ingestieren. Hierunter fallen vor allem AWS, Microsoft Azure und Google Cloud.

Der Mehrwert aus der Nutzung von Elastic Stack ergibt sich vor allem daraus, dass hiermit Daten durchsucht, analysiert und visualisiert werden können. Insbesondere kann auch nach Metadaten wie Geodaten oder Metriken gesucht werden. Weitere Funktionen bietet vor allem das Element Elasticsearch, wie die Aggregation von Daten, Iterationen von Suchergebnissen, Volltextsuchen oder das Ranking von Suchergebnissen.

Wir haben Euer Interesse am Elastic Stack geweckt? Dann kontaktiert uns doch einfach über unser Kontaktformular!

Nicole Frosch
Nicole Frosch
Sales Engineer

Ihr Interesse für die IT kam bei Nicole in ihrer Zeit als Übersetzerin mit dem Fachgebiet Technik. Seit 2010 sammelt sie bereits Erfahrungen im Support und der Administration von Storagesystemen beim ZDF in Mainz. Ab September 2016 startete Sie Ihre Ausbildung zur Fachinformatikerin für Systemintegration bei NETWAYS, wo sie vor allem das Arbeiten mit Linux und freier Software reizt. In ihrer Freizeit überschüttet Sie Ihren Hund mit Liebe, kocht viel Gesundes, werkelt im Garten, liest...

Ein kurzer Abriss über Graylog Sidecar

Graylog Sidecar ist ein Konfigurationsmanagementsystem, ein sogenanntes Framework, für unterschiedliche Log Collectoren, auch Backends genannt. Die Graylog Nodes agieren hier als zentraler Hub und halten die Konfiguration der Log Collectoren. Auf unterstützten Systemen, die Log Messages generieren, kann Sidecar als Service (unter Windows) oder daemon (unter Linux) laufen. Die Kommunikation zwischen Sidecar und Graylog wird durch eine SSL-Verschlüsselung der API gewährleistet. Für die Verbindung zwischen den Collectoren und Graylog sollte als Best Practive TLS aktiviert werden.

Die Log Collector Konfigurationen werden zentral über die Graylog Weboberfläche verwaltet. Periodisch holt sich der Sidecar daemon über die REST API alle relevanten Konfigurationen für das Ziel. Beim ersten Durchlauf oder nach einer Konfigurationsänderung erstellt Graylog Sidecar automatisch die relevanten Backend-Konfigurationsdateien. Im Anschluss werden die neu- oder umkonfigurierten Log Collectoren (neu-)gestartet.

 

Schematische Darstellung

Quelle: Graylog Sidecar

 

Folgende Punkte sind hierbei wichtig zu verstehen und zu beachten:

  • Eine Konfiguration ist die Darstellung einer Log Collector Konfigurationsdatei in der Graylog Weboberfläche. Eine Konfigurationsdatei kann den Sidecars zugewiesen werden, womit auch die entsprechenden Collectoren zugewiesen werden. Es können mehrere Konfigurationen einem einzigen Log Collector zugewiesen werden, jedoch kann ein Kollektor nicht mehreren Sidecars zugewiesen werden.
  • Inputs stellen die Prozesse dar, mit denen die Collectoren Daten sammeln. Ein Input kann z. B. ein Log File sein, das vom Collector in regelmäßgen Abständen gelesen wird, oder eine Verbindung zu einem Windows Event System, das Log Events ausgibt. Ein Input ist verbunden mit einem Output, ansonsten wäre es nicht möglich, die Daten an den näschsten Punkt zu weiterzugeben. Daher muss als erstes ein Output erstellt werden, mit dem danach einer oder mehrere Inputs verknüpft werden.
  • Jede Sidecar Instanz kann Statusinformationen zurück an Graylog senden. Über die Aktivierung der entsprechenden Funktion können Metriken wie Load oder auch die IP Adresse des Hosts, auf dem Sidecar läuft, gesendet werden. Des Weiteren sind auch Metriken enthalten, die für die Stabilität des Systems wichtig sind, z. B. Disk Volumes mit mehr als 75 % Füllstand. Zusätzlich kann per Aktivierung eine Liste mit Directories in der Graylog Weboberfläche angezeigt werden, worüber eingesehen werden kann, welche Dateien zum Sammeln bereit stehen. Diese Liste wird periodisch aktualisiert.
  • Für Sidecar existieren .deb und .rpm Packages sowie entsprechende Windows-Installer.

 

Log Collectors für Sidecar

Graylog umfasst unter anderem per Default Collector Konfigurationen für Filebeat, Winlogbeat oder NXLog (siehe untenstehende Liste). Es können aber auch weitere, eigene Collector Backends eingebracht werden wie z. B. sysmon, auditd oder packetbeat.

  • Beats on Linux: Filebeat und andere Beats
  • Beats on Windows: Im Windows Sidecare Package ist Filebeat und Winlogbeat bereits enthalten.
  • NXLog on Ubuntu
  • NXLog on CentOS
  • NXLog on Windows

 

Wir haben Euer Interesse an Graylog geweckt? Es haben sich Fragen aufgetan zu Eurer bestehenden Graylog-Umgebung? Dann her damit! Schreibt uns einfach über unser Kontaktformular oder an sales@netways.de. Auch per Telefon sind wir für Euch unter der 0911 / 92885-66 zum Thema Graylog erreichbar.

Quelle Titelbild: pixabay.com / Creator: Murmel

Nicole Frosch
Nicole Frosch
Sales Engineer

Ihr Interesse für die IT kam bei Nicole in ihrer Zeit als Übersetzerin mit dem Fachgebiet Technik. Seit 2010 sammelt sie bereits Erfahrungen im Support und der Administration von Storagesystemen beim ZDF in Mainz. Ab September 2016 startete Sie Ihre Ausbildung zur Fachinformatikerin für Systemintegration bei NETWAYS, wo sie vor allem das Arbeiten mit Linux und freier Software reizt. In ihrer Freizeit überschüttet Sie Ihren Hund mit Liebe, kocht viel Gesundes, werkelt im Garten, liest...

Graylog: Basics für eine Best Practice Installation

Graylog hat hier einiges an Best Practice definiert, die Euch dabei hilft, eine stabil und sicher laufende Installation aufzubauen. Ein Hauptaugenmerk liegt dabei auf der Anzahl der Nodes, die für eine produktiv eingesetzte Umgebung folgendermaßen aussieht:

  • mehrere Graylog Nodes mit evtl. vorgeschaltetem Loadbalancer. Hier sollte auch im Nachhinein immer wieder über entsprechende Skalierungen oder Performance-Optimierungen nachgedacht werden.
  • jeder Graylog Node ist an die MongoDB Datenbank angeschlossen. Die MongoDB Instanzen sollten als Replica Set aufgesetzt sein.
  • ein Elasticsearch Cluster bestehend aus mindestens drei Nodes, um hier mit einem Quorum arbeiten zu können. (Vermeidung von Split Brain!)
  • ein Browser Eurer Wahl für den Zugriff auf die Graylog Web GUI

 

Hier eine schematische Darstellung einer Produktivumgebung:

Quelle: https://docs.graylog.org/docs/architecture

Des Weiteren sollten Log-Daten mithilfe der geeigneten Tools, z. B. syslog, GELF oder den Beats in Graylog wandern.  Zusätzlich wird ein Loadbalancer empfohlen, über den die gesamte Kommunikation mit Graylog erfolgt und somit eine Verteilung der Last ermöglicht und die Performance optimiert. Die Kommunikation umfasst hierbei alle Aufrufe über den Browser per HTTP(S) sowie die Weiterleitung der Log-Dateien an die vorhin genannten Graylog Nodes.

Wer hier tiefer einsteigen möchte, dem seien die folgenden Links zur Graylog Dokumentation empfohlen:

 

Natürlich könnt Ihr Euer KnowHow auch mit unserer Unterstützung aufbauen und erweitern! Ihr benötigt z. B. Unterstützung bei der Skalierung Eurer Umgebung? Ihr habt neue Systeme, deren Log Daten in Graylog laufen sollen? Ihr möchtet auf Graylog Enterprise umsteigen und benötigt eine Lizenz? Mit all diesen Fragen könnt Ihr einfach auf uns zukommen über unser Kontaktformular oder per Mail an sales@netways.de.

Infos zu Schulungen und deren Buchung zum Thema Graylog könnt Ihr hier finden: Graylog Schulung

Nicole Frosch
Nicole Frosch
Sales Engineer

Ihr Interesse für die IT kam bei Nicole in ihrer Zeit als Übersetzerin mit dem Fachgebiet Technik. Seit 2010 sammelt sie bereits Erfahrungen im Support und der Administration von Storagesystemen beim ZDF in Mainz. Ab September 2016 startete Sie Ihre Ausbildung zur Fachinformatikerin für Systemintegration bei NETWAYS, wo sie vor allem das Arbeiten mit Linux und freier Software reizt. In ihrer Freizeit überschüttet Sie Ihren Hund mit Liebe, kocht viel Gesundes, werkelt im Garten, liest...

Log Management mit Graylog

Graylog ist eines der Open Source Log Management Produkte aus dem NETWAYS Portfolio. Wir bieten hierzu sowohl Consulting-Dienstleistungen als auch Schulungen an. Im Consulting unterstützen wir Kunden vor allem

  • bei der Konzeptionierung und dem Sizing der Umgebung
  • dem initialen Aufbau
  • der Skalierung bzgl. Performance und Verfügbarkeit
  • Lösen von Problemstellungen
  • Erweitern des Funktionsumfangs, z. B. bei der Einrichtung der Graylog Enterprise Features

 

Im obigen Screenshot sieht man sehr schön die Anzahl der eingegangenen Log Messages im dargestellten Zeitraum. Darüber findet man sowohl die Suchleiste zum Filtern nach bestimmten Kriterien als auch die Möglichkeit, den zeitlichen Bereich individuell abzustecken.

 

 

 

 

 

 

 

 

 

Im folgenden möchten wir Euch einen ersten Überblick geben, was Graylog an Funktionen mitbringt und wie es Euch im alltäglichen Umgang mit Log Daten unterstützt:

Eingesetzt werden kann Graylog vor allem auf den Gebieten Security, Compliance, IT Operations und DevOps: Alle Log-Daten können mit einer Lösung kombiniert, angereichert, korreliert, abgefragt und visualisiert werden. Durch diese Möglichkeiten können Gefahren erkannt und gebannt, Audits vereinfacht, Downtimes verhindert und die Komplexität im Umgang mit Log-Daten reduziert werden.

Graylog ist also die zentrale Stelle zur Verarbeitung von Log-Dateien und den darin enthaltenen Log-Daten. Daraus ergeben sich ganz klar Mehrwerte sowohl für Techies als auch für das Management:

  • alle Log-Daten an einem Ort
  • tiefgreifende Analyse von Log-Daten durch das Erstellen und Kombinieren individuell erstellter Searches
  • Echtzeitverarbeitung von Searches
  • Exportieren von Resultaten anhand von Reports
  • Visualisierung der Log-Daten anhand von Widgets und Dashboards
  • schnelle Resultate durch verteilte Multithread Search Workflows sowie der Wiederverwendbarkeit bereits erstellter Elemente
  • Alarmierung anhand individuell definierter Events, gleichzeitigem Eintreten oder auch Ausbleiben von Events

 

Wir haben Euer Interesse an Graylog geweckt? Es haben sich Fragen aufgetan zu Eurer bestehenden Graylog-Umgebung? Dann her damit! Schreibt uns einfach über unser Kontaktformular oder an sales@netways.de. Auch per Telefon sind wir für Euch unter der 0911 / 92885-66 zum Thema Graylog erreichbar.

Nicole Frosch
Nicole Frosch
Sales Engineer

Ihr Interesse für die IT kam bei Nicole in ihrer Zeit als Übersetzerin mit dem Fachgebiet Technik. Seit 2010 sammelt sie bereits Erfahrungen im Support und der Administration von Storagesystemen beim ZDF in Mainz. Ab September 2016 startete Sie Ihre Ausbildung zur Fachinformatikerin für Systemintegration bei NETWAYS, wo sie vor allem das Arbeiten mit Linux und freier Software reizt. In ihrer Freizeit überschüttet Sie Ihren Hund mit Liebe, kocht viel Gesundes, werkelt im Garten, liest...

Troubleshooting: SMSEagle bekommt keine IP

Uns erreichte heute die Frage, warum das SMSEagle, in diesem Fall ein MHD-8100, keine IP Adresse bekommt, obwohl im Netzwerk DHCP aktiviert ist. Wir können hier versuchen, die Einstellungen über die Konsole des Gerätes zu prüfen. Es kann gut sein, dass DHCP evtl. nicht aktiv ist. Die nachfolgenden Infos sind auch für Nutzer interessant, die kein DHCP für das SMSEagle nutzen möchten und auf manuelle IP-Vergabe umstellen möchten.

ACHTUNG: Die Handbücher zu den SMSEagle Geräten findet Ihr hier in Englisch. Dort sind auch die Vorgehensweisen für die anderen Geräte, SMSEagle NXS-9700 und NXS-9750, beschrieben.

Zum Prüfen muss man sich auf die Konsole des Gerätes verbinden, das mit einem Ubuntu Linux läuft. Im folgenden die Schritte:

  • einen Bildschirm über den HDMI-Anschluss und eine Tastatur an den USB-Anschluss anschließen
  • meldet Euch an der Konsole mit Root-Zugangsdaten an (diese wurden mit dem Gerät geliefert)
  • nun müsst Ihr die Konfigurationsdatei öffnen und bearbeiten mit folgendem Befehl:
nano /opt/smseagle/syscfg
  • folgende Zeile muss mit einem Y für Yes versehen sein:
ETH1_START_DHCP=Y
  • Speichern und Beenden der Datei
  • das Gerät herunterfahren
  • nun den SMSEagle mit Eurem LAN über ein Ethernet-Kabel verbinden

Sollte dies nicht das gewünschte Ergebnis bringen, könnt Ihr die IP-Adresse auch händisch vergeben. Hierzu müssen in der oben genannten syscfg-Datei die folgenden Zeilen geändert/ausgefüllt werden:

ETH1_HOST_IP= (IP-Adresse für Ihr Gerät festlegen)
ETH1_GW_IP= (Standard-Gateway-IP-Adresse)
ETH1_NET_MASK= (Subnetzmaske festlegen)
ETH1_START_DHCP=N (auf ETH1_START_DHCP=Y auf N setzen, um den DHCP-Client zu deaktivieren!)

Danach wieder wie in der obigen Anleitung fortfahren.

Probiert das bei Bedarf einfach aus! Evtl. löst es das Problem, ansonsten können wir und der Support bei SMSEagle das zumindest als Problem ausschließen. Wenn das Problem weiterbesteht, dann stehen wir Euch nämlich gerne persönlich zu Verfügung – einfach über unser Kontaktformular Eure Anfrage senden.

Nicole Frosch
Nicole Frosch
Sales Engineer

Ihr Interesse für die IT kam bei Nicole in ihrer Zeit als Übersetzerin mit dem Fachgebiet Technik. Seit 2010 sammelt sie bereits Erfahrungen im Support und der Administration von Storagesystemen beim ZDF in Mainz. Ab September 2016 startete Sie Ihre Ausbildung zur Fachinformatikerin für Systemintegration bei NETWAYS, wo sie vor allem das Arbeiten mit Linux und freier Software reizt. In ihrer Freizeit überschüttet Sie Ihren Hund mit Liebe, kocht viel Gesundes, werkelt im Garten, liest...