Elastic Stack
Elastic Stack ist eine Open Source Informations- und Event-Managment Lösung, welche sich auf das zentrale Sammeln, Verarbeiten, Analysieren und Speichern konzentriert.
Hierbei liegt der Fokus nicht nur auf dem klassichen Log-Management , sondern auch in den Bereichen IT-Security (Audit, SIEM und Threat-Intelligence) und Anomalie-Erkennung.
Elasticsearch
Der Open Source Enterprise Suchserver
Elasticsearch ist ein verteilter Such- und Analytikserver, welcher als zentraler Speicherort das Herzstück des Elastic Stacks darstellt. Die Kommunikation zwischen Elasticsearch und dem Service-Konsumenten erfolgt nahezu ausschließlich über JSON via REST-Interface. Dies hat den Vorteil, dass auch kleinere Schreib- und Lesevorgänge mit Hilfe von CURL getestet und entwickelt werden können, ohne auf eine schwergewichtige API zurückgreifen zu müssen. Hierbei kann Elasticsearch für beliebige Anwendungen als Such- und Analytikserver betrieben werden oder im Elastic Stack kontext.
Elasticsearch bietet auch die Möglichkeit, Daten vor dem Speichern beim Ingest in sogenannten Pipelines mittels eigener Skripting Language in Filtern aufzubereiten und dadurch einen Mehrwert am gespeicherten Datensatz zu generieren.
Die Stärken von Elasticsearch sind Geschwindigkeit, Skalierbarkeit, Relevanz und Resilienz, vor allem wenn es darum geht, deine Datenmengen unterschiedlicher Typen zu Speichern und zu Verwenden.
Skalierung
Besonders sticht Elasticsearch dadurch hervor, dass es alles was für Skalierung und Verteilung der Installation benötigt wird einfach mitbringt. Ist aufgrund steigender Last eine Erweiterung notwendig, so muss Elasticsearch lediglich ein neuer Server mitgeteilt werden.
Es kümmert sich anschließend selbständig um die Umverteilung der Daten und Anfragen.
Performance
Alle eingehenden Daten werden von Elasticsearch umgehend indexiert. Ob Loginformationen, numerische oder geographische Daten.
Da alles indiziert ist, kommt niemals Langeweile auf. So können alle Daten mit enorm hoher Geschwindigkeit abgerufen und verarbeitet werden. Und das ganze kommt natürlich mit einer rasend schnellen Volltextsuche im Gepäck.
Logstash
Flexibles Log- und Eventmanagement
Logstash ist eine Open Source Logmanagement Lösung, die sich auf die Kanalisierung, Filterung und Verteilung von Log- und Eventinformationen spezialisiert hat. Dabei unterstützt es eine Vielzahl von Ein- und Ausgangsformaten und integriert sich so in nahezu jede IT-Umgebung.
Kurzum ist Logstash die Open Source Lösung zur Verwaltung und Analyse von Loginformationen und das Tool der Wahl, um der steigenden Anzahl an Informationen revisionssicher zu begegnen. Logstash verfügt über eine Vielzahl an Input-, Filter- und Output-Plugins. Somit können alle in Ihrem Netzwerk verfügbaren Events und Logmeldungen empfangen, verarbeitet und weitergeleitet werden.
Integration
Um die verschiedenen Informationen aus unterschiedlichsten Quellen zu verarbeiten und weiterzuleiten unterstützt Logstash eine Vielzahl an In- und Outputs. Neben Standards wie Syslog, Pipe und SNMPTraps werden auch diverse Message-Broker unterstützt.
Die Integration von Applikationslogs ist somit ohne weitere Umwege möglich und erfordert keine Installation von zusätzlicher Third Party Software.
input { stdin { } }
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
Kibana
Dein Blick in den Elastic Stack
Mit Kibana erfolgt die Visualisierung und Analyse der in Elasticsearch gespeicherten Daten. Ausgefeilte Filteroption ermöglichen den Bau von Dashboards gespickt mit präzisen Visualsierungen für eine feine Analyse.
Die Arbeit mit Kibana ist der eigentliche Lohn für die Mühe, welche im Vorfeld zur Sammlung der Log- und Eventinformationen investiert wurde. Der Zugriff auf alle gespeicherten Informationen geht rasend schnell und ist mit der Kibana-Query Language inklusive autovervollständigung ein Kinderspiel.
Natürlich ist das Verständnis für zugrunde liegende Schnittmengen der abgefragten Daten von Vorteil, um schnell zum Ziel zu kommen, aber auch ohne macht die visuelle Betrachtung der Daten einfach Spaß.
Kibana ist jedoch viel mehr als nur ein Werkzeug zur Analyse. Kibana stellt den Dreh und Angelpunkt im Elastic Stack dar und bietet eine Vielzahl von Integrationen zur Datenauswertung und Nutzung in den Bereichen Log-Managment bis hin zur Security-Auswertung. In Kombination mit den Alarmierungs- und Anomalie-Erkennungs- Funktionen, hat man alles Notwendige für ein schnelles Vorfalls-Mangaement zur Hand. Hinzu kommen die Integrationen des Elasticsearch Index-Managements, dem Elastic Stack Monitoring, des Berechtigungs-Managements, der Beats und sogar des Logstash-Pipeline-Managements.
Geoinformationen können ganz einfach in Kibana verwendet werden um einen lokalen Datenbezug herzustellen. Mit Hilfe des Geoip-Filter-Plugins können Logdaten anhand der vorhandenen IP-Adresse mit entsprechenden Geoinformationen angereichert werden.
Elasticsearch ist mehr als eine reine Index-Datenbank verfügt über eine leistungsstarke Engine für Zeitserien, den so genannten Timeseries. So können Performance-Informationen aus Logdaten über längere Zeiträume gespeichert und analysiert werden.
Beats
Sammeln, Analysieren und Versenden
Beats ist die Plattform zum Bau von leichtgewichtigen Datensammlern für eine Vielzahl von Datentypen.
Es gibt unterschiedliche Beats mit einer Vielzahl von Möglichkeiten für das Einlesen von Daten, vom vorab Anreichern oder Verarbeiten von Daten durch Prozessoren, über eine Vielzahl von Modulen mit vorgefertigten Verarbeitungsketten für das direkte Einliefern in Elasticsearch, bis hin zu fertigen Dashboards für unterschiedlichste Produkte. Dazu kommt die Möglichkeit Daten nicht nur an Elasticsearch und Logstash zu senden, denn das absolute Plus ist die Möglichkeit, die Daten bereits beim Einlesen vor dem Versenden durch zusätzliche Informationen in Form von Dokumenten-Felder und Tags anzureichern.
Dabei überzeugen die Beats nicht nur durch Ihre Integrationen, sondern auch durch ihren sehr geringen Fußabdruck auf dem System.
Wie jedes Mitglied der Elastic Stack Werkzeugkiste ist auch der Beat ein Standardwerkzeug bei der Vearbeitung von Informationen und Ereignissen jeglicher Art, Codecs und Quellen. So ist es fast unmöglich um den Beat bei der Sammlung von Informationen mit dem Elastic Stack oder artverwandten Werkzeugen herum zu kommen.
Filebeat
Der Filebeat ist das Werkzeug für das Sammeln von Log-Informationen aus einer Vielzahl von Quellen in unterschiedlichsten Formaten. Hier geht die Palette der Inputs vom Plain-File bis hin zu Syslog. Dies prädestiniert den Filebeat auch als Site-Collector, um dann in ein zentrales Elasticsearch-Cluster zu liefern. Ja richtig gelesen – Elasticsearch! Denn mit seiner Vielzahl an Modulen für eine Vielzahl von Produkten in einer modernen Infrastruktur, liefert Filebeat bereits aufbereitete Daten oder Aufbereitungspipelines für Elasticsearch, sowie Index-Pattern und Kibana-Dashboards mit – und natürlich alles ECS-Konform. Diese Mechanismen garantieren eine einwandfreie Funktion mit z.B der neuen Elastic-Security Integration für eine allumfängliche IT-Sicherheits-Auswertung.
Winlogbeat
Für Windows Eventlogs stellen die Winlogbeats eine besondere Variante der Filebeats dar, welche speziell für die Sammlung von Eventlogs entwickelt wurde. In Verbindung mit zusätzlich gelieferten Processoren und im Zusammenspiel mit Sysmon von Sysinternals bietet sich hier die Möglichkeit eines präzisen Thread-Monitorings.
Somit können auch hier die Daten bereits aufbereitet werden, ohne das System zu belasten und mit Informationen in Form von zusätzlichen Feldern oder Tags angereichert werden.
Das Ergebnis ist eine leichtgewichtige Lösung zur zentralen Speicherung von Windows Logdaten mit direktem Ingest in Elasticsearch oder wahlweise über den Logstash.
Enterprise
Noch mehr Features
Bei uns bekommt ihr alle self-managed Elastic Subscriptions, damit ihr eure On-Premise-Deployments optimal und mit allen ELK-Stack Features nutzen könnt. Einfach anfragen und wir erstellen ein indivduelles Angebot für eure Umgebung.
Starterpaket
Der einfache Beginn von etwas Großem
Mit unseren Starterpaketen wollen wir den Einstieg in das Logmanagement mit dem Elastic Stack (Elasticsearch, Logstash und Kibana) vereinfachen und eine kostengünstige Möglichkeit bieten, das Open Source System kennen zulernen ohne erst in große finanzielle Vorleistungen gehen zu müssen, wie es etwa bei kommerziellen Produkten oftmals der Fall ist.
iner unserer erfahrenen Consultants kommt 4 bzw. 7 Tage vor Ort, richtet das System direkt vor Ort ein und vermittelt die Grundlagen für den weiteren Betrieb. Das Paket wird zum Festpreis abgerechnet und es fallen keine zusätzlichen Kosten an.
Elastic Stack Starterpaket Standard
Wir empfehlen vor der Buchung des Elastic Stack Starterpakets Standard den Besuch unserer Elastic Stack Schulung. Diese Schulung ist im Elastic Stack Starterpaket Premium bereits enthalten.
- Gemeinsamer Workshop zum Thema Log- und Eventmanagement
- Einführung in die Komponenten Logstash, Elasticsearch, Kibana und Beats
- Installation und Grundkonfiguration auf Kundenhardware
- Exemplarische Integration von Kundenlogs und Auswertung mit Hilfe von Kibana
Elastic Stack Starterpaket Premium
- Elastic Stack Schulung (4 Tage für 3 Teilnehmer – weitere Teilnehmer gegen Aufpreis möglich – 6 max.) *
- Gemeinsamer Workshop zum Thema Log- und Eventmanagement
- Einführung in die Komponenten Logstash, Elasticsearch, Kibana und Redis
- Installation und Grundkonfiguration auf Kundenhardware
- Exemplarische Integration von Kundenlogs und Auswertung mit Hilfe von Kibana
* Die Schulung hat den Umfang der Elastic Stack Schulung und wird bei Ihnen vor Ort durchgeführt
(inkl. Leihnotebooks, Schulungsmaterial und Teilnehmerzeugnissen)
Aktuelles
Artikel aus unserem Blog
Mermaid zum Visualisieren von Graphen
Gerade im Umfeld von Logstash-Pipelines steht man oft vor dem Problem, wie die einzelnen Code Teile zusammenhängen. Dafür hat sich für mich Mermaid bewährt. Was mir an Mermaid besonders gefällt ist, dass man mit einer relativ einfachen Syntax Graphen definieren kann,...
NETWAYS Webinar Plan 2022 – Phase 1
Es ist wieder soweit: In 2022 starten wir wieder voll durch mit neuen Webinaren rund um unsere angebotenen Dienstleistungen von Icinga, über Graylog bis hin zu Elastic. Den Fokus legen wir dabei auch wie üblich auf einen einfachen Einstieg und im späteren Verlauf auf...
Webinare
Unser Webinararchiv für Elastic
Subscribe
Beratung vom Marktführer
Unsere Erfahrung aus über 500 Projekten bringen wir gerne bei ihnen ein. Ob Professional Services, Schulungen oder auch Support ihrer Umgebung.