Elastic Stack
Elastic Stack ist eine Open Source Informations- und Event-Managment Lösung, welche sich auf das zentrale Sammeln, Verarbeiten, Analysieren und Speichern konzentriert.
Hierbei liegt der Fokus nicht nur auf dem klassichen Log-Management , sondern auch in den Bereichen IT-Security (Audit, SIEM und Threat-Intelligence) und Anomalie-Erkennung.
Elasticsearch
Der Open Source Enterprise Suchserver
Elasticsearch ist ein verteilter Such- und Analytikserver, welcher als zentraler Speicherort das Herzstück des Elastic Stacks darstellt. Die Kommunikation zwischen Elasticsearch und dem Service-Konsumenten erfolgt nahezu ausschließlich über JSON via REST-Interface. Dies hat den Vorteil, dass auch kleinere Schreib- und Lesevorgänge mit Hilfe von CURL getestet und entwickelt werden können, ohne auf eine schwergewichtige API zurückgreifen zu müssen. Hierbei kann Elasticsearch für beliebige Anwendungen als Such- und Analytikserver betrieben werden oder im Elastic Stack kontext.
Elasticsearch bietet auch die Möglichkeit, Daten vor dem Speichern beim Ingest in sogenannten Pipelines mittels eigener Skripting Language in Filtern aufzubereiten und dadurch einen Mehrwert am gespeicherten Datensatz zu generieren.
Die Stärken von Elasticsearch sind Geschwindigkeit, Skalierbarkeit, Relevanz und Resilienz, vor allem wenn es darum geht, deine Datenmengen unterschiedlicher Typen zu Speichern und zu Verwenden.
Skalierung
Es kümmert sich anschließend selbständig um die Umverteilung der Daten und Anfragen.
Performance
Da alles indiziert ist, kommt niemals Langeweile auf. So können alle Daten mit enorm hoher Geschwindigkeit abgerufen und verarbeitet werden. Und das ganze kommt natürlich mit einer rasend schnellen Volltextsuche im Gepäck.
Logstash
Flexibles Log- und Eventmanagement
Logstash ist eine Open Source Logmanagement Lösung, die sich auf die Kanalisierung, Filterung und Verteilung von Log- und Eventinformationen spezialisiert hat. Dabei unterstützt es eine Vielzahl von Ein- und Ausgangsformaten und integriert sich so in nahezu jede IT-Umgebung.
Kurzum ist Logstash die Open Source Lösung zur Verwaltung und Analyse von Loginformationen und das Tool der Wahl, um der steigenden Anzahl an Informationen revisionssicher zu begegnen. Logstash verfügt über eine Vielzahl an Input-, Filter- und Output-Plugins. Somit können alle in Ihrem Netzwerk verfügbaren Events und Logmeldungen empfangen, verarbeitet und weitergeleitet werden.
Integration
Die Integration von Applikationslogs ist somit ohne weitere Umwege möglich und erfordert keine Installation von zusätzlicher Third Party Software.
input { stdin { } }
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
Kibana
Dein Blick in den Elastic Stack
Mit Kibana erfolgt die Visualisierung und Analyse der in Elasticsearch gespeicherten Daten. Ausgefeilte Filteroption ermöglichen den Bau von Dashboards gespickt mit präzisen Visualsierungen für eine feine Analyse.
Die Arbeit mit Kibana ist der eigentliche Lohn für die Mühe, welche im Vorfeld zur Sammlung der Log- und Eventinformationen investiert wurde. Der Zugriff auf alle gespeicherten Informationen geht rasend schnell und ist mit der Kibana-Query Language inklusive autovervollständigung ein Kinderspiel.
Natürlich ist das Verständnis für zugrunde liegende Schnittmengen der abgefragten Daten von Vorteil, um schnell zum Ziel zu kommen, aber auch ohne macht die visuelle Betrachtung der Daten einfach Spaß.
Kibana ist jedoch viel mehr als nur ein Werkzeug zur Analyse. Kibana stellt den Dreh und Angelpunkt im Elastic Stack dar und bietet eine Vielzahl von Integrationen zur Datenauswertung und Nutzung in den Bereichen Log-Managment bis hin zur Security-Auswertung. In Kombination mit den Alarmierungs- und Anomalie-Erkennungs- Funktionen, hat man alles Notwendige für ein schnelles Vorfalls-Mangaement zur Hand. Hinzu kommen die Integrationen des Elasticsearch Index-Managements, dem Elastic Stack Monitoring, des Berechtigungs-Managements, der Beats und sogar des Logstash-Pipeline-Managements.
Beats
Sammeln, Analysieren und Versenden
Beats ist die Plattform zum Bau von leichtgewichtigen Datensammlern für eine Vielzahl von Datentypen.
Es gibt unterschiedliche Beats mit einer Vielzahl von Möglichkeiten für das Einlesen von Daten, vom vorab Anreichern oder Verarbeiten von Daten durch Prozessoren, über eine Vielzahl von Modulen mit vorgefertigten Verarbeitungsketten für das direkte Einliefern in Elasticsearch, bis hin zu fertigen Dashboards für unterschiedlichste Produkte. Dazu kommt die Möglichkeit Daten nicht nur an Elasticsearch und Logstash zu senden, denn das absolute Plus ist die Möglichkeit, die Daten bereits beim Einlesen vor dem Versenden durch zusätzliche Informationen in Form von Dokumenten-Felder und Tags anzureichern.
Dabei überzeugen die Beats nicht nur durch Ihre Integrationen, sondern auch durch ihren sehr geringen Fußabdruck auf dem System.
Wie jedes Mitglied der Elastic Stack Werkzeugkiste ist auch der Beat ein Standardwerkzeug bei der Vearbeitung von Informationen und Ereignissen jeglicher Art, Codecs und Quellen. So ist es fast unmöglich um den Beat bei der Sammlung von Informationen mit dem Elastic Stack oder artverwandten Werkzeugen herum zu kommen.
Filebeat
Der Filebeat ist das Werkzeug für das Sammeln von Log-Informationen aus einer Vielzahl von Quellen in unterschiedlichsten Formaten. Hier geht die Palette der Inputs vom Plain-File bis hin zu Syslog. Dies prädestiniert den Filebeat auch als Site-Collector, um dann in ein zentrales Elasticsearch-Cluster zu liefern. Ja richtig gelesen – Elasticsearch! Denn mit seiner Vielzahl an Modulen für eine Vielzahl von Produkten in einer modernen Infrastruktur, liefert Filebeat bereits aufbereitete Daten oder Aufbereitungspipelines für Elasticsearch, sowie Index-Pattern und Kibana-Dashboards mit – und natürlich alles ECS-Konform. Diese Mechanismen garantieren eine einwandfreie Funktion mit z.B der neuen Elastic-Security Integration für eine allumfängliche IT-Sicherheits-Auswertung.
Winlogbeat
Für Windows Eventlogs stellen die Winlogbeats eine besondere Variante der Filebeats dar, welche speziell für die Sammlung von Eventlogs entwickelt wurde. In Verbindung mit zusätzlich gelieferten Processoren und im Zusammenspiel mit Sysmon von Sysinternals bietet sich hier die Möglichkeit eines präzisen Thread-Monitorings.
Somit können auch hier die Daten bereits aufbereitet werden, ohne das System zu belasten und mit Informationen in Form von zusätzlichen Feldern oder Tags angereichert werden.
Das Ergebnis ist eine leichtgewichtige Lösung zur zentralen Speicherung von Windows Logdaten mit direktem Ingest in Elasticsearch oder wahlweise über den Logstash.
Starterpaket
Der einfache Beginn von etwas Großem
Mit unseren Starterpaketen wollen wir den Einstieg in das Logmanagement mit dem Elastic Stack (Elasticsearch, Logstash und Kibana) vereinfachen und eine kostengünstige Möglichkeit bieten, das Open Source System kennen zulernen ohne erst in große finanzielle Vorleistungen gehen zu müssen, wie es etwa bei kommerziellen Produkten oftmals der Fall ist.
iner unserer erfahrenen Consultants kommt 4 bzw. 7 Tage vor Ort, richtet das System direkt vor Ort ein und vermittelt die Grundlagen für den weiteren Betrieb. Das Paket wird zum Festpreis abgerechnet und es fallen keine zusätzlichen Kosten an.
Elastic Stack Starterpaket Standard
Wir empfehlen vor der Buchung des Elastic Stack Starterpakets Standard den Besuch unserer Elastic Stack Schulung. Diese Schulung ist im Elastic Stack Starterpaket Premium bereits enthalten.
- Gemeinsamer Workshop zum Thema Log- und Eventmanagement
- Einführung in die Komponenten Logstash, Elasticsearch, Kibana und Beats
- Installation und Grundkonfiguration auf Kundenhardware
- Exemplarische Integration von Kundenlogs und Auswertung mit Hilfe von Kibana
Elastic Stack Starterpaket Premium
- Elastic Stack Schulung (4 Tage für 3 Teilnehmer – weitere Teilnehmer gegen Aufpreis möglich – 6 max.) *
- Gemeinsamer Workshop zum Thema Log- und Eventmanagement
- Einführung in die Komponenten Logstash, Elasticsearch, Kibana und Redis
- Installation und Grundkonfiguration auf Kundenhardware
- Exemplarische Integration von Kundenlogs und Auswertung mit Hilfe von Kibana
(inkl. Leihnotebooks, Schulungsmaterial und Teilnehmerzeugnissen)
Aktuelles
Artikel aus unserem Blog
Warum OpenSearch? Was ist OpenSearch? OpenSearch VS. Elastic
Es fing bereits 2015 an zu brodeln, als AWS seinen neuen SaaS-Dienst „AWS Elasticsearch Services“ veröffentlichte und später dann 2019 das Produkt OpenDistro erschien. Bei zuletzt genanntem Produkt erschließt sich mir bis heute nicht, warum ich dieses der X-Pack Basic...
Elastic Stack Trainings – Last Minute Call
Möchtest Du mehr rund um Elasticsearch, Logstash, Kibana & Beats erfahren? Schau Dir doch mal unsere Elastic Stack Schulungen an. Du hast bereits am 02. Februar 2021 die Chance, in die Elastic Stack Welt einzutauchen. Selbstverständlich hast Du, vor allem in...
Webinare
Unser Webinararchiv für Elastic
Subscribe
Beratung vom Marktführer
Unsere Erfahrung aus über 500 Projekten bringen wir gerne bei ihnen ein. Ob Professional Services, Schulungen oder auch Support ihrer Umgebung.