Elasticsearch
Der Open Source Enterprise Suchserver
Elasticsearch ist ein verteilter Such- und Analytikserver, welcher die als zentraler Speicherort das Herzstück des Elastic Stacks darstellt. Die Kommunikation zwischen Elasticsearch und dem Service-Konsumenten erfolgt nahezu ausschließliche über JSON via REST-Interface. Dies hat den Vorteil, dass auch kleinere Schreib- und Lesevorgänge mit Hilfe von CURL getestet und entwickelt werden können, ohne auf eine schwergewichtige API zurückgreifen zu müssen.
Skalierung
Besonders sticht Elasticsearch dadurch hervor, dass es alles was für Skalierung und Verteilung der Installation benötigt wird einfach mitbringt. Ist aufgrund steigender Last eine Erweiterung notwendig, so muss Elasticsearch lediglich ein neuer Server mitgeteilt werden.
Es kümmert sich anschließend selbständig um die Umverteilung der Daten und Anfragen.
Performance
Alle eingehenden Daten werden von Elasticsearch umgehend indexiert. Ob Loginformationen, numerische oder geographische Daten.
Da alles indiziert ist, kommt niemals Langeweile auf. So können alle Daten mit enorm hoher Geschwindigkeit abgerufen und verarbeitet werden. Und das ganze kommt natürlich mit einer rasend schnellen Volltextsuche im Gepäck.
Logstash
Flexibles Log- und Eventmanagement
Logstash ist eine Open Source Logmanagement Lösung, die sich auf die Kanalisierung, Filterung und Verteilung von Log- und Eventinformationen spezialisiert hat. Dabei unterstützt es eine Vielzahl von Ein- und Ausgangsformaten und integriert sich so in nahezu jede IT-Umgebung.
Kurzum ist Logstash die Open Source Lösung zur Verwaltung und Analyse von Loginformationen und das Tool der Wahl, um der steigenden Anzahl an Informationen revisionssicher zu begegnen. Logstash verfügt über eine Vielzahl an Input-, Filter- und Output-Plugins. Somit können alle in Ihrem Netzwerk verfügbaren Events und Logmeldungen empfangen, verarbeitet und weitergeleitet werden.
Integration
Um die verschiedenen Informationen aus unterschiedlichsten Quellen zu verarbeiten und weiterzuleiten unterstützt Logstash eine Vielzahl an In- und Outputs. Neben Standards wie Syslog, Pipe und SNMPTraps werden auch diverse Message-Broker unterstützt.
Die Integration von Applikationslogs ist somit ohne weitere Umwege möglich und erfordert keine Installation von zusätzlicher Third Party Software.
input { stdin { } }
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
Kibana
Dein Blick in den Elastic Stack
Mit Kibana erfolgt die Visualisierung und Analyse der in Elasticsearch gespeicherten Daten. Ausgefeilte Filteroption ermöglichen den Bau von Dashboards für alle in Elasticsearch gespeicherten Daten.
Die Arbeit mit Kibana ist der eigentliche Lohn für die Mühe, welche im Vorfeld zur Sammlung der Log- und Eventinformationen investiert wurde. Der Zugriff auf alle gespeicherten Informationen geht rasend schnell und es ist keine tiefergehende Kenntnis einer Abfragesprache wie SQL notwendig.
Natürlich ist das Verständnis für zugrunde liegende Schnittmengen der abgefragten Daten von Vorteil, um schnell zum Ziel zu kommen, aber auch ohne macht die visuelle Betrachtung der Daten einfach Spaß.
Geoinformationen können ganz einfach in Kibana verwendet werden um einen lokalen Datenbezug herzustellen. Mit Hilfe des Geoip-Filter-Plugins können Logdaten anhand der vorhandenen IP-Adresse mit entsprechenden Geoinformationen angereichert werden.
Elasticsearch ist mehr als eine reine Index-Datenbank verfügt über eine leistungsstarke Engine für Zeitserien, den so genannten Timeseries. So können Performance-Informationen aus Logdaten über längere Zeiträume gespeichert und analysiert werden.
Beats
Sammeln, Analysieren und Versenden
Beats ist die Plattform zum Bau von leichtgewichtigen Datensammlern für eine Vielzahl von Datentypen zum Anreichern mit Logstash, zum Suchen und Analysieren in Elasticsearch und zur Visualisierung in Kibana.
Wer sich für Logfiles, Infrastruktur-Metriken oder Netzwerkpakete interessiert, für den gehören Elastic Beats zum Pflichtprogramm.
Packetbeat
Netzwerkdaten ermöglichen einen tiefen Einblick in das Zusammenspiel Ihrer Applikationen. Packetbeat ist ein Open Source Projekt, welches mit dem Ziel entwickelt wurde, in Echtzeit Daten von Web-, Datenbank- und anderen -Protokollen zu analysieren.
Packetbeat lässt sich für jeden beliebigen Einsatzzweck um weitere Protokolle und Metriken erweitern.
Topbeat
Die Ressourcenauslastung ist zumeist der erste Anhaltspunkt bei der Analyse von Problemen im Operating.
Topbeat wurde als leichtgewichtige Möglichkeit zur Sammlung von CPU- und Speicherauslastung und weiteren systemweiten Daten entwickelt und leitet die Daten an Elasticsearch oder Logstash weiter.
Winlogbeat
Für Windows Eventlogs stellen die Winlogbeats eine besondere Variante der Filebeats dar, welche speziell für die Sammlung von Eventlogs entwickelt wurde.
Das Ergebnis ist eine leichtgewichtige Lösung zur zentralen Speicherung von Windows Logdaten in Elasticsearch mit den gewohnten Filter- und Anreicherungsmöglichkeiten mit Logstash.
Starterpaket
Der einfache Beginn von etwas Großem
Mit unseren Starterpaketen wollen wir den Einstieg in das Logmanagement mit dem Elastic Stack (Elasticsearch, Logstash und Kibana) vereinfachen und eine kostengünstige Möglichkeit bieten, das Open Source System kennen zulernen ohne erst in große finanzielle Vorleistungen gehen zu müssen, wie es etwa bei kommerziellen Produkten oftmals der Fall ist.
iner unserer erfahrenen Consultants kommt 4 bzw. 7 Tage vor Ort, richtet das System direkt vor Ort ein und vermittelt die Grundlagen für den weiteren Betrieb. Das Paket wird zum Festpreis abgerechnet und es fallen keine zusätzlichen Kosten an.
Elastic Stack Starterpaket Standard
Wir empfehlen vor der Buchung des Elastic Stack Starterpakets Standard den Besuch unserer Elastic Stack Schulung. Diese Schulung ist im Elastic Stack Starterpaket Premium bereits enthalten.
- Gemeinsamer Workshop zum Thema Log- und Eventmanagement
- Einführung in die Komponenten Logstash, Elasticsearch, Kibana und Beats
- Installation und Grundkonfiguration auf Kundenhardware
- Exemplarische Integration von Kundenlogs und Auswertung mit Hilfe von Kibana
Elastic Stack Starterpaket Premium
- Elastic Stack Schulung (4 Tage für 3 Teilnehmer – weitere Teilnehmer gegen Aufpreis möglich – 6 max.) *
- Gemeinsamer Workshop zum Thema Log- und Eventmanagement
- Einführung in die Komponenten Logstash, Elasticsearch, Kibana und Redis
- Installation und Grundkonfiguration auf Kundenhardware
- Exemplarische Integration von Kundenlogs und Auswertung mit Hilfe von Kibana
* Die Schulung hat den Umfang der Elastic Stack Schulung und wird bei Ihnen vor Ort durchgeführt
(inkl. Leihnotebooks, Schulungsmaterial und Teilnehmerzeugnissen)
Aktuelles
Artikel aus unserem Blog
Namen sind Schall und Rauch? Lieber nicht.
Das Problem Bei vielen Projekten zu Logmanagement stellt sich recht schnell die Frage nach der Benamsung der Felder, in die Events zerlegt werden sollen. Da man sie weitestgehend frei wählen kann, startet so schnell ein gewisser Wildwuchs und das unabhängig davon, ob...
Logstash automatisiert ausrollen? Freilich!
Der Lennart sagt mir ja immer, ich soll nicht über ungelegte Eier sprechen, aber momentan fasziniert mit das Thema einfach zu viel, als dass ich nicht drüber was schreiben könnte. Dass ich gern mit dem Elastic Stack arbeite, sollten auch weniger aufmerksamere Leser...
Webinare
Unser Webinararchiv für Elastic
Subscribe
Vertraue auf den Marktführer
Unsere Erfahrung aus über 500 Projekten bringen wir gerne bei Dir ein. Ob Professional Services, Schulungen oder auch Support deiner Umgebung.
Support vom Spezialisten
Deine Elastic Stack Umgebung unterstützen wir gerne durch unser Supportteam. Von der Hilfe im Fehlerfall bis hin zur kompletten Betriebsübernahme.
