Log- und Eventmanagement mit Logstash

Logstash

Logstash ist eine Open Source Logmanagement Lösung, die sich auf die Kanalisierung, Filterung und Verteilung von Log- und Eventinformationen spezialisiert hat.

Die auf Basis von JRuby entwickelte Software unterstützt dabei eine Vielzahl von Ein- und Ausgangsformaten und integriert sich so in nahezu jede IT-Umgebung.

Kurzum ist Logstash die Open Source Lösung zur Verwaltung und Analyse von Loginformationen und das Tool der Wahl, um der steigenden Anzahl an Informationen revisionssicher zu begegnen.

Logstash verfügt über eine Vielzahl an Input-, Filter- und Output-Plugins. Somit können alle in Ihrem Netzwerk verfügbaren Events und Logmeldungen empfangen, verarbeitet und weitergeleitet werden.

Integration ist das Schlüsselwort

Um die verschiedenen Informationen aus unterschiedlichsten Quellen zu verarbeiten und weiterzuleiten unterstützt Logstash eine Vielzahl an In- und Outputs. Neben Standards wie Syslog, Pipe und SNMPTraps werden auch diverse Message-Broker unterstützt. Die Integration von Applikationslogs ist somit ohne weitere Umwege möglich und erfordert keine Installation von zusätzlicher Third Party Software.

Skalierbare Speicherung

Für die Speicherung von Loginformationen als Basis für die spätere Analyse setzt Logstash auf Elasticsearch. Elasticsearch ist ein Open Source Suchserver auf Basis von  Apache Lucene. Als Standardoutput verfügbar kümmert sich Elasticsearch selbständig um die Erstellung des passenden Datenschemas und die Indexierung der importierten Daten.

Machen die entstehenden Datenmengen eine zusätzliche Replikation für Hochverfügbarkeit notwendig, reicht ein Eintrag in die entsprechende Konfigurationsdatei und Elasticsearch kümmert sich um den Rest. Dabei stellt es auch sicher, dass die Abfragen über verschiedene Instanzen verteilt und schnellstmöglich beantwortet werden.

Schnelle und flexible Analyse

Die Speicherung der Log- und Eventinformationen in Elasticsearch sind Grundlage für die spätere Analyse der Informationen mit Kibana. Die Javascript-Applikation erfordert keinerlei zusätzliche Serverkomponenten, sondern wertet alle notwendigen Informationen unter Verwendung der Elasticsearch REST-Schnittstelle aus.

Dabei ist Kibana nicht auf die Auswertung von Logstash-Daten beschränkt, sondern kann mit jederlei Schemata in Logstash umgehen. Individuelle Dashboards können nach eigenen Ansprüchen erstellt und für den erneuten Aufruf oder Weitergabe an Kollegen zentral gespeichert werden.