Alle Logdaten zentral verfügbar und zugänglich? Ja, mit Graylog!

Was Graylog ist und wie das alles funktioniert, können euch unsere erfahrenen Trainer in einer unserer Graylog Schulungen beibringen.
Diese besondere Open Source Log Management Plattform kann Logdaten von Anwendungen, Betriebssystemen und Netzwerkinfrastruktur zentral sammeln, verarbeiten und verwalten. Darüber hinaus können alle Netzwerkaktivitäten überwacht werden, zudem wird der Netzwerkverkehr analysiert, um eventuelle Einbrüche bei Zeiten zu erkennen und somit größeren Problemen entgegenzuwirken.
Hier die genauen Inhalte der zweitägigen Schulung:

  • Einführung in Graylog
  • Auswahl einer für Sie geeigneten Installationsmethode und Konfiguration von Graylog
  • Erstellen von Inputs und Extraktoren zum Sammeln und Bereinigen von Logdaten
  • Einsatz von Streams zur Kategorisierung von Logdaten
  • Einführung in Dashboards und Widgets zur Visualisierung von Logdaten
  • Einführung in Alerts – Graylog als Teil eines Monitoringsystems
  • Nutzung der Processing Pipelines für flexibles Routing, Filtern, Modifizieren und Anreichern von Logdaten
  • Skalierung von Graylog und Bau einer hochverfügbaren Umgebung
  • Suche und Analyse aufgezeichneter Daten

Die nächste Graylog Schulung am 05.12.2017 findet schon kurz nach der OSMC statt (hier gibt’s übrigens auch einen Graylog-Vortrag). Plätze sind aktuell noch verfügbar!
Zu den genauen Infos und zur Anmeldung geht’s hier entlang.
 

Reminder für das morgige Logstash Webinar

Logstash Wie so oft vor einem Webinar möchte ich auf das morgige Logstash Webinar zum Thema Windows und Linux Logmanagement hinweisen. Neben einer kurzen Einführung, was genau Logstash eigentlich ist und wie die Lösung funktioniert, wollen Thomas und ich darauf eingehen, wie bspw. Linux und Windows Logmeldungen eingebunden werden können.
Das Webinar findet morgen, den 07. November um 10:30 Uhr statt. Wer teilnehmen möchte, kann sich natürlich kostenfrei registrieren.
Darüber hinaus sind bereits drei weitere Webinare bis zum Jahresende geplant:

Webinar Thema Termin und Registrierung
Puppet: Windows Configuration Management 12. Dezember 2014 – 10:30 Uhr
Icinga Web 2: Modernes Web-Framework der nächsten Generation 25. November 2014 – 10:30 Uhr
NETWAYS: Jahresrückblick 2014 18. Dezember 2014 – 10:30 Uhr

Wer sich noch einmal vergangene Webinare ansehen möchte, kann dies über unser Webinar-Archiv tun.
Wir freuen uns schon auf morgen!

Christian Stein
Christian Stein
Lead Senior Account Manager

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Senior Sales Engineer und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".

NETWAYS Webinar Kalender Update

netwaysAuch wenn mein letzter Blog-Post bzgl. unserer Webinare schon eine ganze weile her ist, erweitern wir natürlich regelmäßig unseren Kalender um diverse Themen. Neu hinzugekommen ist jetzt ein weiteres Logstash Webinar am 11. November 2014 um 10:30 Uhr, wobei es inhaltlich diesmal schwerpunktmäßig um die Integration von Windows und Linux Logmeldungen geht und eine spätere Auswertung über das Webfrontend.
Darüber hinhaus möchte ich gleich die Gelegenheit nutzen um alle die sich noch nicht angemeldet haben auf die nächsten Icinga 2 Webinare hinzuweisen. Diese Woche am 25. September um 10:30 Uhr zeigen Markus und ich wie Icinga 2 und Graphite optimal zusammenarbeiten können.
Wer sich zusätzlich für das Cluster-Feature von Icinga 2 interessiert, ist für das zugehörige Webinar zur integrierten Hochverfügbarkeit am 07. Oktober 2014 um 14:00 Uhr natürlich gerne eingeladen.
Um den Überblick nicht zu verlieren, gibt es noch einmal eine kurze Übersicht (natürlich auch auf unserer Webinar-Seite zu finden):

Titel Zeitraum
Icinga 2: Integration von Graphite 25. September 2014 – 10:30 Uhr
Icinga 2: Integrierte Hochverfügbarkeit 07. Oktober 2014 – 14:00 Uhr
Logstash: Windows und Linux Log Management 11. November 2014 – 10:30 Uhr

Wie immer freuen wir uns auf eine rege Teilnahme!

Christian Stein
Christian Stein
Lead Senior Account Manager

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Senior Sales Engineer und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".

Benutzerfreundliche Fehlermeldungen

Der erste Schritt bei Fehlern ist meist der Versuch, anhand von Logmeldungen nachzuvollziehen, was die Anwendung zuletzt gemacht hat, bevor das Problem aufgetreten ist. Hier zeigt sich dann schnell, wie gut die Anwendung darauf vorbereitet ist, dem Benutzer bei der Fehlersuche zu helfen. Dazu einige Beispiel:

[2014-05-28 09:47:04 +0200] <Q #0x7f5a08c68780 W #0x7f5a08c688c0> critical/remote: Cannot connect to host 'voip.beutner.name' on port '5665'

Auf den ersten Blick sieht es so aus, als würde die Verbindung nicht aufgebaut werden können. Aber es fehlen einige wichtige Informationen, um die Logmeldung in den Kontext einordnen zu können:

  • Wer hat aus welchem Grund versucht die Verbindung aufzubauen bzw. was für eine Art Verbindung ist es? (Datenbank? Cluster? Was ganz anderes?)
  • Warum ist der Verbindungsaufbau gescheitert (“Connection refused” in diesem Fall, wenn man mit strace nachschaut, warum der connect()-Aufruf fehlschlägt)?
  • Welche Auswirkungen hat dies (in diesem Fall wird der Verbindungsaufbau periodisch erneut versucht, wodurch sich auch die Frage stellt, ob der Fehler wirklich “critical” ist)?

Die andere Seite des Spektrums bietet eine wahre Informationsüberflutung und ist mindestens genauso schlecht:

Caught unhandled exception.
Current time: 2014-05-28 09:46:51 +0200
***
* Application version: v2.0.0-beta1-8-g641ff1f
* Installation root: /home/gbeutner/i2
* Sysconf directory: /home/gbeutner/i2/etc
* Local state directory: /home/gbeutner/i2/var
* Package data directory: /home/gbeutner/i2/share/icinga2
* State path: /home/gbeutner/i2/var/lib/icinga2/icinga2.state
* PID path: /home/gbeutner/i2/var/run/icinga2/icinga2.pid
* Application type: icinga/IcingaApplication
***
/home/gbeutner/icinga2/lib/base/application.cpp(671): Throw in function void icinga::Application::UpdatePidFile(const icinga::String &, pid_t)
Dynamic exception type: boost::exception_detail::clone_impl<boost::exception_detail::error_info_injector<std::runtime_error> >
std::exception::what: Could not open PID file '/home/gbeutner/i2/var/run/icinga2/icinga2.pid'
[icinga::StackTrace*] =
(0) libbase.so: void boost::throw_exception<boost::exception_detail::error_info_injector<std::runtime_error> >(boost::exception_detail::error_info_injector<std::runtime_error> const&) (+0xb3) [0x7fec91f6b323] (throw_exception.hpp:61)
(1) libbase.so: void boost::exception_detail::throw_exception_<std::runtime_error>(std::runtime_error const&, char const*, char const*, int) (+0x66) [0x7fec91f64c96] (exception.hpp:276)
(2) libbase.so: icinga::Application::UpdatePidFile(icinga::String const&, int) (+0xe7) [0x7fec91f5de87] (application.cpp:671)
(3) libbase.so: icinga::Application::Run() (+0xd9) [0x7fec91f627f9] (basic_string.h:287)
(4) icinga2: Main() (+0x740c) [0x4250cc] (??:0)
(5) icinga2: main (+0x25) [0x4252a5] (??:0)
(6) libc.so.6: __libc_start_main (+0xfd) [0x7fec9023dead] (libc-start.c:276)
(7) ./sbin/icinga2() [0x41dbf9]
[icinga::ContextTrace*] =
***
* This would indicate a runtime problem or configuration error. If you believe this is a bug in Icinga 2
* please submit a bug report at https://dev.icinga.org/ and include this stack trace as well as any other
* information that might be useful in order to reproduce this problem.
***
Aborted

In dieser Fehlermeldung sind soviele Informationen versteckt, dass es für den Benutzer schon teilweise schwierig wird, überhaupt die eigentliche Fehlermeldung (“Could not open PID file ‘/home/gbeutner/i2/var/run/icinga2/icinga2.pid'”) zu finden. Und trotzdem fehlt hier eigentlich eine ganz entscheidende Information: Warum ist das Öffnen der Datei denn eigentlich gescheitert?
Für mich als Entwickler sind solche Fehlermeldungen natürlich sehr praktisch: Ich weiss genau – abgesehen vom fehlenden Fehlercode, in welcher Zeile und zu welchem Zeitpunkt der Fehler aufgetreten ist; die Fehlermeldung beinhaltet die Pfade zu wichtigen Dateien. Diese Details helfen mir, das Problem zu reproduzieren bzw. evtl sogar direkt anhand des Stacktraces zu finden.
Die beiden Beispiele verdeutlichen einige Eigenschaften, die Fehlermeldungen haben sollen, um den Benutzer bei der Fehlersuche zu helfen:

  • Sie sollten kurz und einfach zu verstehen sein (keine Stacktraces, Klassennamen, o.ä.)
  • Sie sollten alle wichtigen Informationen enthalten (Dateinamen, Fehlercode)
  • Sie sollten den Benutzer in Richtung der Problemlösung leiten (z.B. bei EPERM -> Hinweis auf Datei-Berechtigungen)
  • Zusätzlich sollten die für Entwickler wichtigen Informationen aber trotzdem bereitgehalten werden; vielleicht als Referenz auf eine separate Log-Datei, die dann auch gerne seitenlange Stacktraces enthalten kann

Dass bei den Logmeldungen von Icinga 2 dieses Ideal noch nicht erreicht ist, haben wir im Bugtracker zusammengefasst und arbeiten fleissig daran, dies noch zu verbessern. Wer beim Testen noch auf etwas unhandliche Fehlermeldungen stößt, sollte dazu Issues erstellen, damit wir diese für die Beta 2 noch anpassen können.

Reminder für das morgige Logstash-Webinar

logstash_01 Ich möchte noch einmal alle Logfile-Archivierer (und natürlich jene die es werden wollen) auf das morgige Logstash Webinar hinweisen. Unser Ziel wird es sein, die Architektur und Funktionsweise zu vermitteln. Dabei wird ein großer Schwerpunkt auf unserer Live-Demo liegen, in der wir Kibana, Elastic-Search und sogar einige Konfigurationen anschauen werden.
Starten wird das Webinar morgen Früh um 10:30 Uhr.
Wer sich vorab einige andere Webinare ansehen will, dem sei einerseits unser Webinar-Archiv nahelegt oder gleich unser erstes Logstash Webinar.
Wer bereits für die Zukunft planen möchte, kann sich ebenfalls für die beiden nächsten geplanten Webinare registrieren:

Icinga Web 2 Icinga Web in neuem Design
25. Februar 2014 – 10:30 Uh
Icinga 2 Entwicklungsstand 2014
05. März 2014 – 10:30 Uhr

Wie immer werden wir das Video und die Präsentation schnellstmöglich in unserem Webinar-Archiv online zur Verfügung stellen.
Cebit BlogWer eine persönliche Beratung zu Logstash wünscht, kann sich entweder über unser Kontaktformular bei uns melden oder uns auf der CeBIT im Open Source Park, Halle 6, an Stand E16 (310) besuchen. Um uns schneller zu finden, gibt es natürlich auch eine Wegbeschreibung.
Bis morgen im Webinar!

Christian Stein
Christian Stein
Lead Senior Account Manager

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Senior Sales Engineer und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".

Erinnerung an das heutige Logstash Webinar

Logstash Ich möchte noch einmal auf unser Webinar um 10:30 Uhr zum Thema “Logstash: Logfile-Archivierung leicht gemacht” hinweisen. Wer also teilnehmen möchte, sollte sich schnell noch über unsere Webinarseite registrieren.
Um die Wartezeit so angenehm wie möglich zu gestalten, empfiehlt sich natürlich noch das Webinarvideo zum Thema “Warum Monitoring und warum Icinga 2?” vom Mittwoch:


Weitere Webinare findet man zusätzlich noch in unserem Webinararchiv.
Blerim und ich freuen uns schon darauf!

Christian Stein
Christian Stein
Lead Senior Account Manager

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Senior Sales Engineer und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".