Seite wählen

NETWAYS Blog

OSMC 2022 | How we improved our monitoring so that everyone likes to be on-call

Ever wonder why your Engineers don’t necessarily like being on call? There can be many different reasons for this, and one cause could be a poorly configured monitoring system. In his talk at the Open Source Monitoring Conference (OSMC) Daniel Uhlmann shared the different stages he went through with his team at T-Systems Multimedia Solutions to get from an inadequate monitoring to a solution that provides real value not only for the customer but also for the team.

OSMC is always a great chance to get a bigger picture of the full scope of Open Source Monitoring. There were some speakers that talked about topics that I never heard from, which was for me very interesting to hear. But there were also some speakers who talked about things I am already using or in touch with. Another new experience were the people I talked to from other companies. It’s interesting how many different opinions are out there and how much fun it can be to talk to someone who has a different opinion. I am in my second year of my apprenticeship at Icinga and it was my first OSMC, my first conference in general. I participated in the role of the cameraman and really appreciated it. After the conference, I have the honor to sum up the talk from Daniel Uhlmann. Here is what I’ve learned:

Daniel Uhlmann has a passion for Linux and Open Source and talked about how they improved their monitoring that everyone likes to be on-call. The team at T-Systems Multimedia Solutions is maintaining several customer services and applications. Their monitoring is very distributed with various services and environments which means that they need to adapt very fast because they have to switch context often.

At the start of his talk, Daniel Uhlmann talked about quotes of their own company before they enhanced their monitoring:

“Why should I take the on-call duty. I thought someone else will do this for us.”
“If you debugged the live database system at 3:00 in the morning, you’re not a real developer”
“I sacrificed so much sleep and lost my mental health being on-call. But this is okay because it is for my/our product.”

 

This was not acceptable to them, said Daniel, so they thought about what they can learn from those quotes. As a result, they identified a lot of toxic patterns about being on-call. Some of the points were no sleep, impacting personal lives, flappy alerts and missing training which can all feel disrespectful for the one who needs to be on-call. That caused the T-Systems Multimedia Solutions to change things.

How did they enhanced their Monitoring?

They analysed which notifications they get and which fo those might not be necessary. As a result, they set an appointment for the team to figure out which checks are truly business critical. After that they implemented two “hotlines” to separate 24/7 and business hour calls. That resulted in less calls during the night-time. Another learning was that you should delete every check without any meaningful information. Set the bar high for waking up people at 2 AM. Not every check is a business critical check. Another good way to prevent people from hating being on-call is detailed monitoring.

What in the case of a Real Outage?  

Regarding real outages Daniel talked about some thoughts everybody knows and probably has had when they need to be on-call. Will I be able to fix the problem now? What happens if I don’t successfully fix the problem? What do my colleagues or the customers think then? He says that it’s not your fault when you have those thoughts. They are completely normal and you missed out as a team and should try to solve it later.

 

Different Approaches to On-Call

The T-Systems Multimedia Solutions took two different approaches to solve their problem. One was a test by an experienced colleague. He created a test for the new colleagues with the usual issues with monitoring to help the new colleagues getting well prepared for most of the issues that can happen. The other approach was someone who is responsible for the new colleagues and helps them in their first few weeks. I think, Daniel Uhlmann gave some good ideas on how to make on-call monitoring more attractive and not that demanding for the people that need to do it.

If you want to see his whole talk you can check out our YouTube channel or visit the OSMC Archives where all talks and slides are available. I can also recommend taking a look at the photos from the conference. I liked the talks and think each and every topic was interesting and gave a new perspective. I’m looking forward to the next OSCM in 2023!  

Unsere Abteilungswoche 2022

In der Woche vom 7.6 bis zum 10.6 haben alle Auszubildenden aus dem ersten Lehrjahr die Abteilungen Marketing, Finance & Administration, Events und Sales vorgestellt bekommen. Jeder Tag der Woche war für eine Abteilung eingeplant. Somit bekamen alle Auszubildenden jeweils einen Tag pro Abteilung neue Informationen und Einblicke, was genau in den anderen Teams so passiert.

Jonada, Björn und Nik beantworten Fragen zur Abteilungswoche, um einen möglichst guten Einblick zu geben, was sie aus der Woche mitnehmen konnten.  

 

Was habt ihr gelernt?

Nik: „Wir haben zum einen einige Kolleg:innen nochmal von einer anderen Seite mitbekommen bzw. auch überhaupt kennengelernt. Bei eigentlich allen wusste man, aus welcher Abteilung sie kommen, aber was sie genau im Detail so den ganzen Tag machen, war mir bei einigen nicht genau klar. Zum anderen haben wir auch viele neue Dinge fachlich gelernt. Angefangen daran, wie man einen Twitterpost erstellt bis hin zu dem Buchen einer Rechnung, der Planung einer Konferenz oder dem Erstellen eines Angebots für Kunden. Alles interessante Dinge, mit denen ich gerade in der Schulzeit nur wenig Berührungspunkte hatte.

Jonada: Ich habe gelernt, was die verschiedenen Abteilungen für Aufgaben haben, was meine Kolleg:innen jeden Tag machen und wie sie mit verschiedenen, spontanen Problemen bzw. Fragen von Kunden umgehen. Jetzt verstehe ich mehr, wenn meine Kolleg:innen im Stand up erzählen, was sie die Woche machen.“

Björn: Viel darüber was die nicht-technischen Abteilungen machen. Zum Beispiel, wie das Marketing eine Art Bedarfsanalyse macht und schaut, wie wir diese befriedigen können. Oder wie F&A Buchungen macht, beim Jahresabschluss arbeitet und der Mahnlauf geht. Am Donnerstag bei Events ging es eher um die Organisation von Schulungen und Events, und am Ende der Woche noch zu Sales, wie die Kommunikation mit dem Kunden von A(nfrage) bis Z(uschlag) abläuft. Außerdem haben wir uns den Webinarraum und den Shop angesehen.“

 

Was hat euch besonders gut gefallen? 

Nik: „Die Art und Weise, wie uns die Dinge präsentiert und beigebracht wurden. Es war während der vier Tage eigentlich nie langweilig. Bei so netten Kolleg:innen ist das aber auch schwierig. Wir durften sogar einige Sachen schon mitmachen und hatten viel Zeit auch selbst ein wenig Hand anzulegen.“

Jonada: Besonders gefallen hat mir der Tag von der Sales Abteilung. Da haben wir zusammen mit Christian Fragen von Kunden beantwortet und Angebote erstellt. Es war sehr interessant zu sehen, wie der genaue Prozess abläuft.“

Björn: Mal über den eigenen Tellerrand hinaus zu sehen, bzw. einfach zu wissen, was denn so die anderen Kolleg:innen den Tag über machen und wieviel Organisation z.B. für die Teilnahme an einer Ansible-Schulung anfällt.“

 

Was hat euch überrascht?  

Nik: „Mich hat vor allem überrascht, wie wenig Ahnung ich hatte, was in den einzelnen Abteilungen wirklich alles anfällt und gemacht wird. Es gab sehr viele Themenbereiche, die mir gar nicht bewusst waren.“

Jonada: Für mich hat Marketing Werbung für die Firma bedeutet. Ich dachte Finance & Administration beschäftigt sich nur mit Rechnungen jeden Tag, die Events Abteilung organisiert Events und Sales Abteilung kümmert sich um den Verkauf. Das alles stimmt, jedoch war ich schon ein bisschen überrascht zu erfahren wie viel mehr die verschiedenen Abteilungen machen. Ich bin sehr zufrieden mit der Abteilungswoche, da wir nicht nur die Abteilungen kennengelernt haben, sondern wir auch die Möglichkeit hatten, den ganzen Tag mit Kolleg:innen zu verbringen, mit denen wir bis jetzt nicht so viel zu tun hatten.“

Björn: Wie viele verschiedene Personen bei vielen Dingen wie z.B. einem Kundenauftrag involviert sind, im Prinzip bspw. gleichzeitig das Marketing, Sales, F&A, ein Consulting, die technische Planung…“

 

Insgesamt hat uns Auszubildenden diese Woche sehr gut gefallen. Wir haben demnächst nochmal eine ähnliche Woche, wo uns alle technischen Abteilungen vorgestellt werden. Wenn diese Zeit genauso toll wird wie die Abteilungswoche, freuen wir uns auch darauf schon sehr!

NETWAYS stellt sich vor – Nik Schmolzi

This entry is part 2 of 62 in the series NETWAYS stellt sich vor

Name: Nik Schmolzi

Alter: 20

Position bei NETWAYS: Junior Developer

Bei NETWAYS seit: September 2021

Ausbildung: Fachinformatiker für Anwendungsentwicklung

 

 

Wie bist du zu NETWAYS gekommen?

Nach einem gefühlt nicht enden wollenden einjährigen Pflichtpraktikum in der Fachoberschule im Bereich Mechanik und Elektronik war für mich klar, dass mein Wunsch in der IT zu arbeiten, genau der Richtige ist. Da habe ich mir einige Firmen angeschaut und NETWAYS war aufgrund der offenen und familiären Art direkt mein Favorit. 

 

Was macht Dir an Deiner Arbeit am meisten Spaß?

Der Moment, wenn etwas genau so funktioniert, wie ich mir das vorher vorgestellt habe. Auch wenn das bisher noch nicht so oft der Fall war. Es ist toll Neues zu lernen und das Erlernte dann direkt in interessanten Ausbildungsprojekten anwenden zu können.  

 

Was machst Du, wenn Du mal nicht bei NETWAYS bist?  

Hauptsächlich stehe ich auf dem Fußballplatz oder sitze am Computer. Ansonsten reise ich gerne und koche Gerichte aus aller Welt.  

 

Wie geht es in Zukunft bei Dir weiter?

Ich hoffe ich kann bei NETWAYS bleiben, hier meine Ausbildung erfolgreich abschließen und anschließend dem Team mit meinen gelernten Fähigkeiten unterstützen.