Seite wählen

NETWAYS Blog

NETWAYS stellt sich vor – Saeid Hassan-Abadi

This entry is part 30 of 62 in the series NETWAYS stellt sich vor

Name: Saeid Hassan-Abadi

Alter: 30

Position bei NETWAYS: Junior Consultant

Bei NETWAYS seit: September 2019

 

 

 

Wie bist du zu NETWAYS gekommen und was genau gehört zu Deinem Aufgabenbereich?

Als ich nach Deutschland kam, war mein Ziel mich irgendwann zu qualifizieren. Während des Studiums in meiner Heimat habe ich mein Interesse am IT-Bereich entdeckt, daher habe ich mich für eine Ausbildung als Fachinformatiker entschieden.
Ich arbeite an Projekten in verschiedenen Bereichen, da muss ich mich immer mal wieder mit neuen Themen auseinandersetzen. Natürlich sind neue Sachen anfangs immer schwierig. Aber das Spannende daran ist, die Herausforderungen anzunehmen, diese zu schaffen und das Erfolgsgefühl zu erleben. Ich muss aber dazu sagen, ohne die Unterstützung von Kollegen hier bei uns wäre das nicht möglich. Sie sind immer für dich da, wenn du denkst, du kommst nicht weiter.

 

Was macht Dir an Deiner Arbeit am meisten Spaß?

Ich lerne immer neue Begriffe und bekomme neue Aufgaben zum Bearbeiten. Ich finde diese Wissensentwicklung sehr interessant. Die Stunden, die man sich intensiv mit einem Thema beschäftigt, merkt man gar nicht mehr, wie die Zeit vergeht. Außerdem: Arbeiten in einem freundlichen Klima mit netten Kollegen macht immer Spaß.

 

Welche neuen Themen wünschst Du Dir?

Ich bin für neue Themen offen und würde gerne mehr über Hosting, Monitoring und Server-Dienste erfahren oder Software und Dienste zusammenbasteln.

 

Was machst Du, wenn Du mal nicht bei NETWAYS bist?

Ich bin aktiv unterwegs und verbringe gerne Zeit mit Freunden. Ich treibe Sport, fahre Rad und gehe schwimmen oder gehe in die Stadt. Musik hören und Feiern finde ich auch immer cool.

 

Wie geht es in Zukunft bei Dir weiter?

Ich weiß nicht, was in der Zukunft auf mich zu kommt, aber auf jeden Fall möchte ich zuerst die Ausbildung erfolgreich abschließen und dann als Informatiker bei NETWAYS arbeiten.

 

 

 

Saeid Hassan-Abadi
Saeid Hassan-Abadi
Systems Engineer

Saeid hat im Juli 2022 seine Ausbildung als Fachinformatiker für Systemintegration bei uns abgeschloßen, und arbeitet nun in Operation-Team. Der gebürtige Perser hat in seinem Heimatland Iran Wirtschaftsindustrie-Ingenieurwesen studiert. Er arbeitet leidenschaftlich gerne am Computer und eignet sich gerne neues Wissen an. Seine Hobbys sind Musik hören, Sport treiben und mit seinen Freunden Zeit verbringen.

Vom Bordstein zur Skyline von Robert Waffen | OSMC 2019

This entry is part 2 of 4 in the series OSMC 2019 | Recap

YouTube player

 

Auf der Open Source Monitoring Conference (OSMC) 2019 in Nürnberg hat uns Robert Waffen mit seinem Vortrag „Vom Bordstein zur Skyline“ in den Bann gezogen. Für den Fall, dass jemand nicht die Möglichkeit hatte, an seinem Vortrag teilzunehmen, haben wir hier etwas vorbereitet: Seht euch das Video von Roberts „Kriegsgeschichte“ – wie er selbst es nennt – an und lest weiter unten eine Zusammenfassung.

Die OSMC ist das jährliche Treffen internationaler Monitoring-Experten, auf dem zukünftige Trends und Strategien festgelegt werden. Seit 2006 findet die Veranstaltung jedes Jahr im Herbst in Nürnberg, Deutschland, statt. Führende Spezialisten präsentieren die ganze Bandbreite des Open Source Monitorings und stehen bereit, um Fragen zu beantworten, und seien diese noch so schwierig. Lernt neue Techniken kennen, tauscht Wissen aus und diskutiert mit Top-Entwicklern.

Ausführliche Workshops am Tag vor der Konferenz und ein Hackathon bieten weitere Möglichkeiten, eure Fähigkeiten zu erweitern und euer Wissen im Bereich IT-Monitoring und -Management zu vertiefen.

Die nächste OSMC findet vom 16. bis 19. November 2020 in Nürnberg statt.
Weitere Informationen und Tickets unter osmc.de.


Vom Bordstein zur Skyline

Der Talk von Robert Waffen „Vom Bordstein zur Skyline“ handelt von den Monitoring-Entwicklungsstufen des Unternehmens Publicis Pixelpark.

Wie war der bisherige Stand im Monitoring?

Bei Robert Waffen in der Firma war schon Xymon oder – noch früher – Zabbix im Einsatz, was nicht richtig gepflegt wurde. Und wenn, dann nur zum Teil. Das dadurch entstandene Wissen wurde abgewandelt und daraufhin auf zwei Elk-Instanzen umgestellt. Als Metriken wurden nur Default-Metriken verwendet, also das, was das System standardmäßig bereitstellt. Dazu gehörten Metriken in 5-Minuten-Intervallen.

Das ganze Monitoring war weder automatisiert noch teilautomatisiert. Konfigurationen oder Interfaces konnte man einchecken, wenn man sich durchklickte.

 

Xymon

Xymon hat natürlich wie jedes andere Monitoring-System Checks, wodurch Auswertungen gemacht werden, wie zum Beispiel Shell. Dabei wurde meistens sehr viel Output produziert. Und zwar nicht wie beispielsweise in Icinga eine Zeile, sondern ganze Prozesslisten. Das ganze Interface war nicht dynamisch und wurde in HTML vorgerendert, was wiederum eigene Vor- und Nachteile hatte. Bei HD-Grafen, die auch gerne ein bisschen größer werden, mussten diese gelöscht werden. Das eigentliche Problem war, dass es sehr hohe Check-Intervalle gab und keine Anbindung an Grafana oder sonstiges möglich war, da Xymon aus den 1990er-Jahren kommt. Zudem ein Thema, das immer wieder zu Problemen führte: Es gab keine richtige Verschlüsselung.

 

Zabbix

Bei Zabbix hingegen macht das GUI alles. Es gibt zwar ein Puppet-Modul, welches einen Server aufbauen kann, aber das Modul kann den Server nicht konfigurieren, was problematisch ist. Weiter war ein Update auf die neueste Version nicht möglich, weil interne Probleme auftraten. Das heißt, man ist bei einer älteren Version hängen geblieben.

Probleme wurden prinzipiell zwar immer angezeigt, aber nicht welcher Art. In einem Monitoring wurde der Alarm aktiviert. Daraufhin musste man in einem anderen System nachsehen und eventuell dort das Problem ausfindig machen. Man musste in mehreren Interfaces nachsehen, was sehr umständlich war.

Der Aufbau der GUI in Zabbix war auch nicht logisch, wenn man es mit anderen Monitoring-Systemen vergleicht. Es zeigte nur an, wenn ein Problem auftrat. Das Host-Objekt an sich gibt es in Zabbix gar nicht, an dem man sieht, dass der Host up ist und der Host folgende Daten hat… Das wird nicht angezeigt, man muss erst nach diesen Informationen suchen.

 

ELK

Zudem gibt es zwei verschiedene ELK-Stacks. Ein Stack ist schon etwas älter und beinhaltet sensible Daten eines langjährigen Kunden, die auch separat gehalten werden sollen. Daneben gibt es einen neueren Stack der Version 6 mit entsprechender Umgebung. Die Stacks sind alle manuell aufgesetzt und eine nachträgliche Automatisierung scheint nicht möglich, da sonst Indexe oder ganze Konfigurationen verworfen werden oder ähnliches. Deswegen wird hier ein Neuaufbau geplant.

 

Graylog

Als Alternative zum ELK gibt es auch noch Graylog. Das wird für neuere Kunden eingesetzt und funktioniert ganz gut.

 

Wie ist der aktueller Stand im Monitoring?

Aktuell sieht das Monitoring bei Robert so aus: Zabbix und Xymon dienen als Hauptmonitoring. Hier wurde ein Grafana mit diversen Quellen hinzugebaut, wie InfluxDB, Prometheus, Graphite oder ElasticSearch. Daneben existiert ein Proof of Concept für Icinga 2 und ELK 7.

 

Prometheus

Wir haben von null angefangen und ein Prometheus aufgesetzt. Wenn man sich damit beschäftigt, meint man erst, oh, ja, Kubernetes, da ist alles schön und toll. Da deployed man sein YAMLs und es ist alles schön und sicher – bis man von Systemen außerhalb von Kubernetes auf Metriken zugreifen möchte. Mit einem Reverse Proxy davorgebaut, mit einem Apache und HTTPS, und einem IP Require, so dass nur der Prometheus-Server den Node Exporter abfragen darf.

 

Icinga 2

Bei Icinga 2 hat man einen Pock aufgesetzt, der vollautomatisch aus dem Puppet generiert wird. Das heißt, wenn man den Host wegreißt und neu startet, werden alle Hosts, Konfigurationen, Checks wie vorher angezeigt.

So weiß man, woher der Check kommt. In Vergleich mit Zabbix und Xymon weiß man weißt nicht, woher die Checks kommen und warum etwas anspringt. Viele sagen, man brauche Automatisierung erst dann, wenn man mehrere Server hat. Aber es geht auch darum, nachvollziehbar zu arbeiten, um Konfigurationen einsehen zu können.

 

Wie soll Monitoring in Zukunft aussehen?

Host-Inventarisierung: Wir haben viele Hosts, die keine Puppet-Module haben, Puppet ausgeschaltet ist oder eine alte Puppet-Version installiert ist. Wir müssen diese updaten und installieren und das ist teilweise schwierig wegen Solaris.

Benachrichtigungsplan erstellen: Man muss man sich ein Konzept überlegen, über was wann benachrichtigt werden soll. Zum Beispiel wenn ein Server nur tagsüber wichtig ist, braucht man keine Notifications in der Nacht. Dies ist zum Beispiel bei Testmaschinen der Fall, wenn es in der Testumgebung Probleme gibt. Wenn es sich allerdings um eine Produktionsumgebung handelt, möchte man rund um die Uhr benachrichtigt werden.

 

Saeid Hassan-Abadi
Saeid Hassan-Abadi
Systems Engineer

Saeid hat im Juli 2022 seine Ausbildung als Fachinformatiker für Systemintegration bei uns abgeschloßen, und arbeitet nun in Operation-Team. Der gebürtige Perser hat in seinem Heimatland Iran Wirtschaftsindustrie-Ingenieurwesen studiert. Er arbeitet leidenschaftlich gerne am Computer und eignet sich gerne neues Wissen an. Seine Hobbys sind Musik hören, Sport treiben und mit seinen Freunden Zeit verbringen.

Pretalx Verwaltung

PRETALX

Ich habe vor kurzem in unserer Abteilung ein Projekt bekommen. Es ging um die Pretalx Installation und Verwaltung, aber was steht eigentlich hinter diesem Programm. Pretalx ist ein Open Source Programm für Konferenzen, Events, Organisation von Speakern und Zeit Planung(en).

Der Gedanke dahinter war die Erleichterung für unsere Event Abteilung bei der Planung von Konferenzen. Zudem ist es besser für die Kommunikation zwischen Abteilungen bei Konferenzen so hat man ein Programm für alle Abteilungen, welches von allen eingesehen werden kann, wo aktuellen Events, Änderungen und Neuigkeiten auf einer Seite für alle Abteilungen verfügbar ist.. Ich habe die Installation vorgenommen und möchte hier teilen, was ich bei der Installation des Programms herausgefunden habe. Nachdem man das Programm installiert hat und ein Event angelegt hat, unter /Pretalx/Dashboard sieht man die Verwaltungsoptionen.

Einstellungen

Allgemein: Unter Einstellungen sieht man zuerst die Allgemeinen Einstellungen wo man z. B. Event, Namen, Datum sowie die Zeit, Sprache, die Mails des Admins, Logo und Farbe für das Event einstellen kann.

Team: Hier kann man mehrere Teams je nach Bedarf anlegen, außerdem kann man jedem Team Rechte für die Bearbeitung von Events geben. Ein Team kann für mehrere oder nur ein Event zuständig sein.

Call for Papers (CfP)

Inhalt: Hier kann man den Inhalt für das Event oder die Konferenz angegeben um was es genau geht, was vorgestellt bzw. worüber Informiert wird. Dieser Inhalt kann in der Veröffentlichung angezeigt werden. Außerdem kann man auswählen welche Informationen beim anlegen eines Prozesses abgefragt werden sollen z.B Bild, Beschreibung oder Tracks.

CfP Editor: Dieser Editor erlaubt es die Überschrift und den Text aller einzelnen CfPschritte zu speichern, man kann auch einen eigenen Hilfstext für einzelne Eingabefelder angeben.

Fragen: Bei Fragen kann man je nach dem Event, Umfragen erstellen die von den Vortragenden gestellt werden, wie zum Beispiel ob jemand Fleisch isst oder nicht, Fragen können pro Einreichungen oder pro Vortragendem gestellt werden.

Tracks: Mit Hilfe der Tracks kann man die Vorträge in Kategorien unterteilen, man kann für jeden Track eine eigene Farbe auswählen, so können die Teilnehmer sich besser zurechtfinden. Es gibt die Einstellungsmöglichkeit für den Vortragenden den Track abzugeben.

Einreichungsarten: Jede Konferenz kann unterschiedlich lange Talks haben. Hier kann man verschiedene Talks anlegen z.B ein Willkommens Talk welcher 45 Minuten dauert oder einen Talk welcher eine Stunde oder länger dauert.

Einreichungen

Einreichungen: Zunächst unter Einreichung geht darum einen Talk anzulegen, hier wird der Vortrag und Vortragende mit seiner/ihrer Email angegeben, außerdem kann man Beschreibungen, Dauer und die Sprache des Talks eingeben. Der Status von jeder Einreichung kann ausgewählt werden.

Statistiken: Wenn man alle Einreichungen angelegt hat, gibt es die Möglichkeit eine Statistische Übersicht zu schaffen. Alle Vorträge werden mit einem Kreisdiagramm nach Tracks, Art und Status gezeigt.

Vortragende

Vortragende: Hier sieht man die Vortragenden und kurze und Information über sie. Die Vortragenden sehen hier ob die Vorträge angenommen worden sind, sie können ihr Passwort ändern und in einer Tabelle die Verfügbarkeit angeben, an welchem Tag und in welchem Zeitraum.

Informationen für die Vortragenden: Falls es wichtige Informationen oder Nachrichten für die Vortragenden gibt (z.B sie sollen HDMI Kabel mitbringen) gibt man das hier an. Diese Information wird oberhalb der Einreichungen angezeigt.

Programm

Räume: Natürlich wird jeder Talk in einem anderen Raum gehalten. Das liegt daran, dass die Events an einer oder mehrerer Locations veranstaltet werden können. Man kann hier die Räume Anlegen und unter dem Editor jeden Vortrag zu einem Raum zuweisen.

Editor: Unter dem Editor werden die angelegten Einreichungen in dem geplanten Raum, Uhrzeit, Pause Zeiten oder die Zeit wo jeder Raum frei oder Besitzt ist eingeben. So schafft man es einen Überblick über Vorträge, Räume und über die Einreichungen zu schaffen.

Export: Wenn man die Informationen bzw. die Planungsdatei exportieren möchte gibt es unter Export die Möglichkeit das Dateiformat auswählen und sie zu exportieren.

E-Mails: Unter E-Mail hat man die Standardmäßig die Erhaltenen und Geschickten Mails und man kann natürlich E-Mails schicken, dafür gibt auch Vorlagen welche man häufig brauchen kann, aber ein Teil der E-Mails, die geschickt werden sollen, werden während des Planungsprozesses Automatisch angelegt und müssen nur noch abgeschickt werden.

Damit habe ich die wichtigsten Dashboard Optionen in Pretalx vorgestellt, und würde das Programm für Event Veranstaltern Empfehlen.

Saeid Hassan-Abadi
Saeid Hassan-Abadi
Systems Engineer

Saeid hat im Juli 2022 seine Ausbildung als Fachinformatiker für Systemintegration bei uns abgeschloßen, und arbeitet nun in Operation-Team. Der gebürtige Perser hat in seinem Heimatland Iran Wirtschaftsindustrie-Ingenieurwesen studiert. Er arbeitet leidenschaftlich gerne am Computer und eignet sich gerne neues Wissen an. Seine Hobbys sind Musik hören, Sport treiben und mit seinen Freunden Zeit verbringen.

Tick Tock: What the heck is time-series data? by Tanay Pant | OSDC 2019

This entry is part 6 of 6 in the series OSDC 2019 | Recap

YouTube player

 

The rise of IoT and smart infrastructure has led to the generation of massive amounts of complex data. In his talk at the Open Source Data Center Conference (OSDC) 2019 Tanay Pant brought up a question to gather insights: Tick Tock: What the heck is time-series data? See the video of Tanay‘s presentation and read a summary (below).

The former OSDC will be held for the first time in 2020 under the new name stackconf. With the changes in modern IT in recent years, the focus of the conference has increasingly shifted from a mainly static infrastructure approach to a broader spectrum that includes agile methods, continuous integration, container, hybrid and cloud solutions. This development is taken into account by changing the name of the conference and opening the topic area for further innovations.

Due to concerns around the coronavirus (COVID-19), the decision was made to hold stackconf 2020 as an online conference. The online event will now take place from June 16 – 18, 2020. Join us, live online! Save your ticket now at: stackconf.eu/ticket/


Tick Tock: What the heck is time-series data?

Today we are going to talk about topics like what is time-series and how the load of different file forms are distributed, different use cases where time-series are used frequently. Then we’ll talk about how Create-DB helps to communicate with machine files.

What are time series?

To answer this question we present a sensor that sends the files in a period of time. When we want to read in or display this file, the time would be an axis. Compared to other workloads this file is not added to the database as an update, the time-series is added as an input and this is the primary way for this process. Time-series in database is basically introducing efficiencies through temporal treatment and this allows us to intuitively have this set of files like monitoring in different times in all aspects of our operation.

Now we have a view on time-series. If you create an abstract, look at different use cases of time-series and the way the data was generated. You can categorize them in two different ways. The first one is IT and monitoring, what can be described as a traditional use of time-series databases. When we have a look at the properties in this, one can say there are tens or hundreds of metrics or sensors as well as a lot of complex data and queries that are often larger than several gigabytes. Flux DB is a good example in this category.

We have industrial sensor data and this is an emerging sector that has not been much talked about. There are also hundreds or thousands of sensors or metrics, too. So the real-time queries are under pressure, which must be able to access all the gigabytes of data. Create-DB is a good example in this case.

We start with core technology and see what exactly Create-DB is and how it differs from other databases in this segment. Create-DB is a new type of distribution continuation database that is best suited for handling industrial sensor data, due to its ease of use and ability to handle a lot of different data, as well as a thousand different sensor data. Create-DB supports distributed SQL with full-text search and data queries, and also coordinates different nodes in a DB Cluster seamlessly with one another. In addition, the execution of write and query operations across nodes in clusters are automatically distributed. Create-DB has columnar caches for time-series in memory SQL performance so time-series normally require all data in main memory to fit, which limits the amount of data that can be managed within a specific time.

One solution for time-series performance without data volume restrictions is to implement the residence of memory in filled caches at each node, so that the caches tell the query engine whether there are any records on this node and where those records are. Distributed query processing also contributes to fast performance and a query planner that makes wise decisions about which nodes are best suited for execution. And it has machine data functions with a cloud native that makes it seamless in the cloud. Finally, we look at a few advantages of Create-DB. The Create-DB installation is simple. You can create an instance of Create-DB with a single line on the terminal or docker. It has a distributed query engine that supports full-text queries. It can handle economic hardware and instances well, and it is easy to scale the architecture.

Saeid Hassan-Abadi
Saeid Hassan-Abadi
Systems Engineer

Saeid hat im Juli 2022 seine Ausbildung als Fachinformatiker für Systemintegration bei uns abgeschloßen, und arbeitet nun in Operation-Team. Der gebürtige Perser hat in seinem Heimatland Iran Wirtschaftsindustrie-Ingenieurwesen studiert. Er arbeitet leidenschaftlich gerne am Computer und eignet sich gerne neues Wissen an. Seine Hobbys sind Musik hören, Sport treiben und mit seinen Freunden Zeit verbringen.