Seite wählen

NETWAYS Blog

So repliziert man Daten mit InfluxDB

Mit InfluxDB 2.0 hat influxdata einen großen Schritt gewagt und viele Neuerungen eingeführt. Hierzu gehören unter anderem die Integration von Webinterface und Task-Engine und DBMS, aber auch die neue Abfragesprache Flux. Ein paar Funktionen, die in es in InfluxDB 1.x gab, wurden zunächst jedoch noch nicht Umgesetzt. Hierzu gehörte bis jetzt das Thema Replikation.
Von Replikation spricht man, wenn Daten von einem Server automatisiert auf einen oder mehrere weitere Server kopiert werden um beispielsweise die Datensicherheit zu erhöhen oder den Zugriff zu beschleunigen.

Seit influxDB 2.2 ist Replikation als technical preview in der Open Source Version enthalten und kann schnell und einfach über das influx command line interface eingerichtet werden. Bei diesem Verfahren werden die Daten TLS gesichert an die API eines oder mehrerer InfluxDB Server gesendet. Wird die Verbindung zwischen Quell- und Zielserver unterbrochen, werden die Daten zu einem späteren Zeitpunkt übertragen.

Einrichtung

Vorab werden hierfür ein Quell-Bucket und ein Authentifizierungstoken auf Server1, und ein Ziel-Bucket plus Authentifizierungstoken auf Server2 benötigt. Bei der Gelegenheit sollte man sich auch schon einmal die Organisations-IDs und Bucket-IDs notieren

# Server 1
user@server1$ influx org ls
user@server1$ influx bucket create -n example-local-bucket
user@server1$ influx auth create ...
# Server 2
user@server2$ influx org ls
user@server2$ influx bucket create -n example-remote-bucket
user@server2$ influx auth create ...

Nach dieser Vorarbeit muss zunächst Remote-Verbindung zu Server 2 angeben werden. Diese wird dann mit im folgenden Schritt genutzt um die Replikation zu aktivieren. In einer nicht gesicherten Testumgebung können zudem die Schalter -allow-insecure-tls und –skip-verify hilfreich sein.

user@server1$ influx remote create \
--name myremote \
--org-id <org ID> \
--token <token> \
--remote-url <remote URL> \
--remote-api-token <remote token> \
--remote-org-id <remote org ID> \

user@server1$ influx replication create \
--name myreplication
--local-bucket example-local-bucket
--remote-bucket example-remote-bucket
--remote-id 0ooxX0xxXo0x

Das ganze ist auch noch weitergehend konfigurierbar, es kann z.B. die Länge des Replay-Logs oder das maximale Alter von zu replizierenden Daten geändert werden.

Weitergehende Informationen finden sich in der Influxdb-Doku:

Christoph Niemann
Christoph Niemann
Senior Consultant

Christoph hat bei uns im Bereich Managed Service begonnen und sich dort intensiv mit dem internen Monitoring auseinandergesetzt. Seit 2011 ist er nun im Consulting aktiv und unterstützt unsere Kunden vor Ort bei größeren Monitoring-Projekten und PERL-Developer-Hells.

Neues von den Influxdays EMEA 2021

Auf den influxdays kündigt Paul Dix, CTO von InfluxData, einen neuen Core names iOx für influxDB an. Dieser Schritt löst spontan Unsicherheit aus. Hier ein paar Fakten um die Gemüter zu beruhigen:

InfluxDB 2.x Open Source wird, so wie es jetzt existiert, parallel mit regelmäßigen Point-Releases weiterentwickelt.
InfluxDB IOx wird SQL, InfluxQL und Flux unterstützen.
InfluxDB IOx wird in einem zukünftigen Release ein optionales Speicher-Backend für InfluxDB werden.
Die Implementierung durch Rust und Apache Arrow soll eine höhere Sicherheit erreichen. Auf Grund verschiedener Optimierungen am Speicherverhalten soll die Datenmenge verringert und gleichzeitig die Abfragegeschwindigkeit erhöht werden.
InfluxDB Enterprise-Kunden werden in der zweiten Hälfte des Jahres 2021 über eine kommerziell unterstützte Version von InfluxDB IOx und InfluxDB Enterprise verfügen.

Das war nicht das einzige Thema auf der online abgehaltenen Konferenz.
In dem ausgewogenen Programm konnte man sich anschauen, wie man mittels Telegraf Daten in Richtung influxDB schreibt. In einem anderen Vortrag ging es um Dashboards, Alerts und Tasks.

Ein Highlight war für mich der Talk von Aengus Rooney, der zwar trotz des Titels „What’s New with Grafana and InfluxDB“ erstaunlich wenig Neuerungen gezeigt hat, jedoch mit einem längeren Hands-On die Möglichkeiten von Grafana anhand eines selbst erstellten Handels Terminals für Kraken/Bitcoin demonstriert hat.

Alle Aufzeichnungen der Konferenz werden ab 31. Mai veröffentlicht. Man findet sie, wie auch die Videos vergangener Konferenzen, auf den Seiten der influxdays und auf youtube.

Wer mehr über influx und die Möglichkeiten erfahren möchte kann sich auch bei NETWAYS im Rahmen eines zweitägigen Trainings informieren.

Christoph Niemann
Christoph Niemann
Senior Consultant

Christoph hat bei uns im Bereich Managed Service begonnen und sich dort intensiv mit dem internen Monitoring auseinandergesetzt. Seit 2011 ist er nun im Consulting aktiv und unterstützt unsere Kunden vor Ort bei größeren Monitoring-Projekten und PERL-Developer-Hells.

Icinga2 und Influx2: So bringen wir beide zum reden

Influxdata LogoAuch wenn die Überschrift es vermuten lässt. Das hier ist kein Clickbait sondern eine Kurzanleitung zum Thema.

Das Problem: Seitdem die time series database influxdb in der Version 2.0 erschienen es kann man das icinga2 influx feature nicht mehr ohne weiteres nutzen. Ein Grund ist, es gibt keine influx database und keine influx retention policy mehr. Beides ist konzeptuell jetzt in sogenannten buckets zusammengefasst. Damit nicht genug. Man greift nicht mehr mit einem user/password auf influx zu, sondern mit Hilfe eines Tokens

Die Lösung: Es gibt den v1 compatibility mode. So legt man einen bucket mit einer retention policy von 14 Tagen an und nutzt ihn.

$ influx bucket create --name icinga2 --org myCompany --retention 336h
$ influx bucket list
ID Name Retention Organization ID
9be740dd7f1e5dd0 _monitoring 168h0m0s e3010cef6e5b64bf
d6e0a548f3ea1451 _tasks 72h0m0s e3010cef6e5b64bf
4d59849554d88e25 icinga2 336h0m0s e3010cef6e5b64bf
$ influx v1 auth create --username icinga2 --write-bucket 4d59849554d88e25
$ influx v1 dbrp create --bucket-id 4d59849554d88e25 --db icinga2 --rp 14Tage

Das ganze lässt sich jetzt einfach auf Seiten Icinga nutzen:

$ cat /etc/icinga2/features-enabled/influxdb.conf

object InfluxdbWriter „influxdb“ {
host = „127.0.0.1“
port = 8086
database = „icinga2“
flush_threshold = 1024
flush_interval = 10s
username = „icinga2“
password = „password“
enable_send_thresholds = true
enable_send_metadata = true
[…]
}

Nach einem icinga restart kann man im influx Frontend sehen, dass Informationen eingehen. Um mehr über influx und grafana zu lernen bietet Netways eine 2-tägige InfluxDB Schulung  an.

Christoph Niemann
Christoph Niemann
Senior Consultant

Christoph hat bei uns im Bereich Managed Service begonnen und sich dort intensiv mit dem internen Monitoring auseinandergesetzt. Seit 2011 ist er nun im Consulting aktiv und unterstützt unsere Kunden vor Ort bei größeren Monitoring-Projekten und PERL-Developer-Hells.

April Snap 2018 > OSDC, OSCamp- Speakers, NETWAYS Web Services, Slack- Notification, WordPress


Hello May!! In April we expressed our gratitude to our OSDC sponsors for their support! Nicole reviewed GitLab security update. Jean offered solutions for a personal Linux backup. Markus promised more content for NETWAYS’ Graphing training. Marius announced NETWAYS Web Services: WordPress now up and running!
Keya asked if you are going to the OSDC Berlin!! And then she urged you to Join the OSCamp on June 14! Florian talked about Was kann eigentlich CSS-Grid? Max taught us how to Synchronize configuration with lsyncd. Then we reported on NETWAYS` Support to film project of TH Nuremberg. Marius brought us up to speed on Running Icinga in NWS with Slack notifications.
Philipp talked about Hard disk benchmark with bonnie ++Pamela told you to get ready for the OSDC 2018 Berlin! Marius shared his thoughts on Anpassungen der Nextcloud Login Seite werden nicht geladen. Keya announced the OSCamp 2018 – Speakers Line-up.

Keya Kher
Keya Kher
Marketing Specialist

Keya ist seit Oktober 2017 in unserem Marketing Team. Nach ihrer Elternzeit ist sie seit Februar 2024 wieder zurück, um sich speziell um Icinga-Themen zu kümmern. Wenn sie sich nicht kreativ auslebt, entdeckt sie andere Städte oder schmökert in einem Buch. Ihr Favorit ist “The Shiva Trilogy”.  

Umstieg auf Icinga 2 gesucht?

Icinga Kaum hat man sein Nagios-System aufgebaut um Linux, Windows, ESXi und diverse Hardware-Komponenten wie Router und Switche zu überwachen, meint die Community im Jahr 2009 einen Fork mit dem Namen Icinga ins Leben zu rufen. Aufgrund vieler Bugfixes und Optimierungen ging es dann bei einer Vielzahl von Kunden in Richtung Migration auf Icinga – mit Erfolg. Als Dienstleister traten wir hier oft unterstützend und beratend zur Seite, bis der Kunde sein neues Monitoring in Betrieb nehmen konnte.
3 Jahre später kamen die Icinga Jungs dann auf die Idee Icinga 2 zu veröffentlichen, mit vielen neuen Features wie einem eingebauten Cluster, einer eigenen API, einem schnellen und dynamischen Webfrontend, einem fancy Web-Konfigurations Tool und vielem, vielem mehr.
Um allen einen einfachen Umstieg von sowohl Nagios als auch Icinga (oder natürlichem jedem anderen Monitoring-Tool) zu ermöglichen, bieten wir unsere Icinga 2 Starterpakete an. Innerhalb von 4 Tagen Dienstleistung bei Ihnen vor Ort bauen unsere Consultants gemeinsam mit Ihnen eine Icinga 2 Umgebung auf und fügen die ersten Services in das Monitoring hinzu. Selbstverständlich gehen wir auf die Unterschiede zu den Vorgänger-Versionen ein und zeigen auf, wie das neue Monitoring-Tool bedient werden kann.
Auf Wunsch installieren wir verschiedene Web-Module wie bspw. das Business-Process Addon, den Icinga Director oder ganz klassisch PNP4Nagios.
Unsere Starterpakete richten sich dabei nicht nur an Nagios / Icinga Benutzer, sondern natürlich auch an neue Kunden welche mit den Open Source Lösungen bisher noch keine Berührungspunkte hatten.
Warum sich ein Umstieg auf Icinga 2 lohnt? Hierzu kann man jetzt viele Vorteile schreiben. Am besten ist es aber man probiert das System selbst einmal über die bereitgestellten Vagrant-Boxen aus oder man schaut sich eines unserer Webinare zu Icinga 2 und Icinga Web 2 an, um einen besseren Eindruck zu bekommen.
Wer noch nicht überzeugt ist oder ein Angebot für ein Icinga 2 Starterpaket wünscht, kann gerne mit uns Kontakt aufnehmen. Wir freuen uns über jede Anfrage!

Christian Stein
Christian Stein
Manager Sales

Christian kommt ursprünglich aus der Personalberatungsbranche, wo er aber schon immer auf den IT Bereich spezialisiert war. Bei NETWAYS arbeitet er als Manager Sales und berät unsere Kunden in der vertrieblichen Phase rund um das Thema Monitoring. Gemeinsam mit Georg hat er sich Mitte 2012 auch an unserem Hardware-Shop "vergangen".