Gnocchi und Archiv Policies

Gnocchi ist eine time series database die aus dem OpenStack Projekt hervorgegangen ist. Da Gnocchi erst 2014 entstanden ist, wurde versucht die Schwächen vorhandener Lösungen zu umgehen. Im Vergleich fallen mir vor allem folgenden Features auf:

  • Mandantenfähigkeit
  • Skalierbarkeit
  • Hochverfügbarkeit
  • REST Interface (HTTP)
  • Unterstützung moderner Backends wie Ceph (librbd), Swift und S3
  • OpenSource

Ein weiters Feature ist die Unterstützung von archive policies. Diese legen fest wie lange und in welcher Granularität Metriken vorgehalten werden. Zusätzlich kann auch die Art der Aggregation definiert werden. Sendet man den unten stehenden json Text per HTTP an /v1/archive_policy wird z.B. eine Policy angelegt die Metriken mit einer Granularität von 5 Minuten für 62 Tage speichert und dafür 17856 Punkte benötigt (12 Metriken je Stunde * 24 Stunden * 62 Tage = 17856). Zusätzlich werden die Metriken in aggregierter From  für 365 und 3650 Tage gespeichert.
 

{
  "name": "router-metriken",
  "back_window" : 0,
  "definition" : [
    {
      "points" : 17856,
      "granularity" : "00:05:00",
      "timespan" : "62 days, 0:00:00"
    },
    {
      "points" : 8760,
      "granularity" : "1:00:00",
      "timespan" : "365 days, 0:00:00"
    },
    {
      "points" : 3650,
      "granularity" : "24:00:00",
      "timespan" : "3650 days, 0:00:00"
    }
  ],
  "aggregation_methods" : [
    "min",
    "max",
    "mean",
    "sum"
  ]
}

 
Welche archive policy für einzelne Metriken angewendet wird kann über rules bestimmt werden. Neue Metriken werden per Regex geprüft und ggf. einer Policy zugewiesen. Treffen mehrer Regeln greift der längste Regex. Mit der folgenden Regel werden alle Metriken die mit router beginnen zu der oben definierten Policy hinzugefügt.
 

{
  "archive_policy_name": "router-metriken",
  "metric_pattern": "router.*",
  "name": "router-metriken"
}

 
Mein erster Eindruck von Gnocchi ist durchaus positiv und mit den genannten Features kann sich die OpenStack Lösung von der Konkurrenz abheben. Aktuell ist Gnocchi wohl am besten für die Bedürfnisse von OpenStack ausgelegt. Es gibt aber auch Integrationen zu collectd, statsd, Icinga und Grafana.

aledermüller
Achim Ledermüller
Achim Ledermüller
Lead Senior Systems Engineer

Der Exil Regensburger kam 2012 zu NETWAYS, nachdem er dort sein Wirtschaftsinformatik Studium beendet hatte. In der Managed Services Abteilung ist unter anderem für die Automatisierung des RZ-Betriebs und der Evaluierung und Einführung neuer Technologien zuständig.

Why you shouldn't miss OSBConf 2018 – #4

Test your backups to make sure they will get you back up! Because a backup failing is just as bad as failing to backup! — T.E. Ronneberg
What are your benefits as a speaker? Speakers are offered free participation at the conference. Which means that speakers may attend all other presentations and tutorials. The first dinner is on us. Would you like a coke or a sprite with your lunch? Morning and afternoon refreshments are complimentary as well.
Dr. Stefan Vollmar, the head of IT group at the Max Planck Institute for Metabolism Research, Köln talked about Bareos, BEEGFS and GRAU OpenArchive.
Check out his talk!
 

jhornung
Julia Hornung
Julia Hornung
Marketing Manager

Julia ist seit Juni 2018 Mitglied der NETWAYS Family. Vor ihrer Zeit in unserem Marketing Team hat sie als Journalistin und in der freien Theaterszene gearbeitet. Ihre Leidenschaft gilt gutem Storytelling, klarer Sprache und ausgefeilten Texten. Privat widmet sie sich dem Klettern und ihrer Ausbildung zur Yogalehrerin.

Final call for OSBConf: Grab your ticket!


Open Source Backup Conference | September 26, 2018 | Cologne
Final Call: Get one of our last tickets for OSBConf 2018 and be part of one enjoyable, inspiring day full of backup!
Backup and recovery are an integral part of any data center these days. With the current data explosion, the need for an efficient solution has become critical. The Open Source world offers its own answers to todays challenges. Whether you want to learn what fits best for your company or you already work with these tools and want to get updated on latest developments, OSBConf is the perfect event for you! Besides bringing you deeper into technical aspects OSBConf provides the ideal opportunity for IT professionals to meet, exchange thoughts and establish new connections.
Backup your seat! Register now!

osbconf.org/tickets

jhornung
Julia Hornung
Julia Hornung
Marketing Manager

Julia ist seit Juni 2018 Mitglied der NETWAYS Family. Vor ihrer Zeit in unserem Marketing Team hat sie als Journalistin und in der freien Theaterszene gearbeitet. Ihre Leidenschaft gilt gutem Storytelling, klarer Sprache und ausgefeilten Texten. Privat widmet sie sich dem Klettern und ihrer Ausbildung zur Yogalehrerin.

Why you shouldn't miss OSBConf 2018 – #3

Having one backup of your important data is a good start, having two is better, but having 3 or more is even better. — T.E. Ronneberg
What is happening in the evening of the conference day? Fun times! Evening events are for all the speakers and participants to enjoy themselves and get to know each other. A great location and a fascinating, relaxing atmosphere ensures effortless socializing and networking. Enjoy your time with fellow backup enthusiasts with a few drinks and traditional local food.
Daniel Neuberger from NETWAYS talked about examining Bareos logs in elastic.
Check out his talk!
 

jhornung
Julia Hornung
Julia Hornung
Marketing Manager

Julia ist seit Juni 2018 Mitglied der NETWAYS Family. Vor ihrer Zeit in unserem Marketing Team hat sie als Journalistin und in der freien Theaterszene gearbeitet. Ihre Leidenschaft gilt gutem Storytelling, klarer Sprache und ausgefeilten Texten. Privat widmet sie sich dem Klettern und ihrer Ausbildung zur Yogalehrerin.

Why you shouldn't miss OSBConf 2018 – #2

Information is eternal, computers are ephemeral, backup is the savior. — T.E. Ronneberg
Where is OSBConf? Cologne, a 2000 year old city with Gothic architecture in a reconstructed historical center, is the fourth largest city in Germany. Everyone is invited to the Dorint Hotel An der Messe Köln, which is easily reachable by public transportation, only few minutes from the city center.
Take the opportunity to meet the Bareos community in Cologne, join interesting talks and do not miss the presentation of the next Bareos release 18.2.
2017 Maik Außendorf from the dass IT and Philipp Storz co-founder of dass IT talked about Bareos version 17.2.
Check out their talk!
 

jhornung
Julia Hornung
Julia Hornung
Marketing Manager

Julia ist seit Juni 2018 Mitglied der NETWAYS Family. Vor ihrer Zeit in unserem Marketing Team hat sie als Journalistin und in der freien Theaterszene gearbeitet. Ihre Leidenschaft gilt gutem Storytelling, klarer Sprache und ausgefeilten Texten. Privat widmet sie sich dem Klettern und ihrer Ausbildung zur Yogalehrerin.

Why you shouldn't miss OSBConf 2018 – #1

“If it is worth keeping, it is worth backing up.” — T.E Ronneberg
What is OSBConf? The Open Source Backup Conference allows all backup solution researchers, practitioners and backup lovers to come together to discuss latest developments, convey strategic knowledge and present new studies.
#OSBConf 2017 – Last year Didac Oliveira from Brain updaters, talked about smart GNU/Linux Disaster Recovery management with DRLM & ReaR.
Check out his talk!

 

jhornung
Julia Hornung
Julia Hornung
Marketing Manager

Julia ist seit Juni 2018 Mitglied der NETWAYS Family. Vor ihrer Zeit in unserem Marketing Team hat sie als Journalistin und in der freien Theaterszene gearbeitet. Ihre Leidenschaft gilt gutem Storytelling, klarer Sprache und ausgefeilten Texten. Privat widmet sie sich dem Klettern und ihrer Ausbildung zur Yogalehrerin.