Select Page

NETWAYS Blog

OSMC 2021 | Advanced MySQL optimization and troubleshooting using PMM 2

This entry is part 4 of 23 in the series OSMC 2021

Last November OSMC 2021 took place. With me being part of NETWAYS since September 2021 it also has been my first OSMC. In the heart of Open Source many speakers talked about their experiences, shared knowledge and showcased what can be done in the field of monitoring using Open Source.
I want to give you a small glimpse into one of the talks we have had.

 

The importance of data

In our modern age data is probably the most valuable resource on our planet when looking at it from a monetary point of view. Businesses big and small alike use data to guide their behaviour, make decisions and plan their future.

Long gone are the days where simple spreadsheets did suffice. Modern companies rely on databases and their efficiency to support their work processes, sometimes even making them possible in the first place.

In his talk at OSMC 2021 Peter Zaitsev, co-founder of Percona, discusses what certain parties want regarding databases, where problems may lie and he also offers a solution to some of the laid out problems.

For most developers a database should simply just work in a reliable fashion. It should be available when needed and deliver correct information in a timely manner.
Since time also means money efficiency becomes especially important to people in management who usually want any given database to cost as little money as possible.

Problems

Possible problems can arise in a lot of different spots. Imagine for example a developer who decides to query certain information every minute to make sure the data is up to date even though the specific information does not change that frequently.

Clearly this would put a lot of unnecessary load onto the database. That’s why looking at the application side is also important when optimizing databases.

Now let’s think of a different scenario where every application makes good queries. Even ideal circumstances on the application side do not guarantee that a database will run efficiently or even effectively.

Bad or faulty hardware – CPU, RAM and storage alike – can immensely decrease the efficiency of any database. Even good queries can run slowly on bad hardware.

Other processes besides database related ones can also take away performance that would otherwise be beneficial to the queries.

Simply the way a database is structured can also decrease its own efficiency.

A solution – PMM2

Percona Monitoring and Management (PMM) 2 addresses the aforementioned problems and helps identifying them.

PMM is an Open Source database monitoring solution that offers one singular place to monitor all of your databases. This is achieved by using one server and a client agent per system you want to monitor. In the web interface you can look at a dashboard with all the gathered information together with some visualizations.

Some of the information PMM shows:

  • the impact specific queries have over time
  • information about the database tables that a relevant to a certain query
  • the amount of load specific applications cause
  • the amount of rows searched through before a query delivers a result
  • CPU and memory utilization sorted by processes
  • disk I/O latency

Using the information PMM delivers you can identify oversubscribed queries and applications which cause a lot of load, predict future scaling needs and even find those databases that are just not structured in an efficient way to begin with.

If you want to know how all of this can look like their PMM demo can give you a good first impression.
For further information also check out their documentation or just go ahead and watch the talk.

 

Full talk and more from and about OSMC 2021

Watch the whole talk by Peter Zaitsev here:

https://www.youtube.com/watch?enablejsapi=1&autoplay=0&cc_load_policy=0&cc_lang_pref=&iv_load_policy=1&loop=0&modestbranding=1&rel=1&fs=1&playsinline=0&autohide=2&hl=en_US&theme=dark&color=red&controls=1&" class="__youtube_prefs__ epyt-facade no-lazyload" data-epautoplay="1" >YouTube playerhttps://www.youtube.com/watch/maxresdefault.jpg" />

 

Since OSMC 2021 is unfortunately over we still have something for you: Did you already check out this year’s conference archives? They provide you slides and videos of each talk and also some photographs of the conference itself.

OSMC 2022 will take place from November 14 – 16 and we’re already looking forward  to meeting you all again!

Stay tuned!

Matthias Döhler
Matthias Döhler
Junior Consultant

Über ein paar Umwege ist Matthias nun endlich da gelandet, wo er sich wohl fühlt: in der IT! Bei NETWAYS hat er im September 2021 seine Ausbildung zum Fachinformatiker für Systemintegration im Bereich Professional Services begonnen. Wenn er sich zu Hause nicht auch noch mit Themen rund um Linux auseinandersetzt, sieht er sich leidenschaftlich gerne Horrorfilme und solche an, die man als "Trash" bezeichnen könnte. Je seltsamer, desto besser! Den üblichen Beschäftigungen wie Freunde treffen, Bars aufsuchen oder die Sonne im Freien genießen, geht er eben so nach wie pseudophilosophischen Fragen. Daneben spielt er außerdem wahnsinnig gerne Videospiele vergangener Generationen....

Nur Vim ist nicht genug!

Alle, die mal ein Problem mit Linux hatten, werden das vermutlich kennen: Du suchst online nach deinem Problem, stößt auf einige Befehle, bearbeitest eine Konfigurationsdatei und dann passiert es – Du bist in Vim gefangen!

Der Erstkontakt mit Vim kann durchaus von Frust geprägt sein, aber das muss nicht auf Dauer so sein. Stattdessen könntest Du Dich mit Vim anfreunden und seine Vorzüge genießen. Wenn Du nach fünf Jahren mit Vim ca. drei Prozent der Möglichkeiten kennengelernt hast – oder das zumindest glaubst – kannst Du aber auch noch tiefer abtauchen.

Hier kommen sog. “Vim-likes” in’s Spiel.
Ein paar Kandidaten, die ich interessant finde, möchte ich Dir nicht vorenthalten.

 

Zathura

Bei Zathura handelt es sich um einen PDF Reader (ohne Bearbeitungsfunktion), der sich vim-ähnlich steuern lässt. Die bekannten Bewegungstasten h, j, k, und l bewegen die Ansicht nach links, unten, oben bzw. rechts. Auch gg und G erfüllen ihre bekannte Funktion. Wenn Du Dich auf das Lesen konzentrieren willst und Du die Maus aus Deinem Leben verbannen möchtest, dann ist Zathura ein guter erster Schritt!
Hier sind noch ein paar Tastenbefehle, um Dich auf Deinen Weg zu schicken:

o       → Dokument öffnen
J       → Nächste Seite
K       → Vorige Seite
H       → Anfang der aktuellen Seite
L       → Ende der aktuellen Seite
a       → Ansicht an Fensterhöhe anpassen
s       → Ansicht an Fensterbreite anpassen
/       → Textsuche
+, -, = → Zoom vergrößern, verkleinern, zurücksetzen

Vifm

Mit Vim ist es möglich, viele ähnliche Änderungen gleichzeitig vorzunehmen, wie etwa das Anfügen eines Ausrufezeichens, um jeder Zeile eines Dokuments mehr Ausdruck zu verleihen. Wenn Du Vims Fähigkeit zur Massenbearbeitung tatsächlich einmal gebraucht hast, möchtest Du sie sicher nicht mehr missen. Wäre es da nicht wundervoll, wenn Du das auch auf andere Bereiche ausweiten könntest?

Vifm ist ein Terminal-Dateimanager, der das Gefühl von Vim perfekt einfängt und eine Zwischenstufe zwischen Kommandozeilenbefehlen und einem grafischen Dateimanager darstellt.

Hier lassen sich Dateien verschieben, kopieren und löschen. Du kannst sie allerdings auch umbenennen. Spätestens jetzt wird die Markierfunktion sehr nützlich. Mit ihr können mehrere Dateien auf dieselbe Art bearbeitet werden. Ob es sich dabei um das Kopieren, Verschieben, das Setzen von Berechtigungen oder um das Umbenennen handelt, spielt dabei keine Rolle.

Ein klassisches Beispiel für das Umbenennen wären Screenshots, die üblicherweise unter anderem die Aufnahmeuhrzeit im Dateinamen hinterlegen. So könntest Du bei allen Bildern eines Ordners gleiche Teile der Namen entfernen, Dateiendungen ergänzen oder ungeliebte Leerzeichen ersetzen.

Mit v kannst Du mehrere aufeinanderfolgende Dateien wählen und Deine Auswahl mit Enter bestätigen. Alternativ kannst Du mit t auch die aktuell angesteuerte Datei markieren.

Hast Du die relevanten Dateien markiert, kannst Du mit Shift+i die Dateinamen über einen Texteditor bearbeiten. Der Standard hierfür ist Vim. Damit schließt sich der Kreis zur Massenbearbeitung durch Vim.

Vifm bietet außerdem ein Vorschaufenster, das die Inhalte von Ordnern und Dateien darstellt. Einfache Textdateien kannst Du so bereits lesen. Ähnlich wie der Befehl “tree” zeigt diese Vorschau auch die Unterstruktur eines Ordners an. Welche Programme für diese Vorschau genutzt werden, kannst Du auch selbst in der Vifm-Konfigurationsdatei anpassen.

Wie auch Vim verfügt Vifm über zu viele Funktionen, um sie hier alle zu nennen. Im besten Fall probierst Du es einfach selbst aus. Das Vifm-cheat-sheet sollte dir für den Anfang genug Beistand leisten.

 

Vimb

Die Königsdiszipilin: Der Browser!
Ja, selbst das Werkzeug, das uns täglich begleitet und das wir wohl am meisten verwenden, ist nicht vor Vims Einfluss geschützt. Vimb ist genau das, was Du gerade erwartest. Dir ist es zu langweilig, Links mit der Maus anzuklicken? Dein Mausrad ist etwas dreckig und dreht sich daher beim Scrollen nicht richtig? Du denkst ohnehin nur noch in Vim-Bewegungen? Vimb ist Dein Browser!

Die Navigation läuft auch in Vimb über h, j, k und l. Strg+f und Strg+b scrollen je eine Seite runter bzw. hoch. Der Seitenanfang ist über gg, das Seitenende über G zu erreichen. Den Standardmodus kannst Du jederzeit über ESC auswählen. Mit Strg+o springst Du in der Historie eine Seite zurück, mit Strg+i eine vorwärts. gi platziert den Eingabezeiger in dem ersten möglichen Textfeld auf dem Bildschirm und aktiviert den Eingabemodus.

Damit kannst Du bereits einen Suchbegriff in eine Suchmaschine eingeben.
Doch bei einer solchen Suchmaschine musst Du erst einmal landen. o lässt Dich eine URL eingeben, die Du aufrufen möchtest. O wiederum ermöglicht das gleiche, fügt aber gleichzeitig die aktuelle URL ein, um diese zu bearbeiten.

Doch wie geht das Klicken denn nun ohne Maus? f ist dein Freund. Diese Taste zeigt Dir klickbare Elemente auf der Seite an und nummeriert sie. Anschließend kannst Du noch Text eingeben, um die Suche einzuschränken, die angezeigte Nummer eingeben und so z.B. von diesem Blog aus zu unseren Events gelangen. Alternativ zu den Nummern funktioniert auch Tab gefolgt von der Eingabetaste.

Möchtest Du ein etwas konventionelleres Erlebnis, kannst Du auch Strg+z drücken. Dann wird nur noch ESC von Vimb verarbeitet (stoppt diesen Modus). Die restlichen Tasten tun dann das, wofür die entsprechende Seite sie vorgesehen hat.

Vimb ist anfänglich sicherlich ungewohnt, aber es versucht schließlich auch, etwas anderes zu sein. Dieses Ziel ist definitiv erreicht. Übrigens kann die Maus auch in Vimb genutzt werden. Du musst Dich also nicht gänzlich auf Deine Tastatur verlassen 😉.

Zusammenfassend kann ich sagen, dass es wohl nicht ohne Grund so viele “Vim-likes” gibt. Der Ansatz von Vi(m) hat sich bewehrt und deshalb ist es keine Überraschung, dass dieser Ansatz immer wieder in andere Anwendungen einfließt. Nicht jede dieser Anwendungen macht alle glücklich. Aber eine nette Spielerei sind sie allemal. Wenn Du also auch nur zehn Minuten mit einem “Vim-like” verbringst, hat sich dieser Blogeintrag aus meiner Sicht bereits gelohnt. Viel Spaß beim Entdecken!

Matthias Döhler
Matthias Döhler
Junior Consultant

Über ein paar Umwege ist Matthias nun endlich da gelandet, wo er sich wohl fühlt: in der IT! Bei NETWAYS hat er im September 2021 seine Ausbildung zum Fachinformatiker für Systemintegration im Bereich Professional Services begonnen. Wenn er sich zu Hause nicht auch noch mit Themen rund um Linux auseinandersetzt, sieht er sich leidenschaftlich gerne Horrorfilme und solche an, die man als "Trash" bezeichnen könnte. Je seltsamer, desto besser! Den üblichen Beschäftigungen wie Freunde treffen, Bars aufsuchen oder die Sonne im Freien genießen, geht er eben so nach wie pseudophilosophischen Fragen. Daneben spielt er außerdem wahnsinnig gerne Videospiele vergangener Generationen....