Obstacles when setting up Mesos/Marathon

Sebastian has already mentioned Mesos some time ago, now it’s time to have a more practical look into this framework.
We’re currently running our NWS Platform under Mesos/Marathon and are quite happy with it. Sebastians talk at last years OSDC can give you a deeper insight into our setup. We started migrating our internal coreos/etcd/fleetctl setup to Mesos with Docker and also could provide some of our customers with a new setup.
Before I will give you a short description about snares I ran into during the migration, let’s have a quick overview on how Mesos works. We will have a look at Zookeeper, Mesos, Marathon and Docker.
Zookeeper acts as centralized key-value store for the Mesos cluster and as such has to be installed on both the Mesos-Master and -Slaves
Mesos is a distributed system kernel and runs on the Mesos-Masters and Slaves. The Masters distribute jobs and workload to the slaves and therefore need to know about their available ressources, e.g. RAM and CPU
Marathon is used for orchestration of docker containers and can access on information provided by Mesos.
Docker is one way to run containerized applications and used in our setup.
As we can see, there are several programs running simultaneously which creates needs for seamless integration.
What are obstacles you might run into when setting up your own cluster?
1. Connectivity:
When you set up e.g. different VMs to run your cluster, please make sure they are connected to each other. Which might look simple, can become frustrating when the Zookeeper nodes can’t find each other due to “wrong” etc/hosts settings, such as
127.0.1.1  localhost
This should be altered to
127.0.1.1 $hostname, e.g. mesos-slave1
2. Configuration
Whenever you make changes to your configuration, it has to be communicated through your complete cluster. Sometimes it doesn’t even a need a service restart. Sometimes you may need to reboot. In desperate times you might want to purge packages and reinstall them. In the end it will work and you will happily run into

by TRISTAR MEDIA


3. Bugs
While Marathon provides you with an easy to use Web-UI to interact with your containers, it has one great flaw in the current version. As the behaviour is so random, you could tend to search for issues in your setup.  You might or might not be able to make live changes to your configured containers. Worry not, the “solution” may be simply using an older version of Marathon.
Version 1.4.8 may help.

by TRISTAR MEDIA


Have fun setting up your own cluster and avoiding annoying obstacles!
Edit 20180131 TA: fixed minor typo

Tim Albert
Tim Albert
System Engineer

Tim kommt aus einem kleinen Ort zwischen Nürnberg und Ansbach, an der malerischen B14 gelegen. Er hat in Erlangen Lehramt und in Koblenz Informationsmanagement studiert, wobei seine Tätigkeit als Werkstudent bei IDS Scheer seinen Schwenk von Lehramt zur IT erheblich beeinflusst hat. Neben dem Studium hat Tim sich außerdem noch bei einer Werkskundendienstfirma im User-Support verdingt. Blerim und Sebastian haben ihn Anfang 2016 zu uns ins Managed Services Team geholt, wo er sich nun insbesondere...

Like meeting the family – OSDC 2017: Day 1

OSDC Logo
I was happy to join our conference crew for OSDC 2017 again because it is like meeting the family as one of our attendees said. Conference started for me already yesterday because I could join Gabriel‘s workshop on Mesos Marathon. It was a quite interesting introduction into this topic with examples and know how from building our Software-As-A-Service platform “Netways Web Services“. But it was also very nice to meet many customers and long-time attendees again as I already knew more than half of the people joining the workshops. So day zero ended with some nice conversation at the hotel’s restaurant.
As always the conference started with a warm welcome from Bernd before the actual talks (and the hard decision which talk to join) started. For the first session I joined Daniel Korn from Red Hat’s Container Management Team on “Automating your data-center with Ansible and ManageIQ“. He gave us an good look behind “one management solution to rule them all” like ManageIQ (the upstream version of Red Hat Cloudform) which is designed as an Open source management platform for Hybrid IT. So it integrates many different solutions like Openshift, Foreman or Ansible Tower in one interface. And as no one wants to configure such things manually today there are some Ansible modules to help with automating the setup. Another topic covered was Hawkular a time series database including triggers and alarming which could be used get alerts from Openshift to ManageIQ.
The second talk was Seth Vargo with “Taming the Modern Data Center” on how to handle the complexity of data centers today. He also covered the issues of life cycles shrinking from timeframes measured in days, weeks and month to seconds and minutes and budget moving from CapEx to OpEx by using cloud or service platforms. With Terraform he introduced one of HashiCorp’s solutions to help with solving these challenges by providing one abstraction layer to manage multiple solutions. Packer was another tool introduced to help with image creation for immutable infrastructure. The third tool shown was Consul providing Service Discovery (utilizing DNS or a HTTP API), Health Checking (and automatic removal from discovered services), Key/Value Store (as configuration backend for these services) and Multi-Datacenter (for delegating service request to nearest available system). In addition Seth gave some good look inside workflows and concepts inside HashCorp like they use their own software and test betas in production before releasing or trust developers of the integrated software to maintain the providers required for this integration.
Next was Mandi Walls on “Building Security Into Your Workflow with InSpec”. The problem she mentioned and is tried to be resolved by InSpec is security reviews can slow down development but moving security reviews to scanning a production environment is to late. So InSpec is giving the administrator a spec dialect to write human-readable compliance tests for Linux and Windows. It addresses being understandable for non-technical compliance officers by doing so and profiles give them a catalog to satisfy all their needs at once. If you want an example have a look at the chef cookbook os-hardening and the InSpec profile /dev-sec/linux-baseline working nicely together by checking compliance and running remediation.
James Shubin giving a big life demo of mgmt was entertaining and informative as always. I have already seen some of the demos on other events, but it is still exciting to see configuration management with parallelization (no unnecessary waiting for resources), event driven (instant recreation of resources), distributed topology (no single point of failure), automatic grouping of resource (no more running the package manager for every package), virtual machines as resources (including managing them from cockpit and hot plug cpus), remote execution (allowing to spread configuration management through SSH from one laptop over your data center). mgmt is not production ready for now, but its very promising. Future work includes a descriptive language, more resource types and more improvements. I can recommend watching the recording when it goes online in the next days.
“Do you trust your containers?” was the question asked by Erez Freiberger in his talk before he gave the audience some tools to increase the trust. After a short introduction into SCAP and OpenSCAP Erez spoke about Image inspector which is build on top of them and is utilized by OpenShift and ManageIQ to inspect container images. It is very good to see security getting nicely integrated into such tools and with the mentioned future work it will be even nicer to use.
For the last talk of today I joined Colin Charles from Percona who let us take part on “Lessons learned from database failures”. On his agenda were backups, replication and security. Without blaming and shaming Colin took many examples which failed and explained how it could be done better with current software and architecture. This remembers me to catch up on MySQL and MariaDB features before they hit enterprise distributions.
So this is it for today, after so many interesting talks I will have some food, drinks and conversation at the evening event taking place at Umspannwerk Ost. Tomorrow I will hand over the blog to Michael because I will give a talk about Foreman myself.

Dirk Götz
Dirk Götz
Senior Consultant

Dirk ist Red Hat Spezialist und arbeitet bei NETWAYS im Bereich Consulting für Icinga, Puppet, Ansible, Foreman und andere Systems-Management-Lösungen. Früher war er bei einem Träger der gesetzlichen Rentenversicherung als Senior Administrator beschäftigt und auch für die Ausbildung der Azubis verantwortlich wie nun bei NETWAYS.

London Marathon 2008- Ergebnisplattform

London Marathon 2008Die ersten Frauen sind bereits im Ziel und wir beobachten mit Spannung unsere Application-Server-Cluster. Wie bereits letztes Jahr in Chicago und New York hosten wir für unseren Kunden Mika timing GmbH die Serverfarm in unserem RZ und haben für ihn auch die diesjährige Ergebnisplattform und Runners-Pace entwickelt. Jetzt erwarten wir das Finish der Männer und den damit verbundenen Anstieg der Seitenaufrufe. Aufgrund der guten Erfahrungen der beiden letzten Veranstaltungen sind wir aber sicher, dass wieder alles hervorragend funktioniert und wir die Last sehr gut bewältigen können.
Durch den MySQL-Upgrade auf Version 5.1 und die somit verfügbare Mixed-mode Replication konnten wir das bekannte Lag der Slaves bei hoher Schreiblast praktisch eliminieren und können ohne Verzögerung die aktuellen Ergebnisse auf allen Server ausliefern.

Bernd Erk
Bernd Erk
CEO

Bernd ist Geschäftsführer der NETWAYS Gruppe und verantwortet die Strategie und das Tagesgeschäft. Bei NETWAYS kümmert er sich eigentlich um alles, was andere nicht machen wollen oder können (meistens eher wollen). Darüber hinaus startet er das wöchentliche Lexware-Backup und investiert seine ganze Energie in den Rest der Truppe und versucht für kollektives Glück zu sorgen. In seiner Freizeit macht er mit sinnlosen Ideen seine Frau verrückt und verbündet sich dafür mit seinem Sohn.

Athlete Tracker erfolgreich beim New York Marathon

nycrr.jpgVon der Firma Mika timing haben wir vor einigen Wochen den Auftrag bekommen eine Internetplattform zur Bereitstellung von Ergebnissen für Laufveranstaltungen zu bauen und dann auch zu betreiben. Nach den ersten Generalproben beim Queens Half und dem Chicago Marathon, hat die Plattform an diesem Sonntag die Belastungsprobe des New York Marathons ohne Probleme bestanden. Während vor Ort in New York fast 2 Millionen Besucher den Marathon verfolgt haben, waren online die realtime Zahlen aller 38.000 Teilnehmer im Athlete Tracker abrufbar.
Das System verwendet als Backend eine geclusterte MySQL Datenbank, in die alle Zeiten und Platzierungen aus New York live eingespielt wurden. Die aus dem Internet eingehenden Clientanfragen werden mit einem LVS Loadbalancer, natürlich ebenfalls geclustert, auf mehrere Webserver verteilt. Dort läuft die in PHP programmierte Anwendung unter dem lighttpd Webserver. Die Applikation befragt einen, lokal auf den Webservern installierten MySQL Datenbankserver, der sich mit dem zentralen Datenbankserver repliziert. Um eine noch bessere Performance zu erreichen, haben wir bei der Programmierung versucht viele Funktionen, die normalerweise von den Application Servern oder sogar von der Datenbank ausgeführt werden, mit AJAX auf den Client zu verlagern. Beispielsweise wird eine Änderung der Sortierreihenfolge nur lokal ausgeführt und verursacht so keine Last innerhalb der Plattform. Da auch kein reload der gesamten Seite notwendig ist, konnten wir so auch Bandbreite einsparen.
Da Mika timing alle großen Laufveranstaltungen weltweit betreut, wird dieses System in Zukunft neben New York, auch bei den Marathons in London, Berlin, Chicago und Boston zum Einsatz kommen. An dieser Stelle vielen Dank an Christian, Michael und Gerd, die sich wirklich alle Beine für das Projekt ausgerissen haben.

Julian Hein
Julian Hein
Executive Chairman

Julian ist Gründer und Eigentümer der NETWAYS Gruppe und kümmert sich um die strategische Ausrichtung des Unternehmens. Neben seinem technischen und betriebswirtschaftlichen Background ist Julian häufig auch kreativer Kopf und Namensgeber, beispielsweise auch für Icinga. Darüber hinaus ist er als CPO (Chief Plugin Officer) auch für die konzernweite Pluginstrategie verantwortlich und stösst regelmässig auf technische Herausforderungen, die sonst noch kein Mensch zuvor gesehen hat.

Ergebnisse für den Chicago Marathon

Für die Arbeit zusammen mit Mika timing für den Chicago Marathon haben wir eine nette Dankesmail bekommen:

IT Team… I cannot begin to express how thankful I am for your contributions to the 2007 LaSalle Bank Chicago Marathon. I have never worked with a Team with such TALENT, COMMITMENT, PROFESSIONALITY, PATIENCE, TEAMWORK and FOCUS. You guys are simply the best!
I can say without a doubt that 2007 was the best year ever for the IT Team. All systems were up and running well. All problems were resolved. All customer needs were met. All of my expectations were exceeded.
Thanks again for the tremendous effort and outstanding results.
I look forward to working with all of you again in the future.
Best regards,
Paul Farmer
Director of Information Technology

Julian Hein
Julian Hein
Executive Chairman

Julian ist Gründer und Eigentümer der NETWAYS Gruppe und kümmert sich um die strategische Ausrichtung des Unternehmens. Neben seinem technischen und betriebswirtschaftlichen Background ist Julian häufig auch kreativer Kopf und Namensgeber, beispielsweise auch für Icinga. Darüber hinaus ist er als CPO (Chief Plugin Officer) auch für die konzernweite Pluginstrategie verantwortlich und stösst regelmässig auf technische Herausforderungen, die sonst noch kein Mensch zuvor gesehen hat.

1. Runde der Ergebnisplattform für New York und Chicago Marathon

Nachdem nun die erste Runde der Entwicklung der Ergebnisplattform für den New York Marathon vorbei ist, firewalls, load balancer, database server und application server stehen und erste Lasttests und server tunings durchgeführt wurden, kann nun die zweite Runde, die Entwicklung der Plattform für den Chicago Marathon eingeläutet werden.
Hier ein paar screenshots der Plattform für den New York Marathon. Zu sehen sind der Public Tracker, welcher für die Öffentlichkeit bestimmt ist und der Media Tracker, welcher speziell für die Presse angefertigt wurde.
nycrr01.png nycrr02.png

Zeitmessung beim Hutch Delhi Halbmarathon 2005

Wie auch schon beim Boston Marathon hat Gerd Müller von NETWAYS entscheidend bei der technischen Umsetzung der Zeitmessung mitgewirkt. In Zusammenarbeit mit mika Timing war NETWAYS verantwortlich die Messwerte in realtime an die Fernsehsender weiterzuleiten. Ähnlich wie beim Formel1-Rennen gibt es ständig aktuelle Platzierungsansichten.
Der Hutch Delhi Half Marathon ist mit 150.000$ Preisgeld einer der höchstdotierten Halbmarathons überhaupt. Eine korrekte Zeitmessung dabei natürlich von allergrößter Wichtigkeit. Modernstes EDV-Equipment sowie  fachliche Kompetenz ist bei einer Veranstaltung dieser Größenordnung unerlässlich.

Julian Hein
Julian Hein
Executive Chairman

Julian ist Gründer und Eigentümer der NETWAYS Gruppe und kümmert sich um die strategische Ausrichtung des Unternehmens. Neben seinem technischen und betriebswirtschaftlichen Background ist Julian häufig auch kreativer Kopf und Namensgeber, beispielsweise auch für Icinga. Darüber hinaus ist er als CPO (Chief Plugin Officer) auch für die konzernweite Pluginstrategie verantwortlich und stösst regelmässig auf technische Herausforderungen, die sonst noch kein Mensch zuvor gesehen hat.

Intranetbetrieb für den 109ten Boston Marathon


Beim 109. Boston Marathon am 18. April 2005 hat NETWAYS das Intranet der Boston Athletic Association betrieben und so für einen reibungslosen Informationsfluss zwischen Veranstalter und Pressevertretern während des Großereignisses gesorgt.
Der Boston Marathon ist eine jährliche Marathonveranstaltung, der von der Stadt Boston, Massachusetts am Patriot’s Day, also dem dritten Montag im April veranstaltet wird. Seit der ersten Austragung im Jahr 1897 hat sich der Boston Marathon zu einer der ältesten und professionellsten Marathonveranstalltungen der Welt entwickelt. Im Durchschnitt registrieren sich jedes Jahr zwischen 20.000 und 35.000 Teilnehmer bei der Veranstaltung.
Im Auftrag der Zeitnahmespezialisten von Mika timing GmbH, die schon seit einigen Jahren mit der Zeitname in Boston beauftragt sind, hat NETWAYS in diesem Jahr den Betrieb des Intranets verantwortet. Dort liefen die Messergebnisse aus den unterschiedlichen Zeitnahmesystemen zusammen, wurden aufbereitet und in unterschiedlichen Detailstufen präsentiert. Vor allem im Pressezentrum war der Intranetscroller, auf dem zu jeder Zeit die Topplazierungen der unterschiedlichen Kategorien zu sehen waren, ein wichtiges Informationsmedium.

Julian Hein
Julian Hein
Executive Chairman

Julian ist Gründer und Eigentümer der NETWAYS Gruppe und kümmert sich um die strategische Ausrichtung des Unternehmens. Neben seinem technischen und betriebswirtschaftlichen Background ist Julian häufig auch kreativer Kopf und Namensgeber, beispielsweise auch für Icinga. Darüber hinaus ist er als CPO (Chief Plugin Officer) auch für die konzernweite Pluginstrategie verantwortlich und stösst regelmässig auf technische Herausforderungen, die sonst noch kein Mensch zuvor gesehen hat.