Web, Ops, IoT & Time Series

Kafka

• Hello world, Kafka connect and Kafka Steams : Une introduction à Kafka Connect & Kafka Streams pour traiter les mises à jour de Wikipedia. La question qui va se poser c’est jusqu’où Connect/Streams peuvent aller sans “trahir” les fondamentaux de Kafka (un simple bus de message performant & scalable). A contrario, à partir de quel niveau de logique, un outil comme Spark, Flink ou autre est requis pour traiter les données depuis/vers Kafka.
• La supervision de Kafka est encore assez jeune et immature ; un retour d’expérience assez complet et intéressant de SignalFX où ils présentent leur démarche et les développements qu’ils ont mené.
• Si vous êtes clients AWS, ce retour d’expérience sur Kafka et EBS et en quoi les nouvelles offres EBS sont intéressantes dans un contexte Kafka.

Container

• Shipyard : une surcouche à Docker Swarm et une IMH Web pour gérer vos images, containers, registres, etc. Il contient aussi des modules comme une console, des stats, gestion de rôles, etc.
• Docker a annoncé la sortie de la version 1.11 avec son lot de nouveautés :
  • Une plus grande modularité de l’Engine avec la sortie de containerd ; couche intermédiaire entre l’API et les containeurs en eux même et dont le but est de les piloter.
  • Engine 1.11 : Support des VLAN, IPv6, encore plus de labels, DNS Round robin, etc.
  • Swarm 1.2 : le rescheduling est désormais stable
  • Compose 1.7 : arrivée de docker-compose up --build pour rebuilder et lancer votre stack et docker-compose exec
  • …
• Docker, container de build : un exemple documenté sur l’utilisation de docker où le container permet de “builder” une application en go et où le livrable est accessible depuis la machine hôte au final.
• Une expérience autour de clusters fédérés avec Docker Swarm ; l’idée, sous la forme d’un proof of concept est de voir s’il est possible et dans quelle mesure il est possible de faire un cluster de cluster swarm.
• Dockerbeat ou quand beats rencontre Docker. Il est dès lors possible de remonter les statistiques de votre/vos container(s) docker dans Elasticsearch afin de les indexer.
• Pour conclure, une petite astuce pour supprimer tous les conteneurs et images docker présentes sur votre poste/serveur.

Elasticsearch

• Elasticsearch chez BlaBlaCar : une vision sur l’utilisation (massive ?) d’Elasticsearch chez BlaBlaCar.
• Elassandra est un fork de Elasticsearch modifié pour tourner au-dessus d’un cluster Cassandra. L’idée est apparamment de bénéficier des capacités de recherche d’Elasticsearch en profitant de la résilience de Cassandra.

Postgres

• Postgres XL est une version distribuée et optimisée de Postgres ; tout comme CitusDB, dont on a parlé précédemment, la version 9.5r1 apporte ses nouveautés et montre la tendance des projets dérivés de Postgres de se “rebaser” sur les dernières version stables et créer leurs extensions par dessus le socle de base.
• Est-ce que Postgres 9.5 peut être votre base JSON ? ; même si la réponse est “plutôt non, ça dépend de vos besoins”, l’article a le mérite de retracer les améliorations apportées dans les versions 9.0 à 9.5.
• Superviser Postgresql ; un panorama des solutions existantes pour les différents besoins de monitoring.

Infrastructure

• Traefik : un reverse-proxy et load-balancer (comme Nginx, HAProxy ou encore Apache+mod_proxy) conçu dans une logique d’architecture micro-services. Il s’interface notamment avec Docker, etcd, consul ou encore une API REST. A tester et surveiller.
• Une image officielle docker pour Traefik est même disponible

Container

• Elastikube : une solution de gestion d’une infrastructure Kubernetes ; cela fait penser à une version allégée d’Openshift. Containers
• Containers are not VM : Une clarification par l’équipe Docker sur la différence entre un container et une VM sur la base de l’analogie avec l’appartement (le container) et la maison (la VM). Une maison (VM) contient tout ce dont elle a besoin pour fonctionner alors que pour un immeuble, des ressources sont partagées et chaque appartement de l’immeuble en profite dans une certaine mesure.
• Docker a annoncé Docker pour Windows/Mac (beta) ; cela permet d’utiliser Docker de façon plus native et intuitive sous Windows/Mac. Pour Windows, cela demande d’avoir Windows 10 pour bénéficier de l’hypervision via Hyper-V. Sur ce sujet, l’équipe Hypriot dans leur revue de Docker pour Mac et Docker pour Windows montre le bonus (easter egg) de cette version à savoir qu’il est possible de faire tourner des conteneurs ARM sous environnement OSX/Windows ; cela permettrait de batir des conteurs pour Raspberry ou des projets IoT plus facilement. Je ne peux hélas pas le tester pour le moment, mais cela semble plus prometteur que Docker Toolbox qui reste un peu complexe à mettre en oeuvre.
• Rancher, une solution d’orchestration de conteneurs, après avoir annoncé le support de Kubernetes, vient d’annoncer la sortie de la version 1.0. A suivre, même si la notion d’environnement ne permettrait pas une allocation optimale des capacités d’infrastructure (chaque environnement aurait ses hôtes alors que Kubernetes pourrait a priori permettre une mutualisation totale via la gestion des “namespaces” ; à creuser !).
• Kubernetes, la solution d’orchestration de container (Docker/Rocket) développée par Google, est sorti en version 1.2 avec diverses améliorations et notamment une nouvelle GUI.
• Kubernetes on ARM vient de sortir sous la version 0.7.0 ; de quoi se faire la main sur Kubernetes avec vos Raspberry ;-) ; une image Rancher est d’ailleurs disponible.
• Docker en production : la bataille sanglante des orchestrateurs de conteneurs : Pour conclure, Octo compare Docker Swarm, Kubernetes et Openshift et donnant Kubernetes gagant pour le moment. Personellement, vu qu’a minima pour Kubernetes et Docker Swarm, on peut utiliser des containers docker, il est peut être intéressant de combiner les 2 solutions qui répondent plus ou moins bien à différentes problématiques. Je vois assez bien l’utilisation de Docker Swarm dans une logique de développement / labs et plus Kubernetes en effet dans une logique de production pure. Il ne faut pas se cacher que Kubernetes est plutôt “Ops friendly” et remonte la chaine de valeur vers les développeurs quand Docker fait le contraire…

Elasticsearch & friends

• Reindex is coming : Avec Elasticsearch 2.3, vous pouvez (re)copier les documents d’un index et enrichir ses données dans un nouvel index ou bien mettre à jour les documents d’un index existant.
• Release Bonanza! Elasticsearch, Graph, Shield, Watcher, Marvel, Logstash 2.3, Beats 1.2, and Kibana 4.5 are Now Available! ; on note la sortie du nouveau produit Graph. C’est un plugin Kibana et qui permet de relier vos données et de les présenter sous la forme d’un graphe. A creuser !
• Elasticsearch 2.3 est sorti avec  comme apport notable la réindexation comme décrit précédemment et la notion de “task”, qui permerttrait notamment d’annuler certaines tâches (comme une réindexation !).
• Les autres composants sont également mis à jour : Kibana 4.5.0, Logstash 2.3 et Beats 1.2.0,
• Elastic a décidé d’uniformier ses numéros de versions et tout le monde passe en 5.0-alpha1 avec la sortie de l’Elastic Stack ; au-delà de la convention de nommage, c’est l’engagemet de fournir un socle cohérent pour les produits Elasticseach, Kibana, Logstash et Beats. Les produits Marvel, Shield et Watcher deviennent quant à eux le X-Pack. Je vous laisse consulter les apports d’elasticsearch 5.0.0-alpha1 ou encore le revamping de l’interface de Kibana.

InfluxDB & Friends

• InfluxDB 0.12 est sorti (et précédemment la version 0.11) ; après l’annonce du retrait du mode cluster de la version open source car peu utilisé et qui passe en code propriétaire pour assurer leurs revenus, il y a néanmoins le module Relay qui doit répondre en partie à ce besoin de haute disponibilité / réplication.

Sysadmin

• Teleport ; Une passerelle (bastion) SSH qui permet d’accéder à ses serveurs via SSH ou en HTTPS via une IHM Web. A tester !

Sécurité

• VNCFail ; vous reprendrez bien un peu de non sécurité: l’analyse des 4 milliards de plage IPv4 remonte 5 millions d’adresse pour lesquelles le logiciel VNC (prise de contrôle à distance) est accessible et au final 2.246 hotes avec des systèmes accessibles sans mot de passe dont des systèmes sensibles (contrôle d’aération, usine éléctrique, etc).