CérénIT

Elasticsearch

• 10 Elasticsearch Concepts You Need to Learn : Retour aux bases, si vous voulez des explications sur les différents concepts d’Elasticsearch, c’est une bonne synthèse.
• Everything You Need to Know About ELK Stack 5.0 : une synthèse des apports & nouveautés de la prochaine version de la stack ELK.
• How we reindexed 36 billion documents in 5 days within the same Elasticsearch cluster : un très long billet mais avec plein d’enseignement sur la gestion d’un cluster Elasticsearch et la migration d’un index.
• How to fix your Elasticsearch cluster stuck in initializing shards mode? : petit how-to utile sur la gestion d’un cluster lorsque les shards ont du mal à se redéployer suite à un redémarrage du cluster.
• ElasticSearch cluster rolling restart at the speed of light with rack awareness : un petit how to pour gérer le restart de son cluster de façon optimisée en tirant partie de la “rack awareness”. Intéressant !

Cassandra

• Introducing Datastax Entreprise 5.0 : la nouvelle version de l’offre entreprise de Cassandra vient de voir le jour. Elle apporte notamment un modèle Graph (Introduction to DSE Graph). Ayant assisté au Cassandra Days à Paris, j’ai bien aimé l’idée d’avoir un worker Spark et un index Solr sur chaque noeud du cluster Cassandra pour pouvoir travailler au plus près des données et avoir différentes façons de travailler avec selon les besoins. Une combinaison assez intéressante pour manipuler les données tout en restant dans une architecture (relativement) simple ou plus simple qu’une architecture Hadoop.
• Retour d’expérience sur l’utilisation de Cassandra sur 6play en vidéo ; Retour d’expérience de l’équipe M6Web sur leur utilisation de Cassandra lors des Cassadra Days à Paris en Juin.

Wagtail

• Wagtail, créer des modèles de type de contenu - partie 1 : Wagtail est un CMS développé en python et s’appuyant sur le framework Django. Le billet de blog permet de revoir les étapes de création d’un contenu.
• Wagtail : Utiliser le modèle Page ainsi que son Manager (partie 2) : dans cette seconde partie, c’est la façon de requêter les objets de contenus qui est traité.
• Wagtail : Comment écrire les templates (partie 3) : cette partie 3 permet de passer rapidement sur la logique de “template” et des apports de Wagtail sur les templates django traditionnels.

Je suis avec intérêt Wagtail et Grav qui sont 2 CMS assez flexibles et avec des interfaces ergonomiques et ce sans rentrer dans des usines à gaz comme Drupal ou eZ Publish.

Kubernetes

• Kubernetes 1.3: Bridging Cloud Native and Enterprise Workloads : cette version apporte de nombreuses améliorations, dont le support du format de container rkt (issu du projet CoreOS, via rktnetes), les premiers pas du support de cluster multi-datacenter via la fédération de clusters, une meilleure gestion des containers “statefull” (base de données, etc) et d’autres améliorations.
• Minikube: easily run Kubernetes locally : Dans le cadre de la sortie de Kubernetes 1.3, les équipes de Google cherchent à rendre Kubernetes plus accessible sur un poste de développeur. C’est le propos de Minikube de fournir un cluster kubernetes minimaliste en quelques clics tout en offrant l’ensemble des fonctionnalités de Kubernetes.

Elasticsearch & friends

• Elastic Stack Release 5.0.0-alpha3 : Elastic continue son bonhomme de chemin avec diverses améliorations et efforts de stabilisations pour l’ensemble de leurs produits. On notera aussi quelques incompatibilités ascendentes (gestion des propriétés d’Elasticsearch) dans le cadre de la version 5.0

Big Data

• Hue 3.10 with it’s new sql editor is out : Hue, une interface web d’accès et de suivi des données et des jobs d’une plateforme Hadoop est sortie fin mai dernier avec son lot de nouveautés et notamment une refonte graphique.

Git

• Git, the simple guide : un revue très claire des principales commandes git ; existe en plusieurs langues.

Architecture Serverless

• Serverless architectures : c’est le buzzword du moment, l’idée consiste à dire qu’on ne gère plus des serveurs mais que l’on déploie son application sur la base de différentes services cloud. On y voir la notion de “Backend as a service” ou de “Function as a Service”. L’idée étant que pour chaque foncitonnalité attendue (stockage, authentification, etc), l’application finale s’appuie sur n services et que l’entreprise développant l’application ne possède en soi aucun serveur.

Python

• Python et HTML : David a publié une collection de librairies python pour manipuler du HTML en Python. J’utilise déjà la magnifique requests, je vais pouvoir en ajouter quelques-unes à la liste.

Elasticsearch

• How to make a Dockerfile for Elasticsearch : Si vous souhaitez bâtir votre propre container plutôt que d’utiliser [l’image officielle(https://hub.docker.com/_/elasticsearch/)]
• Docker networking avec Elastiscsearch : rien de nouveau sur le réseau mais plutôt sur le moyen de bien configurer Elasticsearch et Docker
• Effective elasticsearch plugin management with Docker : la gestion des plugins qui peut avoir un impact sur les volumes (notamment pour la partie config).

REST

• Repenser ses échanges de données client-serveur sur le Web ; un billet qui énonce les limites du protocole REST et surtout présente les approches de Falcor (Netflix) et GraphQL (Facebook) pour compenser ces manques.

Astuce over HTTP

• HTTP to HTTP with bash, curl and jq : Le billet explique les principes du ‘chainage de données’ (data pipelining) sur HTTP avec quelques lignes de bash, curl et jq. Sympa pour prototyper et peut-être plus ?

Elasticsearch & friends

• Elastic Srack Release :
  • Elasticsearch 5.0.0-alpha2 : on note principalement l’arrivée d’un plugin permettant la migration 2.3 vers 5.x et un nouveau requêteur sur les percolations.
  • Kibana 5.0.0-alpha2 : Sense, le constructeur de requête Elasticsearch s’appelle maintenant Console et est inclus par défaut dans Kibana.

Docker

• Docker sur Windows Server 2016 (technical preview) : Microsoft et Docker continuent leurs efforts pour rendre Docker disponible sur un environnement Windows Server.

Kafka

• Hello world, Kafka connect and Kafka Steams : Une introduction à Kafka Connect & Kafka Streams pour traiter les mises à jour de Wikipedia. La question qui va se poser c’est jusqu’où Connect/Streams peuvent aller sans “trahir” les fondamentaux de Kafka (un simple bus de message performant & scalable). A contrario, à partir de quel niveau de logique, un outil comme Spark, Flink ou autre est requis pour traiter les données depuis/vers Kafka.
• La supervision de Kafka est encore assez jeune et immature ; un retour d’expérience assez complet et intéressant de SignalFX où ils présentent leur démarche et les développements qu’ils ont mené.
• Si vous êtes clients AWS, ce retour d’expérience sur Kafka et EBS et en quoi les nouvelles offres EBS sont intéressantes dans un contexte Kafka.

Container

• Shipyard : une surcouche à Docker Swarm et une IMH Web pour gérer vos images, containers, registres, etc. Il contient aussi des modules comme une console, des stats, gestion de rôles, etc.
• Docker a annoncé la sortie de la version 1.11 avec son lot de nouveautés :
  • Une plus grande modularité de l’Engine avec la sortie de containerd ; couche intermédiaire entre l’API et les containeurs en eux même et dont le but est de les piloter.
  • Engine 1.11 : Support des VLAN, IPv6, encore plus de labels, DNS Round robin, etc.
  • Swarm 1.2 : le rescheduling est désormais stable
  • Compose 1.7 : arrivée de docker-compose up --build pour rebuilder et lancer votre stack et docker-compose exec
  • …
• Docker, container de build : un exemple documenté sur l’utilisation de docker où le container permet de “builder” une application en go et où le livrable est accessible depuis la machine hôte au final.
• Une expérience autour de clusters fédérés avec Docker Swarm ; l’idée, sous la forme d’un proof of concept est de voir s’il est possible et dans quelle mesure il est possible de faire un cluster de cluster swarm.
• Dockerbeat ou quand beats rencontre Docker. Il est dès lors possible de remonter les statistiques de votre/vos container(s) docker dans Elasticsearch afin de les indexer.
• Pour conclure, une petite astuce pour supprimer tous les conteneurs et images docker présentes sur votre poste/serveur.

Elasticsearch

• Elasticsearch chez BlaBlaCar : une vision sur l’utilisation (massive ?) d’Elasticsearch chez BlaBlaCar.
• Elassandra est un fork de Elasticsearch modifié pour tourner au-dessus d’un cluster Cassandra. L’idée est apparamment de bénéficier des capacités de recherche d’Elasticsearch en profitant de la résilience de Cassandra.

Postgres

• Postgres XL est une version distribuée et optimisée de Postgres ; tout comme CitusDB, dont on a parlé précédemment, la version 9.5r1 apporte ses nouveautés et montre la tendance des projets dérivés de Postgres de se “rebaser” sur les dernières version stables et créer leurs extensions par dessus le socle de base.
• Est-ce que Postgres 9.5 peut être votre base JSON ? ; même si la réponse est “plutôt non, ça dépend de vos besoins”, l’article a le mérite de retracer les améliorations apportées dans les versions 9.0 à 9.5.
• Superviser Postgresql ; un panorama des solutions existantes pour les différents besoins de monitoring.