CérénIT

Cette édition et les précédentes sont également disposnibles sur substack Web, Ops, IoT & Time Series pour ceux qui préfèrent les emails ou la consommation via l'app Substack

Data

• DuckDB as the new JQ : DuckDB pouvant lire des fichiers JSON, il était tentant pour certains de manipuler des fichiers JSON en SQL...

Database

• Redis Adopts Dual Source-Available Licensing | Redis - The race to replace Redis - Linux Foundation Launches Open Source Valkey Community : A compter de la version 7.4, Redis passe d'une version open source (licence BSD) à une double licence "Source Available" pour officiellement contrer les vilains méchants concurrents qui ne reversent pas à la communauté. Bizarrement, la "Common Clause" adoptée en 2018 pour les mêmes raisons n'a pas suffit. La réponse de la communauté ne s'est pas fait attendre avec la création du projet Valkey sous l'égide de la Linux Foundation. Si le passage d'un projet dans le giron d'une fondation peut rassurer ses utilisateurs et contributeurs sur la licence du projet, il n'en reste pas moins qu'il faut sécuriser les revenus de la société éditrice du projet. Cela pose aussi la question de notre attachement à l'Open Source - est-ce par philosophie ou par confort d'utilisation et la gratuité ? La fin de l'argent facile montre aussi les limites du financement des projets OSS via des VC ; certains ont fait évolué leur produit de façon plus subtile (ou pas) ou leur criticité est moindre pour ne pas provoquer une réaction comme pour Redis (Inc).
• Valkey 7.2.5 : Première version de Valkey, un Redis 7.2.4 nettoyé et avec quelques améliorations. Cela aura été rapide, mais avant de sauter le pas, il va falloir voir comment l'écosystème prend...

IA

• Ce que l'histoire du tracteur peut nous apprendre sur l'impact prévisible de l'IA : analogie entre l'adoption du tracteur et de l'IA - tant que le cout du tracteur est plus cher que les humains ou de leur quantité, le tracteur ne s'est pas développé. Dès qu'il y a eu pénurie de main d'oeuvre ou que le cout des tracteurs a baissé, son adoption s'est accélérée. En serat-t-il de même pour l'IA ?
• SXSW 2024 : face à l’IA, les entreprises en pleine gueule de bois & [Crash Tech] SXSW 2024 : surtout, don't panic ! : retour sur le festival SXSW où les réflexions autour de l'IA sont nombreuses avec un petit coup de gueule de bois.

Infrastructure as Code

• HashiCorp joins IBM to accelerate multi-cloud automation : après le changement de licence en aout 2023, il semblait assez évident qu'HashiCorp cherchait à se faire racheter. IBM est donc l'heureux élu avec une valorisation d'HashiCorp à 6.4 Milliards de dollars. Après l'arrivée des projets OpenTofu (fork de Terraform) et OpenBao (fork de Vault) sous l'égide de la Linux Foundation, on pouvait se demander comment cela allait finir pour Hashicorp. Même si IBM contribue à l'open source, on aurait pu espérer meilleure maison pour HashiCorp. IBM n'est pas forcément perçu comme une zone d'innovation. Une piste qui pourrait néanmoins être intéressante avec cette acquisition et pour réconcilier la communauté, c'est que HashiCorp soit rattaché à Red Hat dans une division "Cloud & Automatisation / DevSecOps" au coté de projets comme Ansible par ex.

Sécurité

• backdoor in upstream xz/liblzma leading to ssh server compromise - Une backdoor bien critique découverte dans xz Utils / liblzma - XZ et liblzma: Faille de sécurité volontairement introduite depuis au moins deux mois - Who in the world is Jia Tan? : Au delà d'illustrer que toute l'infrastructure moderne dépend d'un petit projet maintenu par une seule et unique personne, l'arrivée de cette backdoor dans xz via les fichiers de tests est assez édifiante et digne d'un film d'espionnage tant cette opération semble préparée.
• New HTTP/2 DoS attack can crash web servers with a single connection - HTTP/2 CONTINUATION Flood : une vulnérabilité HTTP/2 fort symathique pour vos frontaux mais aussi par ex vos cluster kubernetes

Time Series

• SenX, recognized as a leader in Time Series data management. : SenX, éditeur de la plateforme Warp 10 est (enfin) reconnu comme leader dans le monde des séries temporelles. J'ai bien fait de miser sur Warp 10 tiens !
• Trace Plugin: the WarpScript Debugger is here! : SenX sort un plugin sous lience commerciale pour débugguer votre code WarpScript (mais pas que). Testable sur la sandbox

CI/CD

• Builder simplement des images Docker avec Gitlab-CI (sans DinD) : Personnellement, j'avais migré sous Kaniko depuis un moment. Je ne savais pas que Buildah pouvait ingérer directement des Dockerfile - il me semblait qu'il fallait passer par Podman pour ça. En reprenant le changelog, il semblerait que la fonctionnalité existe depuis un moment.

Cloud

• AWS’s Egregious Egress : Réflexions de Cloudflare sur la tarification du traffic sortant chez AWS et la marge réalisée. A priori, cela ne se base pas uniquement sur des raisons objectives...
• 23 entreprises européennes de technologie du cloud forment l'Alliance industrielle européenne du cloud (EUCLIDIA) : nouvelle association en faveur du cloud européen sur la base de technologies et de sociétés europénnes.
• « Service après-vente bonjour ! » : Le futur de la French Tech ? : tribune d'acteurs français suite à la doctrine du "cloud souverain" et l'utilisation de licences américaines.

Container & Orchestration

• Kubernetes API and Feature Removals In 1.22: Here’s What You Need To Know : les habituelles dépréciéations d'API prévus pour la version 1.22 (Aout 2021)
• Kubernetes Kosmos : sCaleway lance son offre kuberentes multi-cloud et piloté par leur controle plane. En mode private beta pour le moment.

Golang

• Learning Go by examples: Introduction : Après ses explications sur Docker, Istio et Kubernetes, Aurélie Vache s'attaque à Go.
• Learning Go by examples: part 2 - Create an HTTP REST API Server in Go
• Learning Go by examples: part 3 - Create a CLI app in Go

IA

• AI Days 2020 : la playlist youtube des AI Days 2021 est disponible, avec un angle industriel qui change de d'habitude.

Monitoring

• Vector v0.15.0 release notes : de nouveaux sinks & sources, des transformations et de la visualisation. Vector s'améliore au fil des versions.

Sécurité

• Remote code execution in cdnjs of Cloudflare : cdnjs est un CDN pour des ressources en javascript. Mais que peut-il se passer en cas de faille ou de compromission de ce CDN ? C'est le propos de ce billet.

Time Series

• Covid Tracker built with Warp 10 and Discovery : un tutoriel pour apprendre plein de choses sur Discovery, la solution de dashboard as code de SenX pour Warp 10.
• Kats: a Generalizable Framework to Analyze Time Series Data in Python : j'avais évoqué Katz dans une édition précédente, voici un billet qui rentre un peu plus dans le détail des fonctionnalités disposnibles.

WireGuard

• WireGuard Site to Site Configuration : si la documentation pour une configuration itinérante ("Road Warrior") est assez bien documentée, pour du site à site, c'est plus rare. Une explication simple et efficace.
• OPNsense WireGuard VPN Site-to-Site configuration : la même chose mais appliquée à un routeur géré par OPNSense
• OPNsense WireGuard VPN for Road Warrior configuration : la version "Road Warrior" du tutoriel précédent
• WireGuard Road Warrior Setup : la documentation officielle d'OPNSense pour la version "Road Warrior"

Avant de commencer cette revue de presse, un peu d'auto-promo, vu que j'ai eu le plaisir et l'honneur de participer au numéro de rentrée (épisode 59) du BigData Hebdo.

Cloud

• Multi-Cloud Is a Trap : sujet à la mode, le multi-cloud selon l'auteur du billet est inutile/idiot et ne serait qu'une distraction/perte de temps et d'argent dans la plupart des cas ; certaines exceptions sont acceptées en fin de billet). Un point intéressant étant de dire qu'en voulant éviter le "lock-in", on se prive de profiter au maximum de la plateforme cloud et que l'on se créée du coup un coût de "lock-out".

Containers et Orchestration

• The Future of Docker Swarm : Etat des lieux et perspectives sur Swarm par un Capitaine Docker. Le projet n'est pas mort et il peut suffire dans bon nombre de cas.
• Docker Config, how to always use base image with Docker Swarm! : Depuis Docker 17.06 et dans un contexte Swarm, il est possibile d'utiliser les configs. Les configs permettent de stocker un fichier de configuration au sein du cluster swarm et de le mettre à disposition des containers. Ainsi, en cas des modifications de la configuration, plus besoin de rebuilder l'image, il suffit de mettre à jour le service pour qu'une nouvelle version du container la prenne en compte.
• Pros and Cons of running all Docker Swarm nodes as Managers? : Revue par le Docker Captain Bret Fisher des avantages/incovénients d'utiliser que des nodes de type "managers" au sein d'un cluster Swarm. Trop est déconseillé (> 5) et ensuite c'est un compromis entre la sécurité, la disponibilité et la résilience.
• Traefik 1.7 — Yet Another Slice of Awesomeness : dans les nouveautés principales : une image Docker pour windows, le support de l'authentification dans les frontends, le support d'AWS Fargate, HC2 Support et le support du challenge TLS pour Let's Encrypt (plus besoin d'avoir le port 80 ouvert). Apparemment pour la prochaine version, l'équipe de dév va prendre quelques libertés pour introduire des nouveautés - il faut donc s'attendre à quelques incompatibilités à l'avenir.

DevOps

• Ansible Tips : Reboot & Continue : Astuce utile pour gérer un reboot d'un serveur via ansible et reprendre ensuite la connexion et l'exécution du reste d'un playbook.

IA

• Finding and fixing software bugs automatically with SapFix and Sapienz : Sapienz et SapFix ne sont pas des produits SAP mais des projets Facebook. Le premier est un agent de test automatique et SapFix est une IA qui est en mesure d'identifier des correctifs pour les bugs identifiés par le premier. Le fix peut être un retour partiel ou total au code précédent mais aussi de prospoer des correctifs sur la base de modèle de code. Une fois les correctifs testés et qu'aucune régression n'est identifiée, alors le fix est proposé pour validation aux développeurs.

Ingénierie

• Software disenchantment : "That is not engineering. That’s just lazy programming. Engineering is understanding performance, structure, limits of what you build, deeply. Combining poorly written stuff with more poorly written stuff goes strictly against that. To progress, we need to understand what and why are we doing." - un plaidoyer pour de meilleures pratiques d'ingénierie partant du constat que les applications développées sont de plus en plus grosses, de moins en moins performantes pour un niveau de fonctionnalité à peine meilleur. Heureusement que les machines ont progressé pour compenser cette "obésité logicielle".

(No)SQL

• So you have a broken Cassandra SSTable file? : que faire lorsqu'une SSTable est corrmpue, c'est tout l'objet de cet article, de la plus simple et moins impactante à la plus complexe/impactante. Sans aller jusqu'à la corruption, nous avons eu un cas similaire et un nodetool scrub <keysapce> <table> a été suffisant.
• Incremental Repair Improvements in Cassandra 4 : les réparations incrémentales, déconseillées jusqu'alors par les gens de The Last Pickle, semblent devenir la solution recommandée avec la sortie prochaine de Cassandra 4.0. Les réprations complètes (full) ne seraient alors utiles que dans certains cas, car moins efficientes.
• Introducing cstar: The Spotify Cassandra orchestration tool, now open source : Spotify ouvre le code de son shell distribué pour Cassandra, sous le nom de cstar Il a pour intérêt d'être conscient de la topology du cluster et donc de pouvoir faire les commandes de façon optimisées.
• Architecture Lambda, Cassandra et synchronisation des données : après un petit rappel sur l'architecture lambda, l'article présente les différents patterns permettant de garantir qu’une donnée stockée dans Cassandra et pouvant être mise à jour de façon concurrente par un flux batch et un flux temps réel ait toujours la valeur la plus fraîche.
• Why We Built an Open Source Cassandra-Operator to Run Apache Cassandra on Kubernetes : Instaclustr propose un Operator Cassandra pour déployer plus faciment Cassandra sur Kubernetes.
• Terraform InfluxDB Module : InfluxData a annoncé un partenariat avec Hashicorp et le premier livrable est un module terraform permettant de déployer InfluxDB OSS ou Entreprise sur AWS.

(Open)Web

• Removing jQuery from GitHub.com frontend : Github raconte son adoption jusqu'au retrait de JQuery de sa base de code. Il est intéressant de voir que les standards ont permis de remplacer pas mal de fonctionnalités et il reste encore quelques polyfills.
• The Cost Of JavaScript In 2018 : l'utilisation de Javascript, en particulier sur mobile, n'est pas neutre. L'article revoit les bonnes et mauvaises pratiques.
• your web app is bloated : Etude sur la consommation de mémoire de différnts sites sous Firefox - cela va de 0.8Mo (Gmail Vintage) à 200 Mo (Google Inbox)

Python

• High-Performance in Python with Zero-Copy and the Buffer Protocol : astuce utile d'utiliser memoryview pour accélerer les accès aux données et éviter de l'usage inutile de mémoire.

Astuce du mois

J'ai cru à un bug ansible sur les surcharges de variables mais en fait non - pour des variables de même niveau (ici group_vars), l'ordre de fusion des variables est :

1. “all.yaml” est chargé en premier
2. Les autres fichiers yaml sont chargés par ordre alphabétique et s’écrase les uns les autres le cas échéant

Donc si on a :

all.yaml:

monitoring:
     datadog: false

cassandra.yaml:

monitoring:
     datadog: true

et infra.yaml:

monitoring:
     datadog: false

alors datadog est à false à la fin lorsqu’on exécute le playbook.

A l’inverse:

all.yaml

monitoring:
     datadog: false

infra.yaml:

monitoring:
     datadog: false

swarm.yaml:

monitoring:
     datadog: true

alors datadog est à true à la fin lorsqu’on exécute le playbook.

Sources :

• Variables - Variable Precedence: Where Should I Put A Variable?
• Working with Inventory - How Variables Are Merged