Data

• Field Notes, Early Fall 2024 Edition : billet résumant l’état de la data et de l’IA par Joe Reis autour de la hype IA Générative, le futur et les turpitudes d’OpenAI, la hype du moment et le décalage entre le marketing de la hype et la réalité de la pratique et des déploiements.

Database

• PostgreSQL 17 : comme chaque année vers fin septembre, la sortie de la nouvelle version majeure de PostgreSQL. Pour être dans une version supportée, il vous faut donc utiliser une version 13+ de PostgreSQL. On notera des améliorations notamment sur la partie SQL/JSON, la réplication, les process de VACUUM.

Produit

• Why You Need Product Engineers : Un “Product Engineer”, c’est un “Software Engineer” qui prend en compte l’UX client lorsqu’il code. Il ne se limite pas à l’implémentation technique.
• La révolution industrielle du service client : leçons de la tech : Pour une entreprise industrielle, la vente s’arrête souvent à l’acte de vente du produit fabriqué alors que les sociétés tech (notamment avec le SaaS), ont compris que l’acte de vente n’était pas la fin mais le commencement de la relation et qu’il était important d’accompagner le client. Evolution nécessaire de faire émerger un département de l’expérience client (ou customer success management) qui couvre tout le cycle de la vente (avant-vente, vente, après-vente + marketing + communication) ; on pourrait même aller jusqu’à mettre le département qualité sous la houlette de cette nouvelle direction…

Ops

• Traefik Proxy v3.2 - A Munster Release : Sortie de la version 3.2 du reverse proxy Traefik avec des améliorations coté gestion des certificats (Configuration Let’s Encrypt, CA personnalisés, etc), des améliorations de performance avec Fast Proxy pour les connections HTTP/1, le support de la Kubernetes Gateway API v1.2, le support IPv6 des midlewares, le support d’OpenTelemetry, etc.

Python

• Hypermodern Python : Même si ruff a remplacé les flake8/black/isort/..., cela reste un bon recueil de bonnes pratiques pour adopter une architecture moderne d’un projet python.
• Stop making your python projects like it was 15 years ago… : dans la même veine que le point précédent pour améliorer l’UX de vos projets python.

Sécurité

• NIST proposes barring some of the most nonsensical password rules : les recommendations de mot de passe du NIST ont été mises à jour pour être plus modernes et pragmatiques avec un assouplissement sur les règles de complexité de mot de passe (et qui terminent sur un post-it sur l’écran quand on n’a pas de gestionnaire de mot de passe) et sur la fréquence de renouvellement des mots de passe (on peut ne pas renouveller sauf suspicion de compromission du mot de passe)

Web

• Is the .io top level domain headed for extinction? et Noms de domaine : le .io pourrait-il vraiment disparaître ? - Next : L’extension .io pourrait disparaitre en tant qu’extension de pays (“Country Code Top Level Domain”) du fait de décisions géopolitiques récentes. Néanmoins ce process pourrait prendre quelques années et il se pourrait aussi que le .io soit repris par l’ICANN comme une extension générique. Intéressant de connaitres les tenants et aboutissants d’une extension de domaine.

Rendez-vous à la fin du mois prochain pour une nouvelle édition.

Des nouvelles du Paris Time Series Meetup : l’éditions 6 sur TimescaleDB et l’édition 7 sur QuestDB

CI/CD

• 3 YAML tips for better pipelines : la troisième est certainement la plus intéressante - il est possible d’avoir des mécanismes de “composabilité” / “héritage” avec YAML et Gitlab. Si les include et extends sont déjà sympathiques, les anchors ont l’air de faire des choses intéressantes aussi !

Code

• What’s New In Python 3.9 et un thread twitter qui donne des exemples des principales nouveautés : au programme nouvelle syntaxe pour la fuston des dictionnaires, des méthides pour supprimer des suffixes/préfixes sur les strings, du typage et plein d’autres améliorations et corrections.
• Fortunately, I don’t squash my commits : s’il peut être tentant sur une MR/PR de faire un squash des commits, l’article vous confortera dans l’idée que ce n’est pas une bonne idée. En écrasant l’historique des commits, on y perd sur nos capacités de debug. Par ailleurs, il est conseillé de faire des petits commits pour capturer un ensemble de changements traduisant un moment précis du développement.

Container et orchestration

• Kubernetes Ingress Goes GA : l’apparition de IngressClassName dans k8s 1.19 va plus loin qu’un simple renommage de champ comme je l’avais compris initialement. C’est une vraie ressource et cela ouvre aussi des possibilités. Avant de l’utiliser, vérifiez aussi que vos ingress controller le supporte (en plus d’attendre d’être en 1.19)
• Houston, we have Plugins! Traefik 2.3 Announcement : la version 2.3 dont on a déjà parlé ici, est arrivé en version stable avec son support des plugins, son intégration avec Traefik Pilot, le support d’Amazone ECS et le support de la ressource IngressClassName. Au passage, Containous, la société éditrice de Traefik s’appelle maintenant Traefik Labs.
• Introducing Traefik Pilot 1.0: the Traefik Control Center : Version 1.0 de ce nouveau “Control Plane” de Traefik qui permet d’avoir une vision globale sur ses instances traefik, d’utiliser les plugins et d’avoir un monitoring et des alertes autour de la disponibilité, des performances et de la sécurité.
• Rootless mode : A voir si cela pourra être inclus dans la version 1.20 mais le rootless mode est clairement une tendance de fond dans kubernetes et les conteneurs en général. Si vous ne vous y êtes pas déjà mis, ne tardez pas !
• Announcing Traefik Mesh 1.4 - New Name, New Features : nouvelle version du service mesh par Traefik Labs et qui s’appelle maintenant Traefik Mesh (et non uniquement Maesh). Le reste des améliorations semble porter sur le filtrage des headers et des paths.
• yq : A command line tool that will help you handle your YAML resources better : vous voulez faire des opératoins sur des fichiers YAML sans faire un chart helm ou sortir kustomize, vous pouvez faire des choses minimalistes avec yq (le pendant yaml de jq).
• Bridge to Kubernetes GA, “bridge to kubernetes” est une extension pour vscode permettant de connecter une application tournant en local avec d’autres applications situées dans un ckuster kubernetes et faciliter ainsi l’expérience des développeurs.

Culture DevOps

• La culture de la résilience à travers le DevOps, DevPO, et DevQA : article intéressant de Paul Leclerq sur la résilience et la collaboration au sein d’une équipe.

Data

• How to Measure Your Organization’s Data Maturity : les différents stade de maturité de votre organisation concernant la gestion et l’exploitation des données.
• Announcing MQTT-on-Pulsar: Bringing Native MQTT Protocol Support to Apache Pulsar: Apache Pulsar, la plateforme de message distribué et de streaming, se dote d’un plugin “MQTT On Pulsar” (MoP) permettant ainsi de migrer vos applications MQTT sur Apache Pulsar. Après le plugin Kafka (KoP) il y a quelques mois en partenariat avec OVHCloud, Pulsar ajoute une corde à son arc pour devenir la plateforme universelle. Le protocole AMQP est déjà aussi supporté depuis plusieurs mois.
• Building An Event-Driven Orchestration Engine : retour d’expérience sur les raisons de la migration à Apache Pulsar e la simplificaiton apportée en ayant une platforme riche et complète (streaming + queue + fonctions + data tiering sur S3 + …)

Hardware

• NVidia’s Planned Acquisition of Arm Portends Radical Data Center Changes : une analyse assez en profondeur sur le rachat d’arm par nvidia et les autres acteurs du marché comme AMD.

IaC

• Announcing HashiCorp Terraform 0.14 Beta: la capacité à marquer des variables comme sensibles pour éviter que leur valeur soit visible dans les logs/diff/…, un diff plus concis, un lock sur les providers et des binaires disponibles pour arm64.

Monitoring

• Long-term store for Prometheus, with the combined power of SQL and PromQL : Timescale s’ajoute à la liste des solutions permettant un stockage long terme à vos données Prometheus. En plus de ce stockage long terme, elle fournit une couche d’analytics. Un connecteur récupère les données dans Prometheus et les injecte dans TimescaleDB. On en parle dans l’édition 6 du PTSM.

Pratique

• endoflife.date : recense les dates de fin de support de vos langages et technologies préférées. Tout n’est pas complètement à jour mais cela permet de récupérer rapidement les informations.

SQL

• Exciting and New Features in MariaDB 10.5 : évoqué au mois d’aout, le support de S3 dans MariaDB est disponible en version GA dans la version 10.5. D’autres améliorations existent comme le support du type INET6, des améliorations sur ColumnStore, la gestion des privilèges, le cluster Galera supporte complètement le GTID, du refactoring au niveau d’InnoDB et enfin les binaires mariadb vont enfin s’appeler mariadb et non plus mysql (avec une couche de compatibilité via des liens symboliques)

Time Series

• Introducing FLoWS, a functional language for Time Series Analytics : FLoWS est arrivé - il vous faudra utiliser une version 2.7.1+ de Warp10 pour profiter de cette approche fonctionnelle en alternative à Warpscript.
• How can you tell which Time Series Database is suited to your needs? : un petit rappel sur les critères à prendre en compte pour choisir une base de données séries temporelles ; j’avais déjà parlé du guide de Senx sur le sujet - il est disponible en fin de billet.
• InfluxDB 2.0 Release Candidate Now Available : la première Relese Candidate (RC0) pour InfluxDB 2.0 OSS avec le retour du moteur de stockage de la V1 - qui contrairement à ce que j’ai pu dire le mois dernier ne concernerait que la façon dont les données sont stockées sur disque et pas le reste d’une part et sera maintenu et amélioré par Influxdata d’autre part. Quelques changements sur le port (retour au port 8086). Pour ceux qui étaient en version alpha/beta, il faudra suivre une procédure de migration. La migration depuis une version 1.x n’est pas encore disponible, cela devrait être dans une prochaine RC. Vous pourrez tester néanmoins les API 1.x, les templates, une version récente de Flux ou encore les améliorations de la CLI.
• Release Announcement: InfluxDB 2.0.0 RC 1 : cette version apporte essentiellement l’upgrade des données 1.x vers 2.x et une mise à jour de Flux.
• Store and Access Time Series Data at Any Scale with Amazon Timestream – Now Generally Available - Getting Started with Amazon Timestream - AWS Releases Amazon Timestream into General Availability : AWS sort enfin son produit orienté time series après l’avoir annoncé il y a deux ans.

Sur la base des informations disponibles pour le moment :

• vous définissez une période de rétention en mémoire (entre 1h et 1 an) et une période de rétention sur stockage magnétique (1 jour à 200 ans),
• le requêtage des données se fait en SQL (via Presto ?),
• les données à requêter communément sont à mettre dans la même table,
• le join est limité à la même table,
• des mesures simples (pas de multi mesures pour un même enregistrement),
• une intégration avec l’écosystème comme telegraf, grafana, etc en plus de l’intégration avec différents composants AWS

Pour les moins bons côtés :

• pas d’UPDATE/DELETE sur vos données ; en cas de doublons, c’est le premier arrivé qui gagne
• pas de bulk import de vos données, donc pas de reprise de vos données existantes. En effet, il n’est pas possible d’ingérer des données plus vieille que la période en mémoire,
• dans la même veine, si un incident de production dépasse votre période de rétention, vous ne pourrez pas réinjecter vos données
• il ne semble pas possible de mettre à jour ses durées de rétention - donc pas de ménage possible ou d’ajustements en cours de route

Une solution a priori très orienté pour du monitoring et qui semble souffir des mêmes travers qu’InfluxDB avec InfluxQL et pourtant en passe d’être résolus avec Flux.

On devrait en parler plus en détail dans une prochaine édition du Paris Time Series Meetup avec des personnes de chez AWS ;-)

Work

• Virtual First Toolkit : toolkit proposé par Dropbox dans le cadre de leur passage non pas à Remote first mais à virtual first.

Contexte

Editeur d’une plateforme data, la société cherche à se faire accompagner et confier le role de Lead Platform à une personne en mesure d’industrialier et d’automatiser la plateforme, son déploiement et son exploitation mais aussi d’améliorer les pratiques de développement de l’équipe. Une contribution directe au produit est également envisagé.

Notre réponse

En tant que Lead Platform :

• Passage d’un logique “Build/Ship” à une logique “Build/Ship/Run”
• Mise en place de Gitlab et Gitlab-CI pour le suivi du code et l’automatisation des tâches,
• Migration des outils de déploiement sous Terraform et Ansile en fonction des cas,
• Mise à jour des composants de la plateforme et de l’outillage autour de la plateforme,
• Amélioration des pratiques de développement et recette : amélioration du process de revue de code et de validation d’un développement, mise en place des “Architectural Design Review” pour cadrer les initiatives, etc.
• Amélioration des pratiques de monitoring et d’exploitation des plateformes
• POC Nomad/Consul/Terraform comme alternative à Kubernetes pour des déploiements plus légers,
• Déploiement du logiciel chez différents cloud proviers (GCP, AWS, Scaleway, etc)
• Etc.

Bénéfices pour l’éditeur

• Expertise sur les pratiques d’automatisation et d’industrialisation des process de développement et de déploiement
• Réduction de la dette technique et remise au carré des outils et des plateformes
• Adoption des outils considérés comme à l’état de l’art
• Fiabilisation des processus de développement et de déploiement

Bénéfices pour CérénIT

• Premier projet professionel en Go
• Premer POC avec Nomad, Consul et Vault
• Travail sur la transimission des pratiques et de la culture de l’automatisation & industrialisation