CérénIT

Cette édition et les précédentes sont également disponibles sur substack Web, Ops, IoT & Time Series pour ceux qui préfèrent les emails ou la consommation via l’app Substack

Général

• Stack Overflow Survey: 80% of developers are unhappy : Les raisons de la frustration seraient techniques (dette technique, complexité de la stack technique), organisationnels (réunions, planning, pression) ou plus globaux comme les licenciements massifs dans la tech.

IoT

• Why has the Internet of Things failed? : Moins de 50% des objets IoT seraint effectivement connectés. 3 barrières principales : la configuration intiale, l’(in)utilité de l’objet en lui-même et l’énergie (alimentation et communication). Sans utilitée avérée de l’objet, il ne sert à rien d’optimiser les deux autres. Si on a l’utilité, alors il faut trouver les meilleurs compromis pour avoir une bonne UX de configuraiton initiale et une gestion énergétique du device. Peut être juste la fin de la cycle de hype pour l’IoT et en route vers la maturité ?

Ops

• PyIfra 3.0 & 3.1 : pyinfra se veut une alternative à Ansible. Si pyinfra ne dispose pas (encore) d’un nombre équivalent de modules à celui d’Ansible, il se distingue d’Ansible par le fait que les tâches ne sont pas décrites au format YAML mais sont du code Python. La version 3.0 résoud principalement les limitations de PyInfra 2.x sur son mode d’exécution en deux étapes (préparation puis exécution). A tester et à surveiller à défaut de pouvoir complètement remplacer des playbooks Ansible pour le moment…

Python

• pylyzer : vous aimiez Ruff sur la partie linter, alors vous pourriez aimer pylyser sur la partie typage. Le projet est encore jeune et incomplet mais semble prometteur. Une extension VSCode est d’ailleurs disponible.
• uv: Unified Python packaging : l’équipe Astral, celle derrière ruff semble bien avancer sur leur gestionnaire de packages pour python (mais codé en rust). Si la version précédente se concentrait sur le remplacement de pip, cette version va plus loin et vise poetry ou pdm voir pyenv en allant jusqu’à l’instalation de python en lui-même. En plus des apports fonctionnels, les performances semblent aussi être au rendez-vous. Peut-être encore un peu tôt pour migrer vos projets dessus mais définitivement à surveiller.

Sécurité

• The End of Role-based Security and the Rise of Attribute-based Security : le modèle des rôles est vite imparfait - un modèle basé sur les attributs serait plus flexible et adapté ?

Rendez-vous à la fin du mois prochain pour une nouvelle édiiton.

Cette édition et les précédentes sont également disponibles sur substack Web, Ops, IoT & Time Series pour ceux qui préfèrent les emails ou la consommation via l’app Substack

API

• Your API Shouldn’t Redirect HTTP to HTTPS : La redirection http > https est souvent vu comme un confort et une bonne pratique - mais finalement peut être pas tant que ça ?

Data

• Parquet & AI = 🙅‍♂️⛔️? : Rappel de ce qu’est le format parquet, ses limites et les nouveaux formats en cours d’élaboration (Lance & Nimble) pour les workloads IA (mais pas que ?)
• pg_lakehouse via Musings on Data Lakes and Kafka Connect: une extension Postgres pour manipuler vos fichiers Parquet/CSV/JSON/Avro stockés dans vos espaces de stockage objets (S3, etc)
• Announcing DuckDB 1.0.0 : Rien de nouveau hormis une étape importante du projet.
• Command Line Data Processing: Using DuckDB as a Unix Tool : Pas envie de faire du awk/sed/grep/…, alors faites le en duckdb 😏
• When and Why to Automate: A Data Engineer’s Perspective & Debugging Data Pipelines : hasard de publication mais une continuité logique : vous avez le quand, pourquoi et comment automatiser une tâche (data pipeline).

IoT

• Raspberry Pi AI Kit available now at $70 - Même le Raspberry Pi 5 succombe à l’IA… - Sortie d’un Kit Raspberry Pi AI à base de M2 HAT et de l’accélérateur AI Hailo 8L : Même le RPI se met à l’IA
• News from LoRaWAN Live Munich : Globalement, les déploiements s’intensifient et pour un usage princiapelemnt autour des mesures. Les fabricants comme STM ou Semtech proposent des cartes plus complètes et intégrées (SoC). Il y a des devices qui émergent pour des petits déploiements.

Python

• SqlAlchemy 1.4 async ORM with FastAPI : en 2022, nous avions utilisé cet article comme base pour les projets FastAPI. Il couvrait de bout en bout ce que l’on attendait : SQLAlechmy, Alembic (migrations), Async et Tests. Le petit plus est sur le pattern du Repository, fort utile pour avoir une abstraction au dessus de la base de données.
• Fast API — Repository Pattern and Service Layer : une version plus récente, rajoutant le concept de Service en plus de celui du Repository.
• FastCRUD : Un meta-package qui vous embarque tout pour générer dynamiquement vos endpoints d’API sur la base de vos modèles de données.
• FastHX, fastapi-htmx & Using HTMX with FastAPI : pour ceux qui veulent faire du FastAPI et du HTMX
• FastUI : un projet de l’équipe de Pydantic pour générer des interfaces web à partir de votre code Python.
• Summary of Major Changes Between Python Versions : Liste des principales évolutions et principaux apports d’une version majeure de Pytohn à une autre.
• Adopt-Ruff : un outil pour trouver les règles Ruff que votre projet ne respecte pas encore en vue de pouvoir les ajouer au fur et à mesure.
• Introduction to Polars : tout est dans le titre, une introduction à Polars.

Ops

• Caddy 2.8.x (dernière version: 2.8.4 : quelques fonctionnalités supplémentaires au niveau de HTTP/3 ou des certificats, mais surtout un gros travail de nettoyage et de rationnalisation de code (dépendances dépréciées / non maintenues, etc).
• Le projet Caddy-Docker-Proxy passe en version version 2.9.x en intégrant Caddy 2.8.

Time Series

• Announcing the Private Beta of SenX SaaS Platform : SenX lance son offre SaaS pour la suite Warp10 (Warp 10, Discovery,etc) et des fonctionnalités dédiées/avancées/améliorées des produits existants.

Web

• Queueing - An interactive study of queueing strategies : intéressant tant sur le fond que la forme sur la gestion des queues dans des requêtes HTTP et les différentes stratégies pouvant être mises en place.

Cette édition et les précédentes sont également disponibles sur substack Web, Ops, IoT & Time Series pour ceux qui préfèrent les emails ou la consommation via l’app Substack

Code

• One Billion Rows Challenge in Golang : une version très détaillée des optimisations apportées pour réussir le défi du moment du “One Billion Row Challenge” en Go. Certaines sont évidentes, d’autres sont plus surprenantes ou moins évidentes.
• Modern Git Commands and Features You Should Be Using : bon, git switch, je l’avais déjà. Pour les autres…

Database

• Psycopg2 vs Psycopg3 Performance Benchmark : Passez à Psycopg3(+async) dans la plupart des cas. Et si ça vous suffit pas, asyncpg se disait globalement 5 fois plus rapide que psycopg3 en juin 2023.
• Ingester : un outil en CLI pour copier vos données d’une base vers une autre.

IA

• Mistral dans le giron de Microsoft : le défi du rattrapage européen dans l’IA reste ouvert et L’alliance entre Mistral et Microsoft met fin à l’illusion de l’indépendance technologique européenne : mise en perspective et bon résumé sur la situation Mistral / Europe / Microsoft - on en parle d’ailleurs avec Vincent dans l’épisode du BigDataHebdo : Episode 186 : plus jQuery que Terraform
• 25 recommandations pour l’IA en France.

Metadata

• DataContracts et DataContract CLI : si le sujet du DataContract m’a plutôt fait pensé à l’architecte d’entreprise qui urbanie son système d’information, en regardant de plus près, je me dis que dans le cadre d’un usage d’API, en complément du modèle fourni par OpenAPI/Swagger, cela pourrait donner une profondeur d’analyse aux API.

Organisation

• Context-switching - one of the worst productivity killers in the engineering industry : gestion du temps et des interruptions en tant que développeur / manager / manager de managers.
• Simplifying as much as possible is the way to go in the engineering industry : rendez-vous service et cherchez toujours la solution la plus simple pour répondre à un besoin métier. Fuyez la complexité. Mais garder un code simple ou répondre simplement à un besoin n’est pas toujours chose aisée.

Outillage

• Project Discovery - Open Source Tools : le Project Discovery, communauté autour du scan de vulnérabilité met un certain nombre d’outils à disposition. Cela peut être utile à des fins offensives/défensives mais aussi pour du debug.
• No Maintenance Intended : le badge qu’il vous faut aposer à vos projets si vous n’avez aucune intention de les maintenir.

Time Series

• Warp 10 3.2 : une version corrective et l’annonce de l’arrivée prochaine du Trace Plugin. Ce plugin doit aiser le debug de votre code WarpScript. Il sera soumis à licence et évaluable sur la Sandbox.

Web

• HTTP > Headers > Connection : vous voulez que votre serveur de destination ferme à coup sur la connection après vous avoir répondu dans le cadre d’un appel HTTP/1.1 ? Alors l’entête Connection: close est fait pour vous. La connection HTTP/1.1 est par défaut en mode keep-alive. Si vous avez des reverse proxy au milieu, cela peut éviter qu’il cherche à maintenir des connections ouvertes alors que cela n’a plus lieu d’être.
• HTMX via Django REST Framework and Vue versus Django and HTMX: Pour ceux qui veulent l’interactivité de Javascript, mais sans faire du Javascript

Conteneur et Orchestration

• Docker Engine 20.10.13 : Docker compose v2 arrive dans docker : ce qui permet de faire docker compose (au lieu de l’original docker-compose coté en python)
• COPY --chmod reduced the size of my container image by 35% : pour réduire la taille de vos images, plutôt que de faire un ADD ... puis un RUN chmod ..., faites directement un ADD/COPY --chmod. Marche aussi avec --chown.
• Docker Compose > depends > condition: ready : depends_on a une syntaxe longue qui permet de définir une condition sur l’état du service dépendant : démarré (valeur par défaut de la version courte), “sain” (en fonction du résultat d’un healthcheck) ou “terminé avec succès” (si votre service dépend du résultat d’un job ou d’une tâche).

Numérique

• LCC 273 - Interview sur le darwinisme numérique avec Didier Girard - partie 1, LCC 274 - Interview le darwinisme numérique avec Didier Girard - partie 2 et LCC 275 - Interview sur le darwinisme numérique avec Didier Girard - partie 3 : interview en 3 volets de Didier Girard sur la notion de darwinisme numérique au niveau d’une nation, d’une entreprise et de l’individu.

Open Data

• adresse.data.gouv.fr : le site national des adresses dont l’objectif est de référencer l’intégralité des adresses du territoire et les rendre utilisables par tous.

Outils

• GitUI : si vous trouvez tig pas très intuitif/pratique, GitUI pourrait vous plaire. Prévu pour le terminal, il permet de se ballader facilement dans votre historique git & co. L’ outil en codé en Rust.
• igrep : un grep interactif qui permet d’ouvrir le fichier dans un éditeur et d’aller directement à la ligne contenant le motif recherché. Basé sur l’excellent ripgrep.

Python

• Awesome AGSI : liste de ressources compatibles ASGI (Asynchronous Server Gateway Interface)
• Demystifying Python’s Async and Await Keywords : une intro à async/await avec asyncio.
• Python’s zipfile: Manipulate Your ZIP Files Efficiently : le module zipfile inclus dans la librairie standard Python permet de manipuler aisément des archives Zip. La page illustre les différentes méthodes et capacités du module.
• How to Write User-friendly Command Line Interfaces in Python : si le module argparse est assez connu et peut être aussi Fire, c’est l’occasion de découvrir Click (par l’équipe derrière Flask & co et à ne pas confondre avec clikt en Kotlin), Typer (par le fondateur de FastAPI).
• Build a User-Friendly CLI from Pure Python Functions : suite de l’article précédent avec la mise en place de DynaCLI dont le but est de générer des CLI depuis des fonctions pythons “pures”.
• Pass-by-value, reference, and assignment | Pydon’t 🐍 : Python passe-t-il ses variables par valeur ? par référence ou par assignement ?
• (Dajngo) Classy Class-Based Views : une représentation détaillée des méthodes, attributs et propriétés des “Class based views” de Django
• Fugue and DuckDB: Fast SQL Code in Python : Fugue permet de combiner du SQL et du code Python et DuckDB permet de faire tourner une base OLAP. De quoi accélérer le traitement de vos données en python ?

RGPD & Privacy Shield

• “Privacy Shield 2.0”? - First Reaction by Max Schrems : La Commission Européenne et les USA ont annoncé une nouvelle version du Privacy Shield. Max Schrems est sceptique pour le moment…
• Google Analytics 4 (GA4) vs Universal Analytics (UA) : Matomo se livre à un comparatif et une analyse (forcément un peu biaisés) de Google Analytics 4 vs Universal Analytics. Dans tous les cas, la conclusion est de prendre une solution qui répond à vos critères et respectent les règles du jeu (GDPR, etc).

IDE

• Gitpod à la place d’Intellij ou de VSCode ? : Si l’IDE dans le cloud vous intéresse, cet article est assez détaillé sur sa mise en place et sa personnalisation.

IoT

• Use MQTT with the Wio Terminal and TinyGo : TinyGo est une version de Go à destination des micro-controlleurs. Le billet d’écrit comment s’abonner à un topic MQTT et afficher un message sur le Wio Terminal.
• openHAB 3.2 Release : cette version apporte notamment des améliorations au niveau du moteur de règle avec un version Javascript, le support de Blockly ou encore d’un modèle de règle (rule template).
• stm32duino wiki : si vous envisagez de faire un projet arduino avec des cartes ST Micro Electronics STM32…
• MQTT 101 Tutorial: Introduction and Hands-on using Eclipse Mosquitto : Introduction et éventuel atelier pratique pour découvrir MQTT avec le broker Mosquitto.
• MQTT Essentials : si vous avez besoin de vous (re)mettre à niveau sur MQTT, une série de billets couvrant les différents aspects du protocole et son fonctionnement.
• MQTT5 Essentials : la suite avec un focus sur les apports de MQTT v5.

Monitoring & Observabilité

• Introducing Grafana University: our virtual hands-on education platform that’s free and easy to use : Grafana Labs ouvre les portes de son université pour se former à ses produits.

Python

• Socket Programming in Python (Guide) : Pour tout savoir sur les sockets en Python.

Réseau

• Introducing ‘innernet’ : innernet est un gestionnaire de réseau basé sur WireGuard. Il permet de déclarer l’ensemble de votre réseau wireguard et de définir des politiques réseaux (VLAN, Associations, etc)

Time Series

• lmmentel /awesome-time-series : un dépot github recensant des projets / librairies / ouvrages / documentation sur les séries temporelles.
• InfluxDB FDW 1.1.1 released : InfluxDB FDW est un Foreign Data Wrapper pour Postgresql 10+ qui permet de se connecter à une source InfluxDB 1.x
• Santa asset tracking and delivery service : une démo de suivi d’actif avec Warp 10 et Discovery en prenant l’exemple de la livraison des cadeaux de Noel.

Web

• GoAccess 1.4, a detailed tutorial : en cherchant à déployer une instance AWStats pour avoir des statistiques de visites sur la base des logs du serveur web nginx, je suis tombé sur GoAccess qui semble offir les mêmes fonctionnalités et même plus tout en étant plus simple à déployer/configurer.