Data-Engineering

01/09/2020

DataTask

Contexte Editeur d’une plateforme data, la société cherche à se faire accompagner et confier le role de Lead Platform à une personne en mesure d’industrialier et d’automatiser la plateforme, son déploiement et son exploitation mais aussi d’améliorer les pratiques de développement de l’équipe. Une contribution directe au produit est également envisagé. Notre réponse En tant que Lead Platform : Passage d’un logique “Build/Ship” à une logique “Build/Ship/Run” Mise en place de Gitlab et Gitlab-CI pour le suivi du code et l’automatisation des tâches, Migration des outils de déploiement sous Terraform et Ansile en fonction des cas, Mise à jour des composants de la plateforme et de l’outillage autour de la plateforme, Amélioration des pratiques de développement et recette : amélioration du process de revue de code et de validation d’un développement, mise en place des “Architectural Design Review” pour cadrer les initiatives, etc. Amélioration des pratiques de monitoring et d’exploitation des plateformes POC Nomad/Consul/Terraform comme alternative à Kubernetes pour des déploiements plus légers, Déploiement du logiciel chez différents cloud proviers (GCP, AWS, Scaleway, etc) Etc. Bénéfices pour l’éditeur Expertise sur les pratiques d’automatisation et d’industrialisation des process de développement et de déploiement Réduction de la dette technique et remise au carré des outils et des plateformes Adoption des outils considérés comme à l’état de l’art Fiabilisation des processus de développement et de déploiement Bénéfices pour CérénIT Premier projet professionel en Go Premer POC avec Nomad, Consul et Vault Travail sur la transimission des pratiques et de la culture de l’automatisation & industrialisation

développement conteneurisation automatisation industrialisation data-engineering
20/03/2017

Affini Tech

Contexte Affini-Tech est une société d’ingénierie “Big Data” dont l’objectif est d’accompagner ses clients dans la prise en main et l’exploitation de leurs données. Elle souhaite faire évoluer son site web et développer un framework de traitement de données (pipelines) pour permettre à ses clients de manipuler plus facilement leurs données. Notre réponse Site Web : Analyse critique du site Affini-Tech.com et du blog et recommendation du CMS Statique Lektor Développement logiciel : sur la base d’un POC existant et de chaines de traitement de données mis en place pour des clients sur Google Cloud Platform, développement d’une première version d’un framework de traitement de données (pipeline) permettant de manipuler simplement des données via des tâches génériques (exécution d’une requête SQL, chargement de fichiers dans une base, etc) ou des tâches spécifiques (code python & fonction simplifiées). Bénéfices client Site Web : capitalisation sur plus de 10 ans d’expériences pour fournir une réponse adaptée aux besoins exprimés Développement logiciel : capitalisation sur une expertise technique (python, docker) permettant d’obtenir une première version d’un framework générique permettant de déployer des chaines de traitement de données."

développement data-engineering

Besoin d'un C(P)TO / Architecte « hands-on » ?

On orchestre, on conçoit — et on code aussi. Parlons de votre plateforme, vos données ou votre projet IoT.

Contactez-nous