Oui, Pine59 a réduit de près de 32 % la durée de son pipeline Daily Foot Traffic après sa migration vers Managed Airflow (Gen 3) sur Google Cloud. Cette évolution a aussi renforcé l’orchestration du machine learning et amélioré les outils des développeurs. Voici les choix qui ont rendu ce gain possible.
Pourquoi Pine59 a-t-elle migré vers Airflow 3 ?
Pine59 a migré vers Apache Airflow 3 après avoir évalué ses charges de production sur Managed Airflow (Gen 3). Les essais ont montré des améliorations de la vitesse de traitement, de la planification des tâches et de la stabilité. Ces résultats ont motivé une migration complète vers Airflow 3 sur Google Cloud.
Cette décision s’inscrit dans une modernisation devenue nécessaire avec la croissance de l’activité. Pine59 devait gérer des centaines de DAG, c’est-à-dire des graphes qui décrivent les tâches d’un pipeline et leurs dépendances. À cette échelle, la capacité à planifier et exécuter les tâches de façon fiable devient un enjeu opérationnel direct.
L’évaluation a porté sur les charges de production de Pine59, plutôt que sur des scénarios théoriques. Les résultats observés ont ensuite servi de base à la décision. C’est un point important : la migration n’est pas présentée comme une adoption par principe d’une nouvelle version, mais comme une réponse à des gains constatés sur les traitements de l’entreprise.
La modernisation a abouti au remplacement complet de l’environnement précédent par Apache Airflow 3 sur Google Cloud. Les améliorations rapportées concernent trois dimensions utiles à l’exploitation quotidienne : le temps de traitement, la planification des tâches et la stabilité. Elles répondent aux besoins d’une activité en croissance et d’un parc de DAG conséquent, sans qu’il soit nécessaire d’attribuer à la migration des critères ou des étapes qui n’ont pas été précisés.
Ce choix d’orchestration s’insère dans un chantier plus large : structurer des pipelines de données et de machine learning capables de passer de l’expérimentation à la production. La suite logique consiste à examiner l’architecture MLOps de Pine59, et la manière dont Airflow s’y intègre.
Comment Pine59 orchestre-t-elle le machine learning ?
Pine59 a séparé l’orchestration des pipelines de l’exécution intensive des modèles. Airflow coordonne les traitements et s’intègre à un cluster Google Kubernetes Engine dédié à l’inférence. Les charges de machine learning sont ainsi exécutées dans un environnement distinct de celui qui pilote les étapes du pipeline.
Cette séparation distingue deux responsabilités. Airflow organise le déroulement des pipelines et leur traitement des données. Le cluster GKE prend en charge l’inférence, c’est-à-dire l’exécution des modèles sur les données pour produire des résultats. L’intégration entre les deux permet aux pipelines d’inclure ces traitements sans confondre leur orchestration avec l’exécution des modèles.
Le choix répond à une contrainte concrète : les traitements de données et les charges de machine learning n’ont pas le même rôle dans l’architecture. Les dissocier permet à Pine59 de les traiter dans des environnements adaptés à leurs fonctions, sans attribuer au cluster des capacités ou des mécanismes qui ne sont pas documentés. Les détails disponibles ne permettent pas non plus de mesurer un gain de vitesse précis lié à cette organisation.
Cette architecture s’inscrit dans la modernisation de l’orchestration : Airflow coordonne les pipelines, tandis que l’inférence s’exécute sur une infrastructure dédiée. Le changement porte donc sur la façon de répartir et d’intégrer les responsabilités, pas seulement sur le choix d’un outil. Reste à voir ce que cette évolution change au quotidien pour les équipes : c’est là que l’expérience développeur entre en jeu.
Quels outils Airflow 3 Pine59 a-t-elle créés ?
Pine59 a utilisé les possibilités d’extension d’Airflow 3 pour créer des outils adaptés à ses usages. Les trois améliorations documentées agissent sur le suivi des pipelines et le travail des développeurs, plutôt que sur la vitesse d’exécution du moteur lui-même.
- Des liens vers les tables BigQuery. Un plugin transforme les références aux tables BigQuery présentes dans les journaux et les onglets XCom en liens directs. XCom est le mécanisme d’Airflow qui permet aux tâches d’échanger des données. Les équipes peuvent ouvrir la table concernée depuis le contexte d’une exécution, sans rechercher manuellement sa référence dans BigQuery.
- Une recherche des exécutions selon leur configuration. Un formulaire permet de retrouver des exécutions de DAG — les workflows Airflow — à partir de leur configuration. C’est utile pour isoler les exécutions correspondant à des paramètres précis, comparer des cas et diagnostiquer un comportement sans parcourir les exécutions une par une.
- Une couche de compatibilité pour les opérateurs. Elle facilite la migration des opérateurs entre versions d’Airflow. Un opérateur est un composant qui définit une action exécutée par une tâche. Cette couche réduit les adaptations nécessaires lorsque les équipes font évoluer leur environnement Airflow.
Ces outils réduisent des frictions concrètes : retrouver les données associées à une exécution, filtrer les cas pertinents et limiter le travail de migration. Ils rendent le suivi plus direct et libèrent du temps côté développement. C’est un gain opérationnel crédible pour la maintenance et le diagnostic des pipelines, mais ces améliorations ne suffisent pas, à elles seules, à démontrer une accélération mesurable de leur temps d’exécution.
Quels gains Pine59 a-t-elle obtenus ?
Le pipeline Daily Foot Traffic est passé d’environ 38 minutes à moins de 26 minutes, soit une réduction proche de 32 %. Il traite jusqu’à 14 millions d’emplacements. Pine59 rapporte ce gain sur ce pipeline précis ; il ne permet pas de conclure que tous ses pipelines ont été accélérés dans les mêmes proportions.
Mesures rapportées. La durée d’exécution est passée d’environ 38 à moins de 26 minutes. Pine59 indique aussi que toutes ses charges de production tournent désormais sur Managed Airflow (Gen 3), le service géré d’Apache Airflow proposé par Google Cloud.
Explication du gain. Pine59 associe l’amélioration à deux facteurs : les tâches en file d’attente démarrent désormais presque immédiatement, ce qui réduit leur latence avant exécution, et les DAG ont été optimisés. Un DAG, ou graphe orienté acyclique, décrit les tâches d’un pipeline et leurs dépendances. Les informations disponibles ne chiffrent pas la contribution respective de ces deux facteurs.
Le résultat documenté concerne donc un pipeline et une durée d’exécution. Il ne suffit pas à déduire un effet sur les coûts, la disponibilité ou les performances d’autres pipelines. Ce sont des indicateurs distincts, qui nécessiteraient des mesures dédiées.
| Élément | Résultat rapporté |
| Pipeline mesuré | Daily Foot Traffic, jusqu’à 14 millions d’emplacements traités. |
| Durée d’exécution | D’environ 38 minutes à moins de 26 minutes, soit une réduction proche de 32 %. |
| Facteurs associés | Démarrage presque immédiat des tâches en attente et optimisations des DAG. Leur part respective n’est pas précisée. |
| Environnement de production | Toutes les charges de production de Pine59 tournent sur Managed Airflow (Gen 3). |
Que retenir de la migration de Pine59 ?
Pine59 a fait évoluer l’orchestration de centaines de DAG en migrant ses charges de production vers Managed Airflow (Gen 3) et Apache Airflow 3 sur Google Cloud. La démarche combine une évaluation sur les charges réelles, la séparation de l’orchestration et de l’inférence sur un cluster GKE dédié, puis des extensions adaptées au travail des développeurs. Le résultat le plus mesurable concerne Daily Foot Traffic : jusqu’à 14 millions d’emplacements traités en moins de 26 minutes, contre environ 38 auparavant. Pour vous, l’intérêt est concret : identifier les leviers d’architecture et d’optimisation qui réduisent la durée des pipelines sans dissocier performance et expérience développeur.
FAQ
-
Pourquoi Pine59 est-elle passée à Airflow 3 ?
Les essais sur ses charges de production ont montré des améliorations de vitesse de traitement, de planification des tâches et de stabilité. Pine59 a ensuite migré ses charges vers Managed Airflow (Gen 3). -
Quel gain le pipeline Daily Foot Traffic a-t-il réalisé ?
Sa durée est passée d’environ 38 minutes à moins de 26 minutes, soit une réduction proche de 32 %. Le pipeline traite jusqu’à 14 millions d’emplacements. -
Comment Pine59 exécute-t-elle l’inférence des modèles ?
Pine59 a séparé l’orchestration de l’exécution intensive des modèles, avec un cluster Google Kubernetes Engine dédié à l’inférence et intégré aux pipelines. -
Quels outils Pine59 a-t-elle ajoutés à Airflow ?
L’équipe a créé un plugin qui rend les références BigQuery cliquables dans les journaux et les onglets XCom, un formulaire de recherche des exécutions de DAG et une couche de compatibilité pour les opérateurs. -
Quelles charges de production utilisent Managed Airflow (Gen 3) ?
Toutes les charges de production de Pine59 sont désormais exécutées sur Managed Airflow (Gen 3) sur Google Cloud.
A propos de l’auteur
Je suis Franck Scandolera, expert en data engineering. J’accompagne les équipes sur l’orchestration des pipelines, la fiabilité des traitements et l’intégration des workloads de machine learning dans des architectures data opérationnelles.
Dev d’applications métier · Data Engineer · Automatisation IA
Clients : Logis Hôtels, Yelloh Village, BazarChic, FFF, Texdecor…
- Apps & agents IA : Node.js, Python, API, RAG, OpenAI, Mistral, Claude
- Data & Analytics Engineering : GCP, BigQuery, Snowflake, PostgreSQL, ClickHouse, dbt, Airflow, Dataform, Looker, Power BI, Metabase
- Automatisation IA : n8n, Apps Script, scraping, API, LLM
- Tracking & perf Web : GA4, GTM server, Matomo, Piano, Tealium, CAPI, Core Web Vitals