Exécuter un pipeline
Il y a deux façons d'exécuter un pipeline, selon le contexte :
- depuis le Studio (copie de travail) : on exécute l'état en cours d'édition, sur son runner personnel ; c'est le mode développement ;
- sur un environnement : on exécute la version déployée de la release, sur le runner de l'environnement ; c'est le mode exploitation.
Exécuter depuis le Studio
Dans l'éditeur, cliquez sur Exécuter (le bouton est désactivé tant que le DAG a des problèmes bloquants). Le panneau d'exécution se déplie en bas de l'écran.
Le runner est résolu automatiquement par la politique du projet : votre runner personnel par défaut, ou un runner verrouillé imposé par le projet d'origine (un cadenas l'indique alors). Il n'y a pas de sélecteur à manipuler ; voir Gérer les runners.
Pendant le run :
- les bricks du canvas s'animent selon leur état (en cours, succès, erreur) ;
- le bouton Exécuter devient Arrêter ;
- un clic droit sur un sous-pipeline permet de l'exécuter isolément (exécution scopée).
Pour un workflow, le bouton s'appelle Déclencher et une fenêtre propose le runner cible selon le mode configuré.
Le panneau d'exécution
Le panneau d'exécution offre quatre vues sur le run sélectionné :
| Onglet | Contenu |
|---|---|
| Logs | Les logs en temps réel, horodatés et colorés par niveau ; un clic sur une ligne met la brick en évidence sur le canvas |
| Timeline | Un step par brick, groupé par sous-pipeline, avec statut et durée (barres proportionnelles) |
| Data | Un échantillon de données par brick ayant activé « Afficher les données » (onglet Tests de la brick) ou pour la brick Aperçu |
| Historique | Les runs précédents de la session ; sélectionnez-en un pour revoir ses logs |
Une horloge affiche le temps écoulé du run en cours ; le panneau est redimensionnable en hauteur.
Statuts d'exécution
| Statut | Description |
|---|---|
| En cours | Le run tourne sur le runner |
| Succès | Terminé sans erreur |
| Avertissement | Terminé, avec des avertissements |
| Échec | Terminé en erreur |
| Arrêté | Interrompu par l'utilisateur |
Exécuter sur un environnement
Sur un projet société, on n'exécute pas le contenu en cours d'édition : on lance la release déployée d'un environnement.
L'onglet Pipelines d'un environnement : chaque pipeline avec sa version figée
et le bouton « Lancer maintenant ».
Depuis l'onglet Pipelines d'un environnement, cliquez sur Lancer maintenant : le pipeline (dans sa version figée par la release) part sur le runner de l'environnement. Deux conditions : un déploiement actif et un runner en ligne ; voir Environnements et déploiement.
Le bouton Exécuter de l'éditeur, ouvert sur un projet société, propose la même chose : choisir un environnement disposant d'une release déployée et y lancer la version déployée. L'exécution est asynchrone ; un lien renvoie vers le monitoring.
Suivre et gérer les exécutions
Toutes les exécutions (Studio et environnements) remontent dans le Monitoring :
- Suivre les exécutions : la liste filtrable (projet, pipeline, runner, origine, statut, période) avec rafraîchissement en direct ;
- Le détail d'une exécution : logs complets, timeline et métriques d'un run.
Arrêter une exécution
Depuis l'éditeur, le bouton Arrêter interrompt le run en cours sur le runner.
Un arrêt peut laisser des données partiellement écrites côté destination. Vérifiez l'état de vos données après une interruption.
Automatiser
Pour planifier ou déclencher des exécutions sans intervention manuelle, utilisez les workflows et leurs triggers (cron, webhook…) ; voir Configurer les déclencheurs.
Bonnes pratiques
- Développez en Studio sur votre runner personnel ; ne testez jamais directement en production ;
- utilisez l'option Afficher les données (ou la brick Aperçu) sur les bricks clés pour contrôler les résultats intermédiaires dans l'onglet Data ;
- surveillez les premières exécutions d'un pipeline déployé dans le Monitoring ;
- pour être alerté en cas de problème, ajoutez une brick Alerte ou Assertion au pipeline.