Configurer les bricks
Cliquer sur une brick du canvas ouvre son panneau de réglages. Ce guide en couvre les zones et les usages les plus courants.
Le panneau de réglages
Le panneau s'organise en onglets, adaptés au type de brick :
| Onglet | Contenu | Présent pour |
|---|---|---|
| Connexion | La connexion utilisée (base, stockage, API, notification) et, pour les fichiers, le format et la sélection de fichiers | Sources, destinations, bricks API |
| Entrée | Le schéma reçu de la brick amont (colonnes et types) | Transformations et destinations |
| Paramètres | La configuration propre à la brick (opérations, requête SQL, options…) | Toutes |
| Sortie | Le schéma produit : colonnes renommées, exclues, réordonnées | Sources et transformations |
| Tests | L'option Afficher les données (échantillon dans l'onglet Data de l'exécution) | Toutes |
En bas du panneau, dès qu'un réglage change, un bandeau « Modifications non sauvegardées » apparaît : cliquez sur Enregistrer pour appliquer (les changements de schéma se propagent alors aux bricks en aval, avec confirmation si des effets de bord sont détectés).
Épingler Entrée / Sortie
Un clic droit sur l'onglet Entrée ou Sortie propose Afficher en permanence : le schéma s'affiche alors en colonne latérale fixe, de part et d'autre de la configuration, pratique pour voir entrée, réglages et sortie en même temps. C'est une préférence de profil : elle vous suit d'une brick à l'autre.
Les opérations des méga-bricks
Les méga-bricks (Colonnes, Lignes, Chaînes de caractères, Dates, Valeurs, Agrégations, JSON, Qualité…) se configurent comme une liste d'opérations chaînées : chaque étape s'applique au résultat de la précédente.
Dans l'onglet Paramètres :
- Ajouter une étape : choisissez le type d'opération dans le menu ;
- configurez chaque étape dans son propre bloc ;
- réordonnez par glisser-déposer (ou flèches), supprimez au besoin.
Quelques exemples d'opérations disponibles :
| Méga-brick | Opérations |
|---|---|
| Colonnes | renommer, supprimer, ajouter, réordonner, caster les types |
| Lignes | filtrer, trier, dédupliquer, échantillonner |
| Chaînes de caractères | trim, casse, remplacement regex, accents |
| Dates | parser, formater, extraire (année, mois…), différence |
| Valeurs | remplacer (A vers B), mapper via dictionnaire |
| Agrégations | group by + agrégats (somme, moyenne, min/max…), pivot, unpivot, fonctions de fenêtre |
| JSON | aplatir (nested vers colonnes), parser, sérialiser |
| Qualité | valider (regex, type, plage, non nul), correspondance floue |
Le schéma de Sortie est recalculé à chaque changement : vous voyez immédiatement l'effet de la chaîne d'opérations sur les colonnes.
Utiliser des variables
Dans un champ texte, tapez ${ : un autocomplete propose les variables du
projet. Une fois insérée, la référence (par exemple ${var.env.DB_URL})
s'affiche sous forme de badge typé (ENV, PROJET, COMPANY) avec un bouton
pour l'effacer.
La valeur est résolue à l'exécution, selon l'environnement ; voir Utiliser les variables.
Sélectionner une connexion
Pour les sources, destinations et bricks API, l'onglet Connexion liste les connexions du projet compatibles avec la brick (une brick « Écriture base de données » ne propose que les connexions base de données) :
- sélectionnez la connexion à utiliser ;
- ou créez-en une à la volée via Nouvelle connexion (même assistant que dans l'onglet Connexions du projet) ;
- pour les bricks fichier, choisissez ensuite le format (CSV, JSON, Excel, Parquet, XML) et le ou les fichiers.
La connexion est définie au projet ; ses valeurs (hôte, mots de
passe…) sont propres à chaque environnement ; voir
Créer une connexion. Une zone
Variables référencées récapitule les références ${...} utilisées par la
brick.
Pour les formats de fichiers (CSV, JSON, Excel, Parquet, XML), un sélecteur de configuration permet d'enregistrer un jeu d'options (délimiteur, encodage…) et de le référencer depuis plusieurs bricks.
Le schéma de sortie
L'onglet Sortie montre les colonnes produites par la brick. Vous pouvez :
- renommer ou exclure des colonnes (décocher) ;
- réordonner par glisser-déposer ;
- pour les sources (fichier, base, API), récupérer le schéma réel via votre runner (« Deviner le schéma ») : le runner lit la source et renvoie colonnes et types détectés.
Le schéma de sortie devient le schéma d'Entrée des bricks en aval : les changements se propagent à l'enregistrement.
Exemples de configuration
Source base de données
| Paramètre | Description |
|---|---|
| Connexion | Une connexion base de données du projet (le dialecte est déduit) |
| Mode | Table (schéma + table) ou Requête SQL |
| Requête | Éditeur SQL avec aperçu ; accepte les variables ${...} |
Source fichier
| Paramètre | Description |
|---|---|
| Connexion | Une connexion de stockage (local, S3, GCS, Azure, SFTP) |
| Format | CSV, JSON, Excel, Parquet, XML |
| Options du format | Délimiteur, encodage, en-têtes… selon le format |
| Sélection | Fichier précis ou motif (pattern) |
REST API
| Paramètre | Description |
|---|---|
| Connexion | Une connexion API REST (URL de base, authentification) |
| Méthode / chemin | La requête à exécuter |
| Pagination | offset, page ou cursor |
| Réponse | Chemin des données, aplatissement, mapping des champs |
La brick REST API est bi-mode : sans lien entrant elle agit comme source ; avec un lien entrant elle enrichit chaque ligne (appel par ligne, cache et gestion d'erreurs configurables).