Agréger des données de plusieurs APIs dans une source unique
Des données de même nature sont souvent dispersées sur différents sites, dans des formats et des modalités d'accès hétérogènes. Les traitements périodiques de Data Fair vont les chercher à la source, les transforment et les centralisent dans un seul jeu de données au format commun. Un réseau de salles de cinéma indépendantes agrège ainsi la programmation de plus de soixante APIs dans une base unique.
Tous les utilisateurs de Data Fair, dès lors qu'une même information est éclatée entre plusieurs producteurs ou plusieurs systèmes.
1. Collecter depuis chaque source
Les connecteurs couvrent les principaux cas : import depuis une API JSON (avec différents modes d'authentification), import XML, transfert de fichier (FTP, FTPS, HTTP), import de fichiers JSON sur SFTP et flux RSS/Atom. Chaque connecteur se paramètre indépendamment et s'exécute selon la fréquence choisie : horaire, quotidienne, hebdomadaire ou manuelle.
2. Harmoniser les formats
Un mapping fait correspondre les champs de chaque source aux colonnes du jeu de données cible. Des transformations (concaténation, extraction, reformatage de dates, gestion du JSON…) et des champs calculés normalisent les valeurs à l'import, sans modifier les systèmes sources. Le schéma résultant est identique pour toutes les sources, ce qui rend la consolidation possible.
3. Consolider dans une source unique
Les jeux de données partageant le même schéma se regroupent dans un jeu virtuel ou par concaténation : la source unique est exposée avec les mêmes API, exports et visualisations, et reste mise à jour automatiquement à chaque exécution. Les données restent la propriété de leurs producteurs ; la vue consolidée est recalculée à la demande.
4. Automatiser et surveiller
L'interface affiche l'historique des exécutions avec leur statut et la volumétrie traitée. En cas d'échec, les logs détaillés permettent d'investiguer, des politiques de répétition automatique rattrapent les incidents temporaires et des notifications alertent les administrateurs (email ou webhook) pour les échecs définitifs.
5. Exploiter la source unifiée
La donnée consolidée alimente tableaux de bord, cartes et graphiques, se publie sur un catalogue open data, s'interroge par API et s'exporte dans les formats courants. Les analyses portent alors sur un périmètre complet, sans ressaisie ni compilation manuelle de fichiers.
Pour aller plus loin
- Traitement d'import depuis une API JSON : tutoriel
- Traitement d'import XML : tutoriel
- Traitement de transfert de fichier : tutoriel
- Concaténer des jeux de données : tutoriel
- Accès aux données par API : cours
- Traitements planifiés : le hub des traitements