Import depuis une API JSON : branchez vos API sur vos jeux de données
Pour qui ?
Collectivités, administrations et entreprises qui doivent récupérer régulièrement des données exposées par une API (portail métier, service public, outil interne) et les mettre à disposition sans développement.
Le traitement Import depuis une API JSON interroge une API HTTP qui répond en JSON et transforme le résultat en jeu de données Data Fair. Il gère l'authentification, la pagination et l'extraction des données imbriquées, puis rejoue l'import selon la planification choisie. Chaque exécution est historisée avec son statut et sa volumétrie, et les administrateurs sont prévenus en cas d'échec.
Ce que permet l'import depuis une API JSON
- Authentification : API publique, Basic Auth, jeton Bearer, clé d'API en en-tête, OAuth 2.0 (client credentials ou password) ou jeton de session de type GLPI ; les secrets sont stockés séparément de la configuration ;
- Pagination : une seule page, page suivante lue dans la réponse (style HAL / JSON:API), ou paramètres d'offset et de limite dans l'URL, avec l'option « offset en nombre de pages » ;
- Colonnes par chemin : associez chaque colonne à un chemin dans la réponse (objet imbriqué (
location.city), tableau d'objets (links[].link), tableau de chaînes (keywords.fr)) avec un séparateur pour les valeurs multiples ; - Données en profondeur d'un tableau : dépliez un tableau imbriqué (séances, versions, lignes de détail) pour produire une ligne par élément, de façon récursive ;
- Mise à jour : jeu de données fichier ou jeu éditable dont les lignes sont rapprochées par clé primaire, avec option de remplacement atomique du contenu à chaque exécution ;
- Planification et suivi : horaire, quotidienne, hebdomadaire, mensuelle ou manuelle ; historique d'exécution et notifications en cas d'échec. Les requêtes HTTP en erreur sont réessayées automatiquement.
Cas d'usage
- Agréger des données de plusieurs APIs : collecter, harmoniser et centraliser dans une source unique des données dispersées ;
- Import et mise à jour de données : formats, planification, jeux virtuels ;
- Données de référence : le catalogue national maintenu par Koumoul.
Pour aller plus loin
- Configurer un traitement Import depuis une API JSON : le cours pas à pas (authentification, pagination, chemins) ;
- Programmer des mises à jour automatiques de données : la mécanique commune à tous les traitements ;
- Traitements et imports planifiés : le hub des traitements ;
- Connecteurs de catalogues et de données : quand la source est un catalogue plutôt qu'une API.