Connecteur S3 : importez les fichiers de vos buckets
Pour qui ?
Organisations qui déposent leurs fichiers dans un bucket S3 (AWS ou compatible (Scaleway, OVH, MinIO…)) et veulent les publier comme jeux de données sans ressaisie.
Le connecteur S3 importe les fichiers d'un bucket de stockage objet dans Data Fair. Un stockage objet ne connaît pas de dossiers : le connecteur reconstruit l'arborescence à partir des préfixes des clés et permet de parcourir les fichiers comme dans un explorateur. Chaque fichier importé devient un jeu de données, remis à jour selon la planification choisie.
Ce que permet le connecteur S3
- Parcourir le bucket : dossiers et fichiers reconstitués depuis les préfixes, avec fil d'Ariane ;
- Importer un fichier comme jeu de données : formats tabulaires (CSV, Excel, ODS…) et géographiques (GeoJSON, Shapefile, GeoPackage…) ;
- Se connecter à tout service compatible S3 : endpoint, région, nom du bucket et clés d'accès se renseignent dans le back-office ;
- Planifier les synchronisations (horaire, quotidienne, hebdomadaire, mensuelle ou manuelle), consulter l'historique des exécutions et recevoir des notifications en cas d'échec ;
- Diffuser ensuite les données en catalogue, API REST, tableaux et cartes interactives.
Cas d'usage
- Import et mise à jour de données : rapatrier des fichiers d'un stockage objet et les tenir à jour automatiquement ;
- Data marketplace et close data : publier en interne des fichiers déposés dans un stockage objet ;
- Publication et diffusion de données : exposer les fichiers importés en catalogue et API.
Pour aller plus loin
- Créer et gérer un connecteur de catalogue : la mécanique commune à tous les connecteurs (pas de cours dédié à S3 à ce jour) ;
- Connecteurs de catalogues et de données : le hub des connecteurs ;
- Import et mise à jour de données : formats, planification et jeux virtuels.