Import de plusieurs fichiers : concaténez vos sources JSON et CSV

Le traitement Import depuis plusieurs fichiers télécharge un ou plusieurs fichiers JSON ou CSV depuis HTTP(S), FTP ou SFTP et les concatène dans un même jeu de données. Un fichier précis, un dossier entier ou une archive zip : tous les fichiers du format choisi sont importés à la suite et mis à jour selon la planification.

• Protocoles variés : HTTP(S), FTP ou SFTP, avec identifiants optionnels pour les dépôts protégés ;
• JSON ou CSV : un fichier JSON (ou un dossier de fichiers) est aplati selon un mapping de chemins configurable ; un CSV est chargé tel quel, son séparateur est détecté automatiquement (tous les CSV d'une exécution doivent partager le même en-tête et le même séparateur) ;
• Fichier, dossier ou archive : une URL terminant par .json/.csv cible un fichier, par / cible tous les fichiers du dossier, par .zip cible une archive dont l'arborescence est préservée ;
• Jetons d'URL conservés : un jeton d'accès porté par l'URL (SAS Azure par exemple) est gardé pour le téléchargement sans fausser la détection du format ;
• Création ou mise à jour : nouveau jeu de données fichier, remplacement du fichier d'un jeu existant ou mise à jour des lignes d'un jeu éditable ;
• Gestion de la source (FTP/SFTP) : après import, laisser les fichiers en place, les supprimer ou les déplacer vers un dossier d'archive ;
• Planification et suivi : horaire, quotidienne, hebdomadaire, mensuelle ou manuelle ; historique d'exécution et notifications en cas d'échec.

• Import et mise à jour de données : formats, planification, jeux virtuels ;
• Données de référence : consolider des sources officielles réparties en plusieurs fichiers ;
• Transfert de fichier : quand la source est un fichier unique plutôt qu'un lot.

• Programmer des mises à jour automatiques de données : la mécanique commune à tous les traitements ;
• Traitements et imports planifiés : le hub des traitements ;
• Import depuis une API JSON : quand la source expose une API plutôt que des fichiers.