Schémas de données : standardiser la saisie et la réutilisation

De nombreuses données publiques sont produites localement puis consolidées à une échelle supérieure : subventions, équipements, délibérations, adresses… Pour que ces données s'assemblent, il faut un schéma : la description des colonnes, de leurs types, des valeurs attendues et des règles de contrôle.

Data Fair fait des schémas le socle de toute la chaîne : import des schémas de référence, création de jeux de données éditables, saisie par formulaire, validation, consolidation de plusieurs producteurs et visualisation.

1. Importer les schémas de référence

Le traitement processing-schemas-datagouv synchronise chaque mois les schémas tabulaires publiés sur schema.data.gouv.fr, soit 58 schémas sur les 61 tabulaires à ce jour.

Chaque schéma devient un jeu de données éditable qui porte sa structure : conversion du Table Schema en schéma Data Fair, métadonnée conformsTo (nom, version et URL du schéma d'origine), résumé et description dérivés du catalogue, capacités d'indexation adaptées (recherche textuelle désactivée sur les codes, filtrage exact et tri désactivés sur les textes longs). Les données d'exemple publiées avec le schéma peuvent être chargées comme premières lignes.

À chaque exécution, les schémas déjà importés sont mis à jour vers la dernière version publiée.

2. Créer un jeu éditable depuis un schéma

À la création d'un jeu de données éditable, il suffit de choisir un schéma de référence : le schéma des colonnes, la description et les métadonnées du schéma (dont le conformsTo) sont copiés dans le nouveau jeu. Plusieurs producteurs créent ainsi chacun leur jeu avec exactement le même schéma.

La métadonnée du schéma reste visible sur la fiche du jeu de données dans le portail : un lien « Schéma : » vers le schéma d'origine et sa version, ce qui rend la conformité lisible par tous.

3. Saisir des données contraintes

Le formulaire de saisie est généré automatiquement à partir du schéma : champs obligatoires, listes de valeurs autorisées, expressions régulières, intervalles. Les concepts associés aux colonnes (code SIRET, code INSEE, libellé, coordonnées…) proposent des valeurs issues de référentiels : un code SIREN peut être recherché dans la base Sirene, ce qui garantit son existence au moment de la saisie.

La saisie se fait dans le back-office, dans l'espace personnel du portail, ou via une application de formulaire ouverte à tous (app-form).

4. Valider et diagnostiquer

Chaque ligne est contrôlée à l'entrée : type, format, caractère obligatoire, liste de valeurs, expression régulière, mais aussi contraintes d'unicité sur une ou plusieurs colonnes et extensions obligatoires (géocodage, enrichissement depuis un référentiel). Les règles peuvent être bloquantes ou de simples avertissements.

En cas d'erreur lors d'un import de fichier, un diagnostic téléchargeable liste chaque ligne en cause avec le champ, le message et la valeur rejetée : de quoi corriger la source sans chercher les erreurs à l'aveugle.

5. Fédérer plusieurs producteurs

Plusieurs jeux de données partageant le même schéma se consolident en un jeu virtuel. Une commune publie ses équipements selon le SCDL, une autre fait de même, et l'EPCI expose une vue unique de l'ensemble : les données restent la propriété des producteurs, la vue consolidée est mise à jour automatiquement et expose les mêmes API, exports et visualisations.

6. Visualiser des données standardisées

Parce que le schéma décrit le sens des colonnes, la plateforme propose des visualisations adaptées : un jeu d'équipements au format SCDL se visualise directement en liste, en fiches ou sur une carte, sans configuration complexe. Les concepts guident le paramétrage (seules les visualisations pertinentes sont proposées) et les codes sont remplacés par leurs libellés lisibles.

Pour aller plus loin