La statistique publique produit des chiffres et des études à partir d’enquêtes qu’elle gère de façon totalement autonome, de la conception à la diffusion après les étapes de collecte et de traitement de la non-réponse. Toutefois, avec la profusion de données produites et mises à disposition par d’autres organismes, le recours massif à des sources externes, et notamment à des données administratives, pour produire des statistiques augmente fortement (Lamarche et Lollivier, 2021, Ouvrir dans un nouvel ongletHand 2018). Cette pratique se développe également au niveau international (Ouvrir dans un nouvel ongletUNECE Integration, statswiki, Cros 2014). De ce fait, il y a aujourd’hui une forte volonté d’industrialiser davantage l’intégration de sources administratives afin de sécuriser, d’assurer une meilleure traçabilité et de rendre le plus reproductible possible cette intégration de données.

Bien souvent, la donnée administrative n’est pas utilisable en tant que telle (Courmont, 2021). L’intégration consiste alors à détacher les données et les métadonnées de leur univers de gestion d’origine pour les attacher au monde statistique (unité statistique, concepts, nomenclature, etc.). Cette opération nécessite une appropriation de la source par ses futurs utilisateurs.

Lorsque la qualité de la donnée administrative est jugée suffisante pour produire des statistiques fiables (« qualification de la source »), la première étape du processus consiste à intégrer les informations externes dans le système d’information statistique. À l’instar du processus de collecte par enquête, l’intégration est la première étape des traitements statistiques (contrôle, validation, redressement) qui permettent de passer du statut de données brutes à celui de données diffusables.

Les objectifs, le périmètre exact et les étapes de ce processus d’intégration des données sont présentés dans cet article. La phase de qualification n’est abordée ici que brièvement bien qu’elle soit essentielle. En effet les sources administratives peuvent présenter des défauts de couverture (exemple de données absentes en Alsace-Lorraine car définies après le régime concordataire) ou utiliser des concepts éloignés de ceux de la statistique publique (par exemple : données collectées au niveau de compteurs électriques pour facturer la consommation d’un logement) : il est nécessaire de bien identifier ces problèmes en amont afin de les traiter au plus tôt.

Avant d’intégrer une source, il convient de s’assurer qu’elle dispose des qualités suffisantes pour pouvoir être utilisée à des fins statistiques. Ainsi, il est nécessaire d’échanger avec le producteur de la donnée afin de vérifier que la source est :

À noter que l’office national statistique anglais envoie des statisticiens directement dans les administrations pour réaliser cette phase de qualification (Fermor-Dunman et Parsons, 2022).

Les données administratives sont recueillies et structurées par des organismes pour leurs besoins propres. Par exemple, la déclaration sur le revenu est collectée au niveau du foyer fiscal (unité gérée par la DGFiP). Cette notion désigne l’ensemble des personnes inscrites sur une même déclaration de revenus et ne correspond pas directement aux concepts d’individu et de ménage utilisés pour la statistique. En effet un foyer fiscal peut regrouper un ou plusieurs individus et il peut y avoir plusieurs foyers fiscaux dans un seul ménage : par exemple, un couple non marié compte pour deux foyers fiscaux si chacun remplit sa propre déclaration de revenus. Il faut donc restructurer cette information administrative de base pour l’exploiter à des fins statistiques.

La phase d’intégration transforme la donnée administrative individuelle en donnée individuelle brute statistiquement exploitable. Elle sélectionne uniquement les informations indispensables des sources externes, respectant ainsi les principes de minimisation et de nécessité auxquels les statisticiens sont tenus. On change de gouvernance en passant du monde administratif au monde statistique. Les données pourront être modifiées par le statisticien sans en informer le producteur initial. Par ailleurs, ces données deviennent alors des données statistiques et sont donc soumises au secret statistique.

Cette phase permet de constituer un ensemble cohérent à partir de plusieurs fichiers différents, voire de plusieurs sources différentes. Un exemple très intéressant à cet égard est celui de Fidéli. Ce fichier intègre plusieurs sources fiscales : une source décrivant les membres des foyers imposables, une source contenant les informations sur l’impôt sur le revenu de ces foyers, une source contenant les informations relatives à la taxe d’habitation et une autre à la taxe foncière, chacune pouvant être constituée de plusieurs fichiers, plus d’une centaine par source pour obtenir une information sur la France entière.

La phase d’intégration produit la version de base de la donnée qui alimentera la suite du processus. À ce stade, il s’agit seulement de réorganiser l’information contenue dans les fichiers administratifs mais en aucun cas de les contrôler et encore moins de les corriger. Néanmoins, un effort de traçabilité est nécessaire pour garantir la reproductibilité de cette base de départ.

L’intégration, point de départ du processus statistique, voire point de reprise en cas de problème, est également un point de référence. En comparant la donnée brute à la donnée modifiée par des gestionnaires dans la phase de « contrôle et corrections manuelles et automatiques », il est possible de juger de l’efficience des contrôles mis en place. De même, en comparant les données brutes aux données issues de redressements automatiques, on peut mesurer la variance de ces traitements et le gain en qualité, pour différents indicateurs, notamment en matière de réduction de biais.

Si l’on compare les cycles de vie de la donnée d’une production statistique réalisée à partir d’une enquête et celle réalisée à partir d’une source externe, on constate qu’ils diffèrent sur la phase amont mais qu’ils sont identiques à partir des traitements de transformation des données brutes statistiques en données diffusables.

En référence au GSBPM (Ouvrir dans un nouvel ongletUNECE, GSPBM), l’intégration de données précède les phases aval de traitement des données et d’analyse conduisant aux données diffusables (contrôle, correction manuelles et automatiques, validation des données individuelles, agrégation et validation des données agrégées, diffusion des données et archivage des données). Ces phases ne sont pas évoquées dans cet article.

Ainsi, si le fichier administratif contient des valeurs manifestement erronées (30 février par exemple), ces valeurs ne seront pas modifiées durant la phase d’intégration des données mais corrigées par une valeur possible lors de la phase suivante de « contrôle, correction manuelles et automatiques et validation des données individuelles ».

L’intégration est la première étape du processus. C’est aussi le moment d’initialiser les métadonnées statistiques qui seront utiles tout au long du cycle de vie de la donnée (concepts, description des variables, listes de codes et nomenclatures). Ce point s’inscrit dans une logique de pilotage des processus par les métadonnées dites « actives ». (cf. infra)

L’enquête statistique est prise en charge par les statisticiens dès le début et permet de s’assurer, lors de la conception du questionnaire, que les données collectées répondent à des concepts et unités statistiques. Elles n’ont donc pas besoin d’être transformées après leur collecte et sont immédiatement des données statistiques brutes exploitables.

A contrario, les données externes doivent être transformées (constituer des unités statistiques, renommer, etc.) avant de pouvoir être considérées comme des données brutes statistiques. Certaines métadonnées sont initialisées durant cette phase d’intégration, telles que la définition des variables, leurs règles de calcul, leurs liens avec les concepts statistiques, etc.

À l’Insee, il existe des processus statistiques qui associent des données d’enquêtes et des données administratives afin de produire des statistiques robustes tout en limitant la charge statistique, à savoir le temps que les répondants doivent consacrer à l’enquête. On peut citer l’enquête « Revenus Fiscaux et Sociaux » qui fusionne des données de l’enquête « Emploi » avec des données fiscales et sociales, ou encore le système d’élaboration des statistiques annuelles d’entreprises (ESANE) fondé sur les résultats des enquêtes sectorielles annuelles et sur les liasses fiscales et les données de la déclaration sociale nominative (DSN).

Les données administratives sont souvent liées à des politiques publiques, dont les contours juridiques peuvent évoluer rapidement au cours du temps (ajout ou suppression d’un impôt ou d’une prestation sociale, etc.). Il est donc indispensable que les outils et méthodes développés dans le cadre de cette phase d’accueil des données soient les plus transparents et les plus adaptables possibles.

L’intégration est une succession d’opérations élémentaires écrites de façon déclarative, c’est‑à‑dire en spécifiant le quoi et non le comment, qu’il est aisé de « rejouer » permettant d’obtenir une chaîne de traitement pérenne et réutilisable. Pour mettre en œuvre cette reproductibilité et assurer son adaptabilité, il est indispensable de s’appuyer sur des standards et d’outiller le statisticien pour qu’il soit le plus autonome possible. Le langage VTL est une solution permettant de répondre à ces deux besoins majeurs. La transformation de la donnée administrative en donnée statistique brute est composée d’une succession de tâches élémentaires (de façon analogue à une composition de fonctions en mathématiques) qui peuvent se décomposer selon les six catégories suivantes :

Cet ordre est indicatif et peut différer d’une source à l’autre. En particulier, les phases de pseudonymisation et de filtrage peuvent intervenir à différents moments de la séquence.

Cette catégorisation s’inspire du service d’accueil des sources mis en place par le programme Résil (Répertoire statistique des individus et des logements) (Ouvrir dans un nouvel ongletDurr et al., 2022) qui va jouer ce rôle d’intégration de données administratives dans le système d’information démographique et social en utilisant l’outil Accueil Réception Contrôle ARC (encadré 1).

La suite de l’article sera illustrée à partir d’un exemple de fichier administratif fictif utilisé par l’Insee. Cet exemple est simpliste, mais permet de se rendre compte des différentes transformations possibles et d’illustrer la mise en place d’un « pipeline » pour l’intégration d’une source.

Imaginons que le contenu des données envoyées à l’Insee par fichier au format CSV (avec séparateur « ; ») soit le suivant :

Dans notre exemple, le salaire d’un individu n’est affecté qu’à un seul foyer fiscal, mais un individu peut être affecté à plusieurs foyers fiscaux, s’il possède par exemple une résidence secondaire dans un département différent de celui dans lequel il a déclaré son salaire : c’est ici le cas de Durant Jonathan.

Pour exploiter les variables provenant d’une source administrative, il est plus facile qu’elles aient un nom compréhensible (par exemple : salaire _ de cl) plutôt que de conserver le nom du fichier d’origine qui correspond par exemple au nom de la case de la déclaration fiscale (1AJ) dans l’exemple.

Les noms des variables des fichiers externes sont souvent liés au contexte dans lequel elles ont été collectées et il est souhaitable de les renommer dès cette phase afin de faciliter leur utilisation par des statisticiens (qui n’ont pas forcément participé directement à la phase d’intégration des données). Renommer les données pour en faciliter l’appropriation par le statisticien n’est toutefois pas suffisant et s’accompagne de la saisie de métadonnées descriptives pour décrire plus précisément le concept, le format des variables, etc. Les nouveaux noms des variables se rapprochent alors des concepts statistiques qu’elles recouvrent. Ainsi dans notre exemple :

Les unités de gestion administratives (compteur électrique, foyer fiscal) sont en général différentes des unités statistiques diffusées (logement, ménage, individu, entreprise, etc.). Il faut donc dériver ces unités statistiques si elles ne sont pas directement présentes dans la source administrative. Cette étape se traduit par l’agrégation de plusieurs enregistrements ou la suppression d’enregistrements pour créer une unité statistique. Par exemple, on peut regrouper des données à un niveau « ménage » à partir de données d’individu ou encore regrouper des données au niveau « individus » à partir de données de contrat de travail, etc. Ceci est possible si les données contenues dans la source externe le permettent grâce à la présence de l’identifiant du ménage dans les enregistrements d’individus, par exemple. Si un tel traitement nécessite des données externes à la source, cette opération se fera dans une phase ultérieure du processus.

Inversement, on peut vouloir éclater un enregistrement du fichier en entrée en plusieurs enregistrements dans le modèle de données statistiques (cas des individus dans les fichiers fiscaux structurés en foyers fiscaux). Il est alors nécessaire d’expliciter les liens entre différentes unités statistiques. Dans le cadre des données fiscales, faire le lien entre individus et foyers fiscaux d’une part, et foyers fiscaux et adresses d’autre part, permet in fine de constituer des ménages.

Dans l’exemple, le fichier envoyé « mélange » deux types d’unités statistiques au sein d’un même enregistrement.

Dans une première étape, on créerait deux tables différentes, individus et foyers fiscaux, dans le modèle de données « statistique ».

Les données sont intégrées dans les deux tables suivantes :

Une jointure de ces deux tables sur la variable id_foyer présente dans les deux tables permet de reconstituer les données initiales. On ne change pas l’information, on la restructure.

Les sources administratives peuvent contenir des informations nominatives (NIR, nom, prénoms etc.) inutiles à la production statistique et qu’il faut supprimer dès cette phase afin de respecter la confidentialité des données au plus tôt dans le processus de production. On pseudonymise. Pour séparer au plus tôt les données d’état civil (nom, prénom, date et lieu de naissance et adresse) des données « métier » utiles pour produire des statistiques (information sur l’emploi, le revenu, etc.), on apparie les données d’état civil de la source avec un référentiel d’identité pour remplacer, dans les données intégrées, les données d’état civil par l’identifiant leur correspondant dans ce référentiel.

La mise en œuvre de cette pseudonymisation dans notre exemple conduit à scinder la table des individus en deux : une table nommée « individu_etat_civil » contenant les données d’état civil et une deuxième (« individu_salaire ») contenant les autres variables. Le lien entre les deux tables se fait par le biais de la variable id_ind qui identifie un individu de façon univoque selon son nom, son prénom et sa date de naissance. On constate que la table individu_etat_civil ne contient que 6 lignes car DURANT Jonathan est en double dans le fichier.

Les sources administratives peuvent utiliser des nomenclatures différentes de celles utilisées pour la statistique. Cette étape permet de se conformer à ces dernières à condition que cette transformation soit totalement automatisée (passage de « H » à 1 pour le sexe par exemple). Pour les enregistrements où une intervention humaine complémentaire est nécessaire (codification de la PCS par exemple), un indicateur de reprise peut être posé durant l’intégration et le recodage « manuel » sera reporté à une phase ultérieure du processus de production.

Ce traitement concerne directement les valeurs d’une ou plusieurs variables du fichier en entrée. Il peut s’agir :

Pour ses études, le statisticien utilise souvent des nomenclatures (tranche d’âge, catégorie d’entreprises etc.). Le calcul de variables dérivées permet, par exemple, de passer d’une année de naissance contenue dans la source administrative à une tranche d’âge.

Il s’agit de créer des nouvelles variables qui vont être utiles dans les phases ultérieures. Par exemple, créer une variable statistique par agrégation ou éclatement de variables en entrée. Le revenu peut être défini comme la somme de différents postes de la liasse fiscale, l’adresse peut être décomposée en plusieurs champs, etc.

Dans l’exemple, des recodages et des créations de variables dérivées automatiques ont été faits. Ils ne demandent aucune intervention humaine :

Les tables obtenues à l’issue de cette phase d’intégration sont les suivantes :

Le champ de la source en entrée peut être beaucoup plus vaste que le champ d’intérêt statistique. Dans ce cas, si la source contient des variables permettant de filtrer la population d’intérêt, il est possible de le faire dès l’étape d’intégration afin d’alléger les bases statistiques. Ceci permet également de respecter les principes de minimisation et de nécessité qui obligent tout statisticien à se limiter autant que possible aux données dont il a un réel besoin. Par exemple, supprimer les locaux commerciaux d’un fichier administratif lorsqu’on ne s’intéresse qu’aux locaux d’habitation.

Dans l’exemple, les lignes des individus en double ayant un montant de salaire égal à valeur manquante ne sont pas intéressantes. La variable unique est recalculée sur cette nouvelle table.

Au final la table individu_salaire est donc la suivante :

La phase d’intégration des sources doit être totalement automatisée et reproductible. Elle consiste à mettre en place un cadre général pour une démarche systématique sur des données structurées par un producteur externe. Elle doit se traduire par la mise en place d’un pipeline jalonné de points de contrôle pour s’assurer que la succession des tâches se déroule correctement et d’arrêter le processus dès qu’un éventuel problème est rencontré.

L’objectif de cette industrialisation est de mettre en place l’enchaînement de traitements génériques paramétrables les plus indépendants possibles de la source en entrée. L’intégration d’une nouvelle source (ou la mise à jour d’une source existante) revient alors à décrire la source en entrée, le modèle de données souhaité en sortie et les transformations permettant de passer de l’un à l’autre. L’enchaînement des étapes d’intégration des données se fait ensuite de façon automatique à partir de ces métadonnées qui deviennent actives. Ainsi, la spécification de la représentation attendue pour une variable (M, F pour la variable sexe par exemple) permet de générer automatiquement des traitements de contrôle des valeurs.

Dans ces conditions, certaines métadonnées plus précises ont un intérêt particulier dans le cadre des transformations de données. En amont, la documentation des traitements peut aller jusqu’à leur spécification dans un langage plus ou moins formel, par exemple BPMN ou graphe acyclique direct (DAG) pour le processus d’ensemble, SQL ou VTL (encadré 2) pour les transformations elles-mêmes. Cela présente l’avantage de permettre l’automatisation complète ou partielle du processus dans une démarche de métadonnées actives. La spécification en VTL est une métadonnée (elle décrit la transformation dans un langage compréhensible par statisticien) qui est ensuite implémentée automatiquement à l’aide d’outils informatiques ce qui la rend donc directement active. En aval, le traçage précis des opérations (quelles variables ont servi pour le calcul de telle autre, par exemple), permet une meilleure maîtrise du processus et favorise la reproductibilité et la transparence. On parle de métadonnées de provenance ou de lignage (data lineage).

Ces métadonnées actives permettent au concepteur d’être le plus autonome possible et d’adapter plus facilement son pipeline aux évolutions des sources externes. Par exemple, la DGFiP a récemment modifié sa façon d’enregistrer les dépendances des maisons dans son système d’information ; par le passé, elles étaient liées à un local principal, maintenant elles sont considérées comme des logements à part entière. Une telle mise à jour conduit donc à revoir le filtre de définition du champ, voire à ajouter de nouvelles variables. Par le biais des métadonnées actives, le statisticien peut créer une nouvelle variable dans le modèle de données d’accueil de RMéS (Bonnans, 2019) qui permet de repérer les dépendances, d’établir le mode de calcul de cette nouvelle variable dans ARC à partir des variables du fichier de la DGFiP et de modifier son script VTL de définition du champ pour prendre en compte cette nouvelle variable. Le statisticien est alors totalement autonome pour modifier son pipeline, prendre en compte la modification de structure du fichier en entrée et les tracer.

Dans le pipeline relatif aux différentes étapes de l’intégration des données (figure), le statisticien saisit en amont les métadonnées (définition des variables, attachement à un concept statistique, règle de transformation, etc.). Les étapes s’enchaînent ensuite automatiquement à partir de ces métadonnées, conduisant à une standardisation et une séparation claire entre spécification logique et réalisation technique et permettent une plus grande autonomie du statisticien.

Figure - Le pipeline de données et de métadonnées

En sortie de ce processus, les données administratives sont donc intégrées dans le système d’information sous forme de données brutes. En outre, une évaluation de la qualité est également produite en parallèle afin de disposer de premiers indicateurs qualité (nombre d’enregistrements, taux de non-réponse partielle, etc.) qui permettent de donner des premiers éléments sur la qualité des données brutes.

Pour les transformations de données comme pour toute étape du processus statistique, l’existence de métadonnées complètes et exactes est fondamentale pour le bon déroulement des opérations. Plus encore, comme les traitements de transformation se situent souvent au tout début du processus, il faut capturer ou créer les métadonnées qui seront réutilisées dans les étapes ultérieures.

En règle générale, les données administratives sont décrites avec leurs propres métadonnées. Certaines pourront être reprises mais pas forcément toutes. Et les métadonnées statistiques issues du processus d’intégration sont différentes de celles d’origine (les nomenclatures peuvent être différentes, les concepts statistiques associés sont spécifiques aux données statistiques, etc.).

Différents types de métadonnées revêtent une importance particulière dans le cadre de la transformation de données.

Les métadonnées peuvent, elles- mêmes, être l ’objet d’une transformation pour accompagner la transformation des données. Par exemple, le renommage des variables peut être vu comme une transformation des métadonnées.

Les métadonnées de structure, à savoir la définition des variables utilisées, les concepts statistiques auxquels elles se raccrochent, le type et le domaine de valeurs, parfois contraints par des listes de codes, doivent être définies au plus tôt. Il est important qu’elles soient disponibles dans des formats qui permettent aisément d’en automatiser l’utilisation pour valider les traitements effectués. Par ailleurs, les métadonnées descriptives constituent une autre catégorie importante de métadonnées. On range ici tout ce qui permet de faciliter la découverte et la compréhension des données, d’évaluer leur qualité ou leur adéquation à une utilisation spécifique, etc. La documentation des traitements et des méthodes utilisées et les conditions de fourniture des données peuvent également être considérées comme des métadonnées descriptives.

Même si la source a été qualifiée en amont et que sa qualité a été jugée suffisante pour produire des statistiques, il est important d’avoir une première mesure de la qualité des données dès leur intégration (Six et Kowarick, 2022, UNECE Statswiki Quality). Ceci permet d’avoir une première idée de la qualité intrinsèque de la source et de pouvoir enclencher au plus tôt un processus d’amélioration continue de la qualité. Cette phase permet également de se familiariser avec les nouvelles sources en comprenant mieux leur structure et leur contenu.

Au niveau de l’intégration, cette mesure de la qualité (communément appelée data profiling dans la littérature internationale) consiste à définir des indicateurs qui permettront d’avoir une première évaluation de la qualité de la source et de suivre son évolution au cours du temps, en comparant les livraisons successives de la source (monitoring). Ces indicateurs sont par exemple :

L’analyse de ces indicateurs nécessitera souvent, au moins lors des premières réceptions de fichiers, de demander au producteur des précisions. Ceci peut également conduire à ce que le producteur ajoute des contrôles dans son propre processus afin d’améliorer la qualité de la collecte. Par exemple les travaux menés à l’Insee lors de l’accueil de la déclaration sociale nominative (DSN) ont conduit le GIP-MDS à ajouter un contrôle du NIR dans son interface de saisie des données de la DSN, ce qui a amélioré notablement la qualité du NIR dans la DSN. De tels indicateurs permettent de repérer au plus tôt si les données fournies sont incomplètes, lorsque le nombre d’enregistrements ou les totaux de certaines variables sont plus faibles que lors des livraisons précédentes. Ces indicateurs servent également à identifier des problèmes qui pourront être corrigés par les processus ultérieurs (exemple de l’indicateur qualité du salaire du foyer qui permet d’identifier le salaire d’un milliard d’euros qui est suspect). Ces indicateurs « qualité » seront donc utiles à l’utilisateur des données brutes pour piloter ses propres traitements.

Cette phase étant primordiale, des outils spécifiques ont été développés.

L’intégration des données administratives dans un processus statistique est une phase essentielle dont l’importance est reconnue au niveau international (encadré 3). Elle doit être soigneusement identifiée, spécifiée et outillée. Elle correspond à un changement de nature et de « propriétaire » de la donnée, qui devient donc statistique, avec le cadre légal, méthodologique et organisationnel correspondant.

Elle doit se traduire par l ’ implémentation d’un pipeline documenté et reproductible de transformations élémentaires ; il est souhaitable de le définir dans un formalisme indépendant d’une technologie particulière. Lors de la spécification de ce pipeline, il est important de prendre en compte les métadonnées, que ce soient celles de la source, qui peuvent elles-mêmes faire l’objet de transformations, ou celles qui découlent du processus d’intégration comme les métadonnées de provenance. Il faut également, comme pour tout processus, produire des indicateurs de qualité qui permettront de contrôler et d’améliorer les traitements.

Au-delà des données administratives, l’utilisation de données externes pour la statistique est appelée à se développer, et la mise en place d’un cadre méthodologique et d’outils communs pour l’acquisition de données permettra d’industrialiser cette fonction, à l’instar de ce qui a pu être fait pour la filière d’enquêtes à l’Insee (Cotton et Dubois, 2019 ; Koumarianos et Sigaud, 2019). Comme pour cette dernière, le pilotage des processus par l’activation des métadonnées, conduisant à une standardisation et une séparation claire entre spécification logique et réalisation technique, permettra une plus grande autonomie du statisticien et une meilleure réactivité des systèmes, importante pour s’adapter aux changements externes.

La spécification au niveau logique des traitements d’intégration, qui restent encore largement organisés en silos, permettra aussi de les rendre plus modulaires et mieux partageables. Dans cette optique, on peut envisager le déport en amont de certaines étapes chez le producteur de données (par exemple des traitements de pseudonymisation ou de recodification sur des smartphones avant le transfert de l’information). Cette problématique est notamment rencontrée dans le cadre des smart statistics . Enfin, cette phase d’intégration automatisée des données prend encore plus son sens aujourd’hui avec la disponibilité massive de données protéiformes provenant de capteurs, d’outils numériques voire de réseaux électroniques/sociaux qui caractérisent la réalité sociale, environnementale et économique. Reste à s’assurer qu’on peut les utiliser pour produire des statistiques de qualité.