L’orientation des élèves se construit tout au long de la scolarité avec des étapes clés en fin de troisième, seconde et terminale. Ainsi, l’orientation en voie professionnelle peut commencer dès la fin de troisième avec un choix entre apprentissage ou voie professionnelle scolaire. L’insertion dans l’emploi étant la première finalité de la formation professionnelle, connaître les taux d’insertion des formations initiales permet d’éclairer les choix des jeunes et de leur famille.

La direction de l’Évaluation, de la prospective et de la performance (Depp) réalise, depuis le début des années 1990, deux enquêtes d’insertion annuelles permettant de suivre l’entrée dans la vie active des sortants d’apprentissage et de voie professionnelle scolaire. Ces opérations apportent des informations précieuses, mais ne permettent pas de publier des statistiques au niveau établissement, compte tenu des taux de réponse observés.

Or, la loi du 5 septembre 2018 pour la Liberté de choisir son avenir professionnel prévoit la publication de statistiques par établissement sur le parcours scolaire et l’insertion dans l’emploi des jeunes en formation professionnelle. Afin de répondre à ce besoin, la Depp et la direction de l’Animation de la recherche, des études et des statistiques (Dares) ont construit un nouveau dispositif : InserJeunes est basé sur l’appariement de sources administratives exhaustives, relatives à la scolarité des élèves et apprentis, à la réussite aux examens, aux contrats d’apprentissage et aux contrats salariés de la déclaration sociale nominative (DSN). Les premiers résultats ont été diffusés début février 2021.

Côté Éducation nationale, les bases sur les élèves peuvent s’apparier sur un identifiant spécifique, l’identifiant national élève (INE). Mais il n’existe pas d’identifiant commun pour apparier les bases « scolarité » des élèves et apprentis, avec les contrats salariés de la DSN. Ces appariements ne sont donc possibles qu’indirectement, et réalisés à partir des cinq variables que sont les noms, prénoms, date et lieu de naissance et le sexe. La mise en place d’un outil d’appariement sur identifiants indirects performant et de qualité est donc un enjeu central d’InserJeunes. Cette problématique bien connue des statisticiens fait l’objet d’une vaste littérature (voir par exemple (Ouvrir dans un nouvel ongletKilss et Alvey, 1985)).

Cet article présente la démarche d’ensemble retenue, les sources principales utilisées, le cadre juridique à respecter ainsi que les choix effectués entre les différentes méthodes et outils informatiques d’appariement sur identifiants indirects.

Le processus principal s’articule autour de plusieurs phases (figure 1). Dans un premier temps, pour une année scolaire donnée, le champ des élèves en année terminale de formation est calculé en mobilisant trois bases de données administratives « scolarité », chacune couvrant une partie du champ d’InserJeunes : l’apprentissage, la voie professionnelle scolaire dans un établissement du ministère de l’Éducation nationale et celle dans un établissement du ministère de l’Agriculture. Ces bases contiennent les variables indirectement identifiantes, ainsi que l’INE, et des informations sur l’établissement et la formation suivie.

Dans une deuxième phase, on établit le champ des élèves sortants, c’est-à-dire ceux qui ne sont plus en formation. Pour ce faire, on recherche, principalement sur l’INE, si ces élèves sont encore présents l’année scolaire suivante dans l’ensemble des bases de données élèves disponibles c’est-à-dire les trois bases déjà mobilisées dans la phase précédente ainsi que trois bases supplémentaires afin d’être le plus exhaustif possible. Tout élève retrouvé est noté comme étant toujours en étude, les autres sont appelés les sortants de formation. Cela permet d’établir le taux de poursuites d’études.

Dans la troisième phase, les bases élèves/apprentis sont enrichies avec leur réussite aux examens (selon les cas cet appariement est réalisé sur l’INE ou sur identifiants indirects), ce qui permet de calculer le taux d’interruption en cours de formation.

Enfin, lors de la quatrième phase, les bases élèves/apprentis sortants sont appariées sur identifiants indirects avec la DSN, ce qui permet de mesurer un taux d’emploi salarié en France des sortants puis la valeur ajoutée de l’établissement sur ce taux d’emploi. La DSN contient des informations détaillées sur les contrats salariés (type de contrat, salaire, quotité de travail, catégorie socioprofessionnelle, etc.) ainsi que sur l’établissement employeur (secteur, commune d’implantation, etc.) : de ce fait, InserJeunes pourra permettre également de réaliser des études statistiques, par exemple, sur l’adéquation formation/emploi.

Dans InserJeunes, le taux d’appariement ne donne aucune indication du niveau de qualité du processus. Par exemple, lorsqu’un sortant n’est pas apparié avec la DSN, il n’est pas possible de savoir si c’est parce qu’il n’est pas en emploi salarié ou en raison d’une erreur dans le processus d’appariement. Mais le dispositif comporte un appariement sur identifiants indirects appelé « appariement qualité », annuel, pour lequel le taux théorique est de 100 % : il s’agit du rapprochement du fichier recensant les apprentis au 31 décembre ayant un contrat d’apprentissage actif avec la DSN. Ainsi, le taux d’appariement réel obtenu constitue un indicateur de la qualité du processus d’appariement.

Le processus statistique InserJeunes comporte au total dix appariements sur identifiants indirects pour chaque année scolaire. La problématique des appariements sur identifiants indirects est donc centrale. Cela implique de mettre au point un processus d’appariement général, puis d’en faire une implémentation informatique générique et rapide.

Figure 1. Les sources du dispositif InserJeunes

Dans InserJeunes, chaque appariement sur identifiants indirects est réalisé entre deux tables individuelles sans double compte. Le processus d’appariement retenu pour InserJeunes (figure 2) comporte cinq étapes successives, comme c’est aussi le cas dans la présentation de Peter Christen (figure 3) (Christen, 2012).

Les données sont tout d’abord normalisées. Puis vient l’étape d’indexation, qui consiste à établir une liste de taille raisonnable de paires « potentiellement intéressantes ». Une paire correspond au croisement d’une ligne de la première table avec une ligne de la seconde table. Chaque paire comporte donc un/des noms, un/des prénoms, une date de naissance, un lieu de naissance et une variable sexe provenant de chacune des deux tables qu’on apparie. En troisième lieu, une similarité est calculée pour chacun des cinq couples d’identifiants indirects de chaque paire (par exemple couple de noms, couple de dates de naissance). Quatrièmement, chaque paire est classifiée : les paires supposées relever du même individu (i.e. lorsque les cinq similarités calculées à l’étape précédente sont suffisamment élevées) sont acceptées et les autres sont rejetées. Enfin, la qualité du processus d’appariement est évaluée.

Figure 2. Le processus d’appariement de deux tables

Les identifiants indirects utilisés dans l’appariement se présentent sous des formats hétérogènes dans les différentes sources mobilisées dans InserJeunes. La normalisation des données, première étape du processus d’appariement, consiste à les recoder selon une structure commune afin de faciliter les traitements ultérieurs.

Pour les noms et les prénoms, les traitements principaux suivants sont réalisés :

Par ailleurs, jour, mois et année des dates de naissance sont stockés dans des variables différentes afin de pouvoir mener des calculs sur les dates de naissance même lorsqu’elles ne sont que partiellement renseignées.

Les sources mobilisées dans InserJeunes sont de bonne qualité. En effet, il n’y a pas de doublons dans les sources principales, il y a très peu de valeurs manquantes sur les identifiants indirects, et le code COG de la commune de naissance, information plus précise que le libellé de la commune, est généralement fourni. Cela est dû au fait que pour tous les élèves, l’immatriculation au Répertoire national des identifiants élèves, étudiants et apprentis a déjà nécessité que l’ensemble des variables identifiantes soient fournies. De même, chaque salarié dans la source DSN fait l’objet d’une procédure de certification du NIR associé, ce qui assure également un niveau de qualité élevé des variables identifiantes.

Pour la deuxième étape, celle de l’indexation des données, une première approche naïve consiste à analyser tous les croisements possibles entre les deux tables. Mais le temps de traitement augmente de manière quadratique avec le nombre d’observations des tables à apparier et donc en pratique, cette méthode n’est plus applicable au-delà d’un certain seuil.

Dans le cas de l’appariement qualité, environ 315 000 apprentis sont rapprochés des 7,5 millions de salariés ayant un contrat actif en décembre de l’année considérée. L’analyse exhaustive de chacune des 2,3 billions de paires possible prendrait plusieurs jours voir plusieurs dizaines de jours.

Par ailleurs, analyser l’ensemble des paires ne présente aucun intérêt. En effet, lorsque les noms ou les prénoms ou les dates de naissance sont très différents, il est extrêmement peu probable que la paire soit acceptée.

L’étape d’indexation a pour objectif d’établir une liste de paires « potentiellement intéressantes » de taille raisonnable. La méthode d’indexation retenue doit conjuguer deux objectifs en apparence contradictoires : élaborer une liste de paires la plus petite possible tout en veillant à obtenir dans cette liste le plus possible de paires relatives au même individu.

La méthode la plus souvent utilisée pour indexer les données consiste à ne conserver que les paires qui partagent la même modalité d’une ou de plusieurs variables indirectement identifiantes, qu’on appelle les clés de blocage (Christen, 2012 ; Jabot et Treyens, 2018). Par exemple si la clé de blocage est le code de la commune de naissance, cela veut dire que seules les paires partageant ce code seront retenues.

Cette méthode n’a pas été choisie pour InserJeunes, car elle présente plusieurs inconvénients. Tout d’abord, elle produit une liste de paires « potentiellement intéressantes » qui reste encore trop importante. En outre, elle conduit à écarter à tort certaines paires. Par exemple, si la clé de blocage est le code de la commune de naissance et si cette variable est mal renseignée pour un individu, alors il ne sera jamais apparié. Enfin, il n’est pas possible d’appliquer de clé de blocage sur les noms ou les prénoms car à la moindre faute de frappe ou d’orthographe, les modalités de la clé de blocage seront différentes. Pour résoudre ce problème, on peut certes remplacer les noms et prénoms par leur version phonétisée. Il existe pour ce faire de nombreux algorithmes phonétiques (encadré 1). Prenons l’exemple d’une paire avec les prénoms « christina » et « kristina ». Ces deux prénoms auront la même version phonétisée avec Phonex (soit c623). A contrario, « peter » et « pedro » ont la même version phonétisée avec Soundex (soit p360), ce qui veut dire qu’on conservera, selon les algorithmes, une liste trop importante de paires « potentiellement intéressantes ». De plus, ces algorithmes phonétiques ont été initialement développés pour la langue anglaise et ils n’ont pas tous été adaptés pour la langue française.

Figure 3. Les cinq étapes définies par Christen

Compte tenu des inconvénients de l’approche classique par clé de blocage, une méthode d’indexation spécifique a été développée pour InserJeunes.

Dans un premier temps, un appariement exact entre les deux tables est réalisé sur l’ensemble des champs suivants : le premier nom, le premier prénom, le jour, le mois et l’année de naissance, le code de la commune de naissance et le sexe. Dans le cadre de l’appariement qualité, cette étape permet d’apparier environ 84 % des apprentis avec la source DSN. Une fois cette étape franchie, il ne reste à apparier qu’environ 50 000 apprentis avec 7,2 millions de salariés ayant un contrat actif en décembre. Le volume de travail est ainsi déjà divisé par un facteur six.

Dans un second temps, l’union (sans doublons) des trois listes de paires suivantes est établie :

InserJeunes utilise la distance de Levenshtein pour les noms et les prénoms. Celle-ci correspond au nombre minimal de caractères qu’il faut supprimer, insérer ou remplacer pour passer d’un nom/prénom à l’autre. L’union des différentes requêtes permet de bien couvrir tous les cas rencontrés fréquemment et ainsi de conserver presque toutes les paires « potentiellement intéressantes ». De plus, comme chaque requête est relativement précise, le nombre de paires « potentiellement intéressantes » retenues n’est pas trop élevé. Pour l’appariement qualité, cette méthode d’indexation conduit à retenir 1 million de paires soit un nombre raisonnable qui pourra être traité suffisamment rapidement lors des étapes ultérieures du processus.

Cette méthode d’indexation fonctionne très bien sur la volumétrie d’InserJeunes mais ne serait peut-être pas adaptée dans le cas de l’appariement de tables de plusieurs dizaines de millions de lignes.

La troisième étape consiste à enrichir chacune des paires déterminées lors de l’indexation, de cinq variables « similarités » sur nom, prénom, date et commune de naissance et sexe. Chaque similarité est une mesure du degré de ressemblance des identifiants indirects considérés. Trois natures de similarités différentes sont utilisées dans InserJeunes selon la nature des variables mobilisées comme identifiants indirects.

Tout d’abord, la similarité de Jaro-Winkler est mise en œuvre pour les noms et prénoms. Cette dernière est une adaptation de la similarité de Jaro développée par le statisticien Winkler qui ajoute une « bonification » lorsque les deux chaînes que l’on compare débutent par un préfixe commun. L’algorithme de calcul de la similarité de Jaro entre deux chaînes de caractères est le suivant :

Il existe de nombreuses autres mesures de la similarité entre noms et prénoms. Par exemple, certaines sont basées sur la comparaison de bigrammes ou trigrammes entre chaînes de caractères, comme la similarité de Jaccard. Cependant il semble qu’il n’en existe pas qui donne des résultats nettement meilleurs que la similarité de Jaro-Winkler, sur les noms et prénoms (Ouvrir dans un nouvel ongletChristen, 2006).

Ensuite, une similarité spécifique à InserJeunes a été élaborée pour les dates de naissances. Par exemple, lorsque deux dates de naissance ne diffèrent que sur le jour de naissance, la similarité est de 0,9 si la différence ne porte que sur un des deux chiffres et de 0,8 sinon. Si les deux dates de naissance ont la même année et que le jour d’une date correspond au mois de l’autre et réciproquement, exemple :

alors la similarité est de 0,65.

Enfin, pour la variable sexe, une similarité binaire est utilisée. Pour la commune de naissance, la similarité est de 1 lorsque les codes COG sont identiques. S’ils sont différents, la similarité est de 0,5 si le code département est identique et de 0 sinon.

La quatrième étape consiste à statuer sur chaque paire, en utilisant les similarités calculées à l’étape précédente. Lorsque les similarités sont élevées, c’est-à-dire proches de 1, la paire est acceptée. Dans le cas contraire, la paire est rejetée.

Une première approche simple consiste à calculer une similarité globale pour chaque paire, fonction strictement croissante des similarités des différents champs. Les paires dont la similarité globale est supérieure à un certain seuil sont acceptées, les autres étant rejetées. La fonction et le seuil retenus sont choisis de manière empirique via l’analyse d’un échantillon de paires dont le statut (accepté ou rejeté) a été annoté manuellement. Cette méthode présente l’avantage de la simplicité mais le choix de la fonction et du seuil demeurent arbitraires, donc rien ne garantit que ces choix soient optimaux.

Compte tenu des limites de la première approche, des classifications mobilisant des algorithmes de machine learning supervisés ont été testées (forêts aléatoires et machines à vecteurs de support ou séparateurs à vaste marge (SVM) (encadré 3)). La démarche consiste à entraîner l’algorithme sur un échantillon de paires dont le statut a été renseigné manuellement, puis à l’appliquer sur les autres paires. Les paramètres optimaux de chaque algorithme sont déterminés par validation croisée en maximisant la métrique f-measure.

Dans le cas de l’appariement qualité, l’approche simple, les forêts aléatoires et les SVM ont tous donné des résultats similaires et excellents donc, au final, la classification artisanale a été retenue pour InserJeunes.

Comment expliquer ce résultat, a priori surprenant ? Une façon de représenter notre problème est de considérer que chaque paire est un point dans un espace à 5 dimensions, celles des 5 similarités (nom, prénom, date de naissance, commune de naissance et sexe). La variable sexe étant très peu discriminante, elle pourrait être éliminée de l’analyse ce qui restreindrait l’espace à 4 dimensions. Dans chaque dimension, les similarités prennent des valeurs entre 0 et 1.

Le problème consiste donc à trouver une frontière de séparation entre les points/paires acceptés et les points/paires rejetés dans un espace [0 ; 1]⁴, soit un espace de toute petite taille. De plus, la zone « proche » du point (1,1,1,1) correspond à la zone dans laquelle se trouvent presque toutes les paires qu’on doit accepter. Ainsi, les points correspondant aux paires qu’il faut accepter ne sont pas trop « mélangés » avec les points correspondant aux paires qu’il faut rejeter. Il est donc relativement facile de résoudre ce type de problème, ce qui explique que toutes les méthodes testées donnent de manière équivalente de très bons résultats.

La classification probabiliste, développée originellement par (Fellegi et Sunter, 1969), est une autre méthode développée spécifiquement dans le cadre des appariements sur identifiants indirects et fréquemment citée dans la littérature. Cette méthode n’a pas été investiguée par l’équipe InserJeunes, car il n’en existe pas, à notre connaissance, d’implémentation rapide dès que le volume de données est assez important.

Étant donné le caractère central des appariements sur identifiants indirects dans InserJeunes, il convenait d’évaluer leur qualité. C’est donc la cinquième et dernière étape du processus.

L’évaluation nécessite de disposer d’un échantillon de paires dont le statut (accepté ou rejeté) a été annoté manuellement et qui n’a pas été utilisé lors de l’étape de classification. Sur cet échantillon, la prédiction issue de la classification supervisée est comparée avec le véritable statut de la paire, c’est-à-dire celui établi manuellement, ce qui permet d’obtenir dans un premier temps quatre grandeurs :

Par exemple, une paire faux négatif est une paire rejetée par l’algorithme de classification mais acceptée par l’humain qui a réalisé l’annotation. À partir de ces quatre grandeurs il est possible d’établir plusieurs mesures de la qualité globale.

La mesure la plus connue est l’accuracy, soit (VP+VN)/ nombre total de paires. Mais comme toute mesure qui utilise les vrais négatifs, elle n’est pas adaptée. Pourquoi ? Parce que les données sont déséquilibrées : il y a beaucoup de paires dont le vrai statut est rejeté et peu de paires dont le vrai statut est accepté. Dans le cas de l’appariement qualité, environ 40 000 paires sont acceptées sur 1 million de paires donc au minimum 950 000 paires ont pour véritable statut « rejeté ». Un classifieur naïf qui rejette 100 % des paires a donc une accuracy d’au moins (0+950 000)/ (1 000 000) soit 95 %.

Trois autres mesures ont donc été retenues dans le dispositif InserJeunes :

Dans le cas de l’appariement qualité, la précision vaut 95 % et le rappel 99 %. Au total, 97 % des apprentis sont appariés dans l’appariement qualité (84 % via l’appariement direct et 13 % via l’appariement approché) soit un taux d’appariement proche du taux théorique de 100 %.

Plusieurs logiciels d’appariement ont été testés dans le cadre du projet InserJeunes : FEBRL de Peter Christen, matchID développé au ministère de l’Intérieur et deux librairies R. En R, la meilleure implémentation semble être la librairie R fastlink, mais d’après la documentation elle met environ 8 heures pour traiter l’appariement de tables de 300 000 lignes et elle s’appuie sur la classification probabiliste de Fellegi et Sunter. Seul l’outil matchID répondait aux besoins mais sa mise en œuvre s’est avérée relativement complexe.

L’équipe InserJeunes a également étudié la documentation concernant d’autres logiciels. L’institut national de statistiques italien Istat a développé un outil nommé RELAIS qui implémente notamment la classification probabiliste ; mais à partir de 100 000 observations, le temps de traitement est d’environ 1h15 (Eurostat, 2009). Aux États-Unis, le bureau du Census a de son côté conçu l’outil bigMatch spécifiquement pour traiter de gros volumes, mais il semble ne réaliser que la phase d’indexation des données et il est écrit en C, ce qui complique son intégration avec des outils de machine learning.

Suite à ce travail de comparaison, il a été décidé de développer un outil spécifique qui réponde à quatre grands besoins d’InserJeunes :

L’outil d’appariement d’InserJeunes sera mis à disposition en open source à l’été 2021. Cependant, pour des projets d’appariement sur des tables nettement plus volumineuses, l’outil matchID semble plus adapté notamment parce qu’il réalise l’indexation via des requêtes elastic search et non pas via des requêtes SQL.

À la lumière de l’expérience acquise au cours du projet InserJeunes, quels enseignements tirer ?

En premier lieu, il est manifeste que la qualité globale du processus d’appariement dépend très fortement de la qualité des variables identifiantes indirectes. Le contexte d’InserJeunes était favorable, car les variables sont bien renseignées dans les bases mobilisées. Le respect de chacune des étapes se révèle effectivement indispensable à la réussite de l’opération : bien normaliser les données afin de faciliter les traitements ultérieurs, consacrer du temps à déterminer la meilleure façon de calculer les similarités (ce travail s’appelle le « feature engineering » en machine learning) afin d’augmenter sensiblement la qualité de la classification, aucune de ces activités n’est superflue. L’évaluation, quand elle s’appuie sur un échantillon de paires annotées manuellement n’ayant pas été utilisées dans l’étape de classification, permet de garantir la qualité globale du processus et en particulier de vérifier qu’il n’y a pas eu de sur-apprentissage. Pour InserJeunes, pouvoir réaliser un « appariement qualité » annuel est une chance, mais tous les systèmes d’informations ne s’y prêteront pas.

Du point de vue informatique le fait de s’appuyer sur plusieurs librairies open source a permis de réaliser les développements dans des délais courts. Le choix de décrire chaque spécification d’appariement en XML, respectant un langage spécifique d’appariement a permis de spécifier puis d’intégrer rapidement dans la chaîne de production tous les appariements nécessaires à InserJeunes. Globalement, ces choix ont permis d’achever la mise en œuvre du cœur d’InserJeunes fin 2020, puis de diffuser début février 2021 les premiers résultats sur les jeunes sortants de voie professionnelle scolaire et par apprentissage à l’été 2018 et 2019.

Ouvrir dans un nouvel ongletLoi n° 2018-771 du 5 septembre 2018 pour la liberté de choisir son avenir professionnel. In : site de Légifrance. [en ligne]. [Consulté le 27 mai 2021].

Ouvrir dans un nouvel ongletLoi n° 51-711 du 7 juin 1951 sur l’Obligation, la coordination et le secret en matière de statistiques. In : site de Légifrance. [en ligne]. Mise à jour du 25 mars 2019. [Consulté le 27 mai 2021].

Ouvrir dans un nouvel ongletRèglement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données. In : site EUR-Lex. [en ligne]. [Consulté le 27 mai 2021].