Courrier des statistiques N12 - 2024

Dans ce numéro N12, plusieurs services statistiques ministériels (SSM) présentent leur domaine d’activité. Le premier article nous fait découvrir les statistiques du commerce extérieur, de son origine à nos jours, un récit ponctué d’anecdotes surprenantes. Puis le CépiDc (Centre d’épidémiologie sur les causes médicales de décès) de l’Inserm explique pourquoi la mesure précise des causes de décès est essentielle. Pour cela, il est nécessaire de coder les certificats de décès en utilisant des méthodes de plus en plus automatisées.
Comment réaliser des indicateurs sur l’insertion professionnelle des étudiants quittant l’enseignement supérieur 

Un troisième article décrit le dispositif InserSup, fondé sur des appariements successifs de fichiers.

On change d’environnement avec un article sur les statistiques de la culture. Depuis plus de 60 ans, les enquêtes objectivent les pratiques culturelles afin d’aider aux politiques. Les innovations technologiques et les enjeux économiques sont décrits minutieusement.

Retour à l’Insee avec un article socle sur les statistiques structurelles d’entreprises et leur évolution depuis les années 70 à nos jours.

L’article suivant illustre l’utilisation des données bancaires à des fins statistiques pour documenter la situation financière des Français et met en évidence les opportunités et limites des données privées pour la statistique publique.

Enfin, un article institutionnel explique le processus de la revue par les pairs, démarche menée au niveau européen pour s’assurer du respect du Code des bonnes pratiques.

Courrier des statistiques
Paru le :Paru le16/12/2024
Mylène Chaleix, cheffe de l’unité Qualité, DMCSI, Insee, mylene.chaleix@insee.fr et Jean-Michel Durr, inspecteur général honoraire de l’Insee, pair pour les 2e et 3e cycles de revues, jmdurr@caos-consulting.com
Courrier des statistiques- Décembre 2024
Consulter

Les revues par les pairs : un levier au service de la statistique publique

Mylène Chaleix, cheffe de l’unité Qualité, DMCSI, Insee, mylene.chaleix@insee.fr et Jean-Michel Durr, inspecteur général honoraire de l’Insee, pair pour les 2e et 3e cycles de revues, jmdurr@caos-consulting.com

La confiance dans les statistiques officielles est devenue un enjeu majeur au XXIe siècle. Pour donner des gages sur leur qualité, le système statistique européen s’est doté en 2005 d’une référence : le Code de bonnes pratiques. Il s’est également donné les moyens d’évaluer la conformité à ce Code des systèmes statistiques nationaux et européen en organisant des revues par les pairs tous les sept à huit ans. Ces revues visent non seulement à en vérifier la conformité, mais également à améliorer les systèmes européens et nationaux.

Après avoir détaillé le fonctionnement des revues, des exemples illustrent l'efficacité du dispositif pour faire progresser l'ensemble des pays européens tout en respectant leurs spécificités. Il contribue à la fois à renforcer la gouvernance et l’organisation des systèmes statistiques et à harmoniser et diffuser des bonnes pratiques dans les différents pays.

En conclusion, sont évoquées les réflexions en cours sur l'évolution possible de la méthodologie des revues et du Code de bonnes pratiques pour renforcer la confiance dans les statistiques officielles.

Les statisticiens publics partagent depuis longtemps des valeurs éthiques sur l’indépendance professionnelle, la rigueur scientifique et la neutralité, le secret statistique et la confidentialité, la comparabilité. Ces valeurs sont souvent reprises dans les lois statistiques nationales. Les premières chartes ou déclarations ont été formalisées par (ISI) en 1985 (Ouvrir dans un nouvel ongletInternational Statistical Institute, 2010) ou par la commission statistique de l’ONU adoptée en 1994 (Ouvrir dans un nouvel ongletUnited Nations, 2014). Les statisticiens français ont publié un premier code de déontologie en 1986.

. Dès 1959, Eurostat est créé et les principes d’impartialité, comparabilité, objectivité, indépendance scientifique et secret statistique, ainsi que la limitation de la charge des répondants sont présents dans la première loi statistique européenne de 1997 après la parution d’une première politique pour les informations statistiques en 1988. Mais en 2005, avec notamment (Ouvrir dans un nouvel ongletErnoult, 2012), le besoin de garantir la crédibilité des statistiques est de plus en plus présent et va adopter un cadre partagé alliant déontologie (valeurs) et qualité (des statistiques produites), première étape pour aller au-delà des simples intentions des déclarations précédentes. () est né le 24 février 2005, reste à lui donner un statut officiel.

En 2009, le CoP acquiert un statut réglementaire avec le . Ce texte définit les termes, il précise la gouvernance et la coopération au sein de la statistique européenne et avec les chercheurs, mais également les principes éthiques (indépendance professionnelle, impartialité, objectivité, fiabilité, secret statistique, rapport coût/efficacité) dans son article 2. Le Code de bonnes pratiques devient la référence pour les statisticiens (article 11) et la qualité des statistiques produites (principes de pertinence, exactitude, ponctualité, accessibilité et clarté, comparabilité, cohérence) dans son article 12. Le code actuel comporte 16 principes regroupés selon 3 domaines : un domaine reprenant les principes attendus pour la qualité des produits (orienté utilisateur), un domaine sur la qualité des processus (orienté producteur) et enfin le domaine institutionnel qui reprend les principes éthiques (encadré).

Encadré - Le Code de bonnes pratiques de la statistique européenne, en vigueur en 2024

La déclinaison opérationnelle du Code

La statistique européenne est organisée autour d’Eurostat et des systèmes statistiques nationaux des États membres. Il est indispensable de s’assurer aux niveaux national et européen de la qualité des statistiques produites en partageant le même référentiel. Le CoP a ainsi été décliné en indicateurs plus opérationnels pour permettre d’évaluer la conformité aux principes du code.

Enfin, le dispositif a également été complété en 2011 par un qui propose des méthodes, outils et bonnes pratiques à mettre en œuvre pour illustrer les principes et les indicateurs.

Ainsi, le principe « Mandat pour la collecte et l’accès aux données » s’énonce de la manière suivante : « Les autorités statistiques disposent d’un mandat légal clair les habilitant à collecter et à accéder à des informations issues de sources de données multiples pour les besoins des statistiques européennes. À la demande des autorités statistiques, les administrations, les entreprises et les ménages ainsi que le public en général peuvent être contraints par la loi à permettre l’accès à des données ou à fournir des données pour l’établissement de statistiques européennes. »

Ce principe se décline en quatre indicateurs :

  1. Le mandat des autorités statistiques les habilitant à collecter des informations issues de multiples sources de données et à y accéder pour l’élaboration, la production et la diffusion des statistiques européennes est inscrit dans le droit.
  2. Les autorités statistiques sont autorisées par la législation à accéder rapidement et gratuitement aux données administratives et à les utiliser à des fins statistiques. Elles participent, dès le démarrage, à la conception, au développement et à l’abandon des fichiers administratifs, afin, le cas échéant, de rendre leurs données plus adaptées à des finalités statistiques.
  3. Les autorités statistiques peuvent rendre obligatoire la réponse aux enquêtes statistiques en se fondant sur un acte juridique.
  4. L’accès à d’autres données, telles que les données privées, à des fins statistiques est facilité, dans le respect du secret statistique et de la protection des données.

Parmi les bonnes pratiques proposées concernant les données administratives, on peut citer : la disponibilité de la législation, l’existence de procédures pour explorer, collecter et accéder aux données, le caractère obligatoire de la transmission et le principe de gratuité, l’existence de , les accords et la coopération.

Certains engagements peuvent relever de plusieurs principes. Par exemple, l’annonce des calendriers de diffusion des publications statistiques relève à la fois du principe d’impartialité et objectivité (« Les autorités statistiques décident en toute indépendance, de la date de parution et du contenu des publications statistiques [...] » ou encore « Les dates et heures de parution des statistiques sont annoncées à l’avance. ») et du principe d’indépendance professionnelle (« Les responsables des instituts nationaux de statistique, d’Eurostat et, le cas échéant des autres autorités statistiques sont les seuls compétents pour décider [...] du contenu et de la date de diffusion des publications statistiques. »).

La naissance des revues par les pairs

Avec le CoP, la statistique européenne s’est dotée d’une référence. Pour en assurer la crédibilité, il faut pouvoir prouver son application. Il est donc nécessaire de mettre en place un mécanisme de vérification de la conformité au CoP. Sous quelle forme ?

Inspirées des revues par les pairs du milieu scientifique (évaluation d’article, projet ou laboratoire de recherche par d’autres chercheurs, les « pairs », sur la base d’un référentiel partagé), les revues par les pairs du système statistique européen ont pour premier objectif de vérifier la conformité aux principes du CoP et de garantir la qualité des statistiques européennes, dans l’esprit d’un audit. Au-delà de la conformité, elles visent à mettre en œuvre des plans d’actions d’amélioration et de diffusion des bonnes pratiques et ainsi participer à leur harmonisation. Pour cela, les revues les mettent en avant et formulent des recommandations tournées vers l’avenir. L'objectif est d'aider les instituts nationaux de statistique (INS), les autres autorités nationales () qui conçoivent, produisent et diffusent des statistiques européennes et Eurostat à améliorer et à développer les systèmes statistiques nationaux et européen d’un cycle à un autre. Le caractère public des rapports permet également d’encourager les gouvernements des États membres à soutenir la mise en œuvre des plans d’actions. Dans le cadre du programme de coopération statistique panafricain financé par l’Union européenne, les pays africains se dotent eux aussi d’un mécanisme de revue par les pairs pour évaluer la maturité de leurs systèmes statistiques nationaux.

Les revues par les pairs évaluent un système statistique national et non l’élaboration d’une statistique donnée. D’autres dispositifs existent pour juger de la qualité des statistiques sous règlement européen, avec notamment la fourniture de rapports Qualité par les États membres. Le cas échéant, des évaluations, ponctuelles ou prévues dans les règlements sectoriels, peuvent être décidées sur une opération statistique donnée, pour l’ensemble ou certains pays. Par exemple, le dispositif de (Indice des prix à la consommation harmonisé) repose sur la fourniture d’une documentation détaillée par les États membres, une analyse approfondie des données, des métadonnées et des méthodes par Eurostat, ainsi que sur un dialogue ouvert avec les experts nationaux avec parfois une visite, ce qui fut le cas pour la France en 2024. Les rapports sont publiés sur le site d’Eurostat et peuvent comporter des recommandations.

Le protocole de revue par les pairs d'Eurostat est adapté à son rôle particulier et la « revue » est réalisée depuis le 2e cycle par le Conseil consultatif européen pour la gouvernance statistique créé en 2008 l'ESGAB – European Statistical Governance Advisory Board –, équivalent européen de l’ – pour la France (Bureau, 2020).

Mais comment procéder ?

Le périmètre

Un cycle de revue par les pairs s’appuie sur l’évaluation des principes du CoP et, depuis le 2e cycle (2014-2017), il porte sur l'ensemble du système statistique national des États membres. L’exigence sur la conformité aux principes augmente d’un cycle à un autre.

Le principe de la revue nécessite donc de clarifier ce que l’on entend par système statistique national. Il est composé de l’INS et des ONA. Le nombre de ces derniers varie selon les pays : de zéro ONA pour les Pays-Bas à une trentaine pour l’Allemagne. participent directement à des statistiques européennes ainsi que le pour , le (Gadouche, 2019) étant le douzième ONA. Tous les ONA ne sont pas concernés par la revue. Les INS ont un rôle de coordination dans le système statistique national et décident quels ONA sont sélectionnés pour la phase d'autoévaluation et invités à la visite d'évaluation par les pairs, sur la base des critères de sélection prédéfinis tels que l'importance de la production de statistiques européennes, en volume et en signification.

Pour le 3e cycle (2021-2023), trois ont ainsi directement participé à la revue française : la (chargé de la santé et des solidarités), le (chargé de l’énergie, du logement, des transports et de l’environnement) et le (chargé de l’agriculture et de l’alimentation).

Les principes retenus

Ils ont fait l’objet d’un accord commun au sein du système statistique européen (SSE), sur les objectifs, la portée et les modalités de mise en oeuvre. a été développée par un comité d’experts animé par Eurostat sur la base des enseignements du 2e cycle. Elle s’organise autour d’une autoévaluation et d’une visite par une équipe d’experts (les pairs).

L’approche retenue est une combinaison d’une démarche de type audit et d'examen par les pairs. Elle consiste en l’implication d'experts externes pour garantir :

  • la crédibilité et l'objectivité des examens par les pairs ;
  • la fourniture de documents comme preuves des déclarations ;
  • la pleine responsabilité des recommandations de l'équipe d'experts chargée de l'examen par les pairs ;
  • et le droit pour les INS d'exprimer des opinions divergentes sur les recommandations d'amélioration formulées par l'équipe d'experts.

Les éventuelles opinions divergentes sont publiées avec le rapport d'examen par les pairs, dans une annexe. Enfin, dans son plan d’actions, l'INS formule les actions d'amélioration retenues en réponse aux recommandations.

En outre, la troisième série d'évaluations par les pairs visait à identifier les progrès réalisés par rapport à la revue précédente dans l'adhésion aux principes du Code de bonnes pratiques et également les domaines dans lesquels la collaboration au sein du SSE pouvait être améliorée.

La fréquence

L’exercice est exigeant. Pour chaque pays, de l’autoévaluation à la validation du plan d’actions, il s’écoule environ deux ans ; quant au plan d’actions, il s’étale généralement sur une période de cinq ans. La revue ne peut donc être renouvelée que tous les sept à huit ans.

Au niveau européen, la partie opérationnelle de chaque cycle dure au moins trois ans (figure 1)  ; les « visites dans les pays » s’étalent sur deux ans et demi (figure 2).

Figure 1 - Revues par les pairs et évènements marquants pour le système statistique français

 

Entre deux cycles et pendant l’étape de suivi des plans d’action, la préparation du cycle suivant s’organise avec la révision du Code de bonnes pratiques et celle du cadre d’assurance Qualité mais également avec l’évolution de la méthodologie, la préparation de la communication et le recrutement des pairs du prochain cycle.

Figure 2 - Calendrier du troisième cycle de reves par les pairs

 

Le 3e cycle (2021-2023)

Le processus général...

Chaque revue par les pairs dans un pays est confiée à une équipe composée de quatre experts, dont au moins un expert externe au système statistique européen et un expert d'Eurostat, afin de permettre une combinaison équilibrée de compétences, de connaissances et d'aptitudes : expérience en tant que cadre supérieur dans un INS/ONA, connaissance du fonctionnement d'un système statistique national, connaissance des développements stratégiques en matière de statistiques aux niveaux national, européen et international, connaissance des évolutions récentes dans le SSE, expertise en matière de statistiques et d'activités de modernisation, participation active à des activités liées au SSE. Huit équipes de quatre pairs ont ainsi été constituées. L’exercice est intense et stimulant pour les membres de l’équipe des pairs. Il s’agit de comprendre rapidement le fonctionnement, mais également les forces et les faiblesses d’un système statistique national dans la mise en application du CoP et de formuler des recommandations pertinentes (Ouvrir dans un nouvel ongletEurostat, 2023).

Pour ce 3e cycle de revues, les pairs devaient tout particulièrement être vigilants sur les principes relatifs à l’indépendance professionnelle et la coordination du système statistique national et sur les principes porteurs de modernisation (notamment sur l’accès aux données, les engagements Qualité, la méthodologie statistique robuste et adaptée, l’accessibilité et la clarté de l’accès aux statistiques).

Pour chaque pays, le processus comportait quatre étapes :

  1. Une autoévaluation par le système statistique national portant sur la conformité des 84 indicateurs, sur les 16 principes et un questionnaire complémentaire plus prospectif sur les adaptations et innovations du système statistique national notamment en réponse à la crise sanitaire de 2020-2021. Pour les ONA inclus dans la revue, le questionnaire était simplifié.
  2. Une visite d’une semaine de l'équipe des pairs pendant laquelle ces derniers rencontraient des experts et des responsables de l'INS et des ONA inclus dans la revue, ainsi que des parties prenantes externes, notamment des journalistes, des associations professionnelles, des chercheurs, des pouvoirs publics et des organismes consultatifs ou encore quelques jeunes statisticiens. Lors d’un débriefing à la fin de la visite, l’équipe des pairs présentait ses recommandations aux équipes de direction de l’INS et des ONA ayant fait partie de la revue. Deux sortes de recommandations étaient formulées : des recommandations fondamentales pour assurer la conformité avec le CoP et des recommandations moins critiques, ou plus techniques, suggérant des améliorations dans la mise en œuvre du CoP.
  3. Dans les semaines suivant la visite, un rapport d'évaluation rédigé par l'équipe des pairs. Il contenait, outre ses recommandations, une présentation du service statistique national, une évaluation des progrès réalisés depuis cinq ans, les forces du service statistique dans la conformité au CoP, y compris les innovations réalisées, et les recommandations regroupées autour de questions ou de thèmes généraux identifiés, avec une référence au(x) principe(s) et à l'(aux) indicateur(s) concerné(s). Ce rapport était ensuite transmis à Eurostat pour validation et harmonisation ainsi qu’à l’INS et aux ONA concernés pour réaction et si nécessaire expression de vues divergentes dans un chapitre spécifique.
  4. Un plan d’actions d'amélioration établi par le service statistique national, une fois le rapport finalisé.

Par la suite, un suivi annuel de la mise en œuvre de ces actions d'amélioration était piloté par Eurostat. Par souci de transparence, les rapports et les plans d’actions sont publiés sur les sites internet des INS et sur celui d’Eurostat.

Une revue par les pairs est un moment important pour le service statistique d’un pays. Cet exercice est exigeant et complexe par son approche transversale et non par processus métier.

... et en France

Dans un contexte contrarié par la crise sanitaire du Covid, la France a été le premier pays concerné par le 3e cycle (Insee, 2022). , le choix a été fait d’associer pendant la phase de préparation l’ensemble du service statistique public (l’Insee et les 16 SSM) ainsi que le CépiDc et le CASD (ONA pour l’Europe) ou encore la Banque de France pour « embarquer » l’ensemble des « parties prenantes » dans l’exercice. L’organisation s’est appuyée sur des relais : un cercle rapproché de et des ambassadeurs dans les  ; elle a également associé les institutionnels : ASP, (Anxionnaz et Maurel, 2021) et le Comité du Label (Christine et Roth, 2020).

L’établissement des documents préparatoires (présentation générale du système statistique, questionnaires d’autoévaluation et complémentaire) a été l’occasion d’un exercice collectif démarré fin 2019 à la fois pour confirmer les éléments de preuves et les bonnes pratiques identifiées, et pour proposer des argumentaires et des positions pour l’autoévaluation. L’exercice s’est poursuivi avec l’établissement de synthèses par principe et la cotation de la conformité au CoP. Les échanges au sein du ont permis de dégager les forces et faiblesses. Cette approche a permis de travailler dès le début sur les axes de progrès identifiés en interne.

Les trois SSM participant à la revue ont renseigné le questionnaire d’autoévaluation dédié avec l’appui de l’unité Qualité. Après échanges avec les SSM, les documents ont été validés en comité de direction de l’Insee et envoyés à Eurostat en mars 2021.

L’étape suivante a été la préparation de la visite, programmée du 28 juin au 2 juillet 2021. . Des allers-retours avec les pairs ont été nécessaires pour préciser leurs attentes et pour convier les bonnes personnes aux différentes sessions organisées par principe, par acteurs (institutionnels, utilisateurs) et pour chaque ONA audité. Les échanges ont été à la fois libres et bienveillants.

À la fin de la visite, les pairs ont donné les grandes lignes de leur rapport qui a été envoyé la semaine suivante, et diffusé officiellement en septembre 2021.

La rédaction du plan d’actions a été grandement facilitée par tout le travail préparatoire à la revue. Il a été finalisé au second semestre 2021 et, après échanges avec Eurostat, publié en mars 2022. Le choix a été fait de proposer des actions très proches des recommandations du plan d’actions européen et d’élargir au niveau de la stratégie Qualité 2022-2027 en ajoutant des axes et thèmes jugés importants qui n’avaient pas été pointés par les pairs (par exemple sur l’attention à porter aux publics pour ne pas limiter les actions à celles en faveur des chercheurs).

Mais concrètement, quels sont les résultats du cycle 2021-2023 de la revue par les pairs ?

Résultats du 3e cycle

En Europe...

Les revues ont mis en évidence les progrès notables réalisés sur la gouvernance des systèmes statistiques nationaux. Dans de nombreux pays, attirer un personnel diplômé et développer les compétences restent des enjeux importants.

Sur le management de la qualité (c’est-à-dire gouvernance de la qualité, outillage, revues de processus, etc.), les progrès réalisés après le 2e cycle se poursuivent ; certains pays comme le Portugal ont choisi de demander une .

Concernant l’accès et l’utilisation des données administratives pour élaborer les statistiques, des progrès ont été réalisés pour que les services statistiques soient mieux insérés dans les processus de décisions de recueils administratifs et informés des évolutions des recueils permettant un recours généralisé à ce type de données en Europe. La crise sanitaire de Covid a été un levier supplémentaire pour investir dans de . L’accès aux données privées a été repris par de nombreux pays comme axe d’amélioration pour les prochaines années, accès qui devrait être facilité par l’évolution de la loi statistique européenne ().

De nombreux pays ont entrepris une modernisation substantielle de leur production statistique, grâce à des portails pour la collecte des données via des questionnaires en ligne, le traitement automatisé des données, la standardisation des processus ou encore le recours à des méthodes d'apprentissage automatique. On peut citer également la mise en place de systèmes d'information statistique modernes basés sur l’activation des métadonnées et couvrant tout ou partie de l'ensemble de la chaîne de production.

Enfin dans le domaine de la diffusion, des approches plus centrées sur l’utilisateur se sont développées en proposant différents types de canaux en fonction des types d’utilisateurs. Les INS ont également investi les questions de littératie statistique en développant des partenariats avec le monde éducatif et universitaire ainsi qu’avec les médias à l’instar de la compétition européenne de statistique pour les 14-18 ans. La crise sanitaire a favorisé l’innovation avec la diffusion de statistiques dites expérimentales (c’est-à-dire produites à partir de nouvelles données ou faisant appel à de nouvelles méthodes) sans attendre de disposer du recul nécessaire pour en assurer la robustesse et les rendre officielles.

Les pairs ont également identifié le rôle d’intendant des données (data stewardship) dans quelques INS, positionnés comme acteurs clés de l'écosystème national des données, compte tenu de leur expertise dans les pratiques de gestion, d'accès et de partage des données dans le secteur public. Le rôle des INS dans l'écosystème des données peut être très différent, depuis un rôle minimal de service national de statistique à un fonctionnement en tant que responsable des données du secteur public doté de l'autorité de gouvernance requise.

Au total, 581 recommandations ont été émises lors du 3e cycle, soit une moyenne de 19 par pays (tableau). Avec un degré d’exigence supérieur à celui des revues précédentes, seules 12 % des recommandations concerne un manquement au CoP, signifiant que le niveau de conformité des autorités statistiques nationales est élevé. Ces 68 recommandations concernent principalement les principes du domaine institutionnel : 21 sur l’indépendance professionnelle (en particulier sur les processus de nomination des responsables des INS ou des ONA), 16 sur la coordination et 12 sur l’impartialité et l’objectivité (gestion des accès anticipés et calendriers de diffusion notamment).

Toutes les autres recommandations, soit près de 88 %, portent sur des améliorations possibles de la mise en œuvre du CoP sur la quasi-totalité des principes du Code.

Tableau : Les recommandations du 3e cycle par principe du CoP pour les 31 pays

... et en France

Les pairs sont venus, ont vu et ont conclu… pour la France à un « niveau élevé de conformité aux principes du CoP dans tout le SSP », tout particulièrement grâce à la qui a su s’enrichir au fil des dernières décennies, à une structure et une gouvernance de la statistique publique française très efficaces et à des ressources adaptées. Les pairs ont formulé 16 recommandations pour poursuivre la démarche d’amélioration continue de la qualité, dont une seule de conformité.

Sur l’environnement institutionnel, la recommandation de conformité porte sur la . En effet, le CoP est particulièrement vigilant sur les procédures de nomination des responsables pour assurer l’indépendance professionnelle des INS et des ONA. Les pairs ont jugé que les progrès réalisés avec la mise en place d’un comité d’audition et la possibilité pour l’ASP de rendre un avis public sur les compétences des candidats étaient insuffisants, en particulier sur le début du processus de recrutement et la publicité sur la vacance des postes, et la procédure peu connue. Selon le cas, il s’agit surtout de gagner en lisibilité en portant à la connaissance du public la procédure ou d’élargir le rôle de l’Autorité de la statistique publique au cas des chefs de SSM qui ne sont pas directeurs d’administration centrale (actions réalisées en 2021). Par ailleurs, les pairs ont recommandé de mettre en place et de promouvoir un logo spécifique « Service statistique public », projet également en cours au sein du SSP.

Les pairs ont estimé que le service statistique public français (SSP) devrait poursuivre l’élargissement des conditions d’accès aux données privées au-delà de ce qui est déjà prévu par l’article 3bis de la loi de 1951 (remplacement d’enquêtes statistiques obligatoires), mais également mobiliser l’Insee et les SSM dans la conception, le développement et l'éventuelle évolution des sources administratives afin de les rendre plus adaptées aux usages statistiques (Ouvrir dans un nouvel ongletHand, 2018).

Sur la qualité et la documentation des processus, les pairs encouragent le SSP à poursuivre ses efforts de formalisation et de généralisation pour rester sur une dynamique d’amélioration des processus (démarches Qualité, documentation, métadonnées, etc.) et de facilitation des transmissions de compétences lors des mobilités.

Enfin sur l’accès aux données, les pairs encouragent le SSP français à poursuivre ses initiatives pour rendre les données de plus en plus accessibles à tous les publics.

À partir de ces recommandations, le SSP a construit un plan d’actions d’amélioration en 36 actions. Par exemple, pour la recommandation d’« améliorer la navigation sur son site web pour tous types d’utilisateurs et optimiser le moteur de recherche de son site pour faciliter l’accès aux statistiques diffusées », le plan comporte deux actions. La première concerne l’amélioration du moteur de recherche et de l’accès aux données sur le site internet (réalisée en 2023), la seconde la publication d’un catalogue de jeux de données de l’Insee sur son site, réalisée en 2024 avec le déploiement du projet Mélodi (Mauguin et Sagnes, 2024).

Le dispositif des revues par les pairs est très formalisé et peut apparaître bureaucratique par certains aspects (lourdeur du questionnaire d’autoévaluation et éléments de preuve à fournir notamment). Il est cependant important à la fois de garantir l’objectivité des réponses et d’assurer l’équité entre pays. Il s’avère en pratique très efficace pour faire progresser l’ensemble des pays européens en respectant la culture et le rythme de chacun des pays.

Les revues, un levier pour progresser

Des progrès significatifs en Europe

Sur les vingt dernières années et après trois cycles de revues par les pairs, des progrès significatifs ont été constatés. Prenons trois exemples emblématiques.

  • Premier exemple : le renforcement de la gouvernance et de la coordination des systèmes statistiques nationaux et du SSE.

L’inscription des principes d’indépendance professionnelle et de coordination du système statistique national s’est progressivement imposée dans les lois statistiques nationales. Certains pays le font à un rythme régulier en fonction des opportunités, d’autres à intervalles plus longs.

Sur la gouvernance de la statistique publique, les pays qui n’en disposaient pas se sont progressivement dotés de comités de concertation avec les utilisateurs, et d’une autorité ou d’un dispositif indépendant permettant de veiller au respect des principes du Code. Cependant, l’organisation des systèmes statistiques nationaux et le rattachement administratif des INS ou des ONA restent très hétérogènes et liés à l’organisation étatique des pays (double niveau fédéral/régional, administration rattachée à un ministère ou au Conseil des ministres, agence indépendante).

En Allemagne (Alexandre et Cling, 2019) : l’organisation du système statistique national est adaptée à un système fédéral avec un office fédéral central (Destatis), indépendants pour les 16 Länder. Le règlement 223 et la revue par les pairs en 2015 ont été des leviers pour renforcer le rôle de coordination de Destatis. Cette coordination se traduit par une méthodologie unique pour les statistiques fédérales (un tiers sont directement produites par Destatis) et une coopération sur des outils mutualisés, complétées par la mise en place d’un pilotage par la qualité pour les offices des Länder.

L'Italie est organisée différemment. Mis en place en 1989, . Seuls 13 de ces multiples organismes sont actuellement qualifiés d’ONA participant directement à l’élaboration de statistiques européenne. La coordination est pilotée par Istat (INS italien) et s’appuie sur une politique Qualité à deux niveaux d’exigence (Istat et ONA avec la conformité au Code, les autres offices statistiques avec un « CoP italien » – version simplifiée du Code).

  • Deuxième exemple : le développement des bonnes pratiques dans les INS avec des conséquences possibles sur les relations avec les chercheurs.

Les relations avec le monde académique relèvent de plusieurs principes du Code de bonnes pratiques. Avec les universitaires, elles sont encouragées à la fois au titre de la coopération mais également pour améliorer la méthodologie, l’efficacité des méthodes employées et encourager le développement d’outils performants (méthodologie solide). L’accès aux micro-données pour les chercheurs est présent dans le principe d’accessibilité et de clarté avec en contrepartie des protocoles stricts pour assurer le respect du secret statistique et de la protection des données individuelles du principe éponyme.

La diffusion des bonnes pratiques ou d'innovations d'un pays à un autre a permis des progrès significatifs alors qu'existaient des situations très disparates (accès interdits, procédures non formalisées, accueils sur site, premiers sites sécurisés à distance notamment au Danemark et aux Pays-Bas). En France, cela s'est traduit par l'évolution de la loi statistique en 2009 et la création du CASD en 2010. Des avancées similaires ont eu lieu dans d'autres pays, par exemple en Allemagne, Espagne, Portugal, etc. Le règlement européen () permet désormais aux chercheurs d'accéder aux données harmonisées. Enfin, certains centres sécurisés se sont organisés en réseau (Idan) en 2019 et en Autriche, l'interdiction de transmettre les données aux chercheurs a été levée avec l'ouverture d'un centre d'accès en 2023.

  • Troisième exemple : les pratiques de diffusion.

Le partage entre systèmes statistiques nationaux et européen des bonnes pratiques, des argumentaires et une formalisation plus forte des calendriers de diffusion, de la gestion des accès anticipés ou encore de la gestion des révisions et des erreurs contribuent aux principes de transparence et d’impartialité. Si l’indépendance des INS sur le choix des dates de parution et des contenus des publications statistiques ne fait pas débat, les accès privilégiés dans certains pays sont beaucoup plus discutés. Faut-il les interdire ?

Faut-il les conserver pour éviter de mauvaises interprétations ou la remise en cause des chiffres en ne laissant pas aux décideurs politiques le temps de construire leur argumentaire ? Le Code ne l’interdit pas mais fixe des règles de plus en plus strictes : justification, limitation des accès anticipés pour quelques décideurs publics et quelques journalistes totalement identifiés et en cas de rupture d’embargo (statistique révélée avant l’heure de diffusion officielle), l’existence de procédures pour garantir l’égalité de traitement. Près de la moitié des pays européens avaient renoncé aux accès anticipés avant le 3e cycle de revue.

Dans d’autres domaines, les revues peuvent ne pas être adaptées compte tenu de leur méthodologie et de leur rythme tous les sept à huit ans. Dans le cas du recours aux données privées, le levier a plutôt été les task forces ou les .

Des conséquences concrètes en France

La conformité du service statistique public français a toujours été soulignée lors des revues, mais il peut pécher parfois par manque de formalisme. À cet égard, les revues ont été un soutien décisif à l'amélioration de la statistique publique française depuis l'adoption du CoP et une réelle opportunité pour obtenir un levier positif dans certains domaines. En effet, le caractère engageant des plans d’actions et le suivi réalisé annuellement permet d’objectiver les progrès même si après quelques années, on a parfois oublié la situation précédente : 15 ans après sa création, le rôle de l’ASP est connu et reconnu par les statisticiens publics.

Le soutien à l’amélioration est particulièrement visible sur la formalisation de l'indépendance professionnelle ou sur l’accès des chercheurs aux données de la statistique publique (1re revue). Il a également permis de formaliser des approches de la qualité et les cadres d'assurance (2e revue) et de progresser dans l’accès aux données administratives et privées (lors du 3e cycle).

L’opportunité d’impliquer tous les acteurs concernés s’est traduite par la mise en œuvre d’une stratégie Qualité quinquennale au niveau du SSP à l’issue des deux dernières revues.

L'adhésion aux règles internationales, notamment à celles du Fonds Monétaire International (FMI) qui imposent aux pays de fournir une description des conditions de construction et de diffusion des données, et d'élaborer un calendrier de diffusion sur les quatre prochains mois, est ancienne. Mais l’harmonisation des règles au sein du SSP a bénéficié des revues par les pairs : politiques de gestion des révisions et des erreurs, publication des accès anticipés, partage au niveau du SSP d’un cadre de référence public sur le processus de diffusion des publications statistiques avec en particulier des accès anticipés plus limités et des transmissions plus sécurisées.

Les enseignements

La revue par les pairs s’apparente pour un pays à un arrêt sur image qui lui révèle ce qu’il est et ses forces et priorités d’amélioration.

En effet, le rapport élaboré à la suite d’une revue pointe les forces du système statistique national, forces révélées grâce au regard extérieur : l’organisation du service statistique public en France avec l’Insee et ses directions régionales, les SSM, ses formations initiales et ses mobilités reste quasi unique en Europe, alors que les gouvernances ternaires (service statistique national, autorité indépendante, comité de concertation avec les utilisateurs) se sont généralisées. Le Danemark a, par exemple, renforcé sa loi en 2018, en clarifiant les rôles et les missions de l’INS, du statisticien national et du conseil de surveillance de Statistics Denmark. La Suisse a mis en place un Conseil de l’éthique pour les statistiques dès le début des années 2000 au rôle proche d’une autorité indépendante mais sans moyens de sanction.

Un autre enseignement est celui de la diversité des organisations en place, mais avec pour point commun le rôle central de l’Institut national de la statistique. Certains INS, à l’instar de l’Insee, ont également des missions régaliennes ; par exemple les INS de République tchèque et de Slovaquie sont responsables de l’établissement des résultats des élections, l’INS estonien est l’intendant général des données pour l’administration de son pays.

Réunis à Bucarest en novembre 2023, les pairs et les coordonnateurs nationaux ont partagé leurs bilans du 3e cycle : maturité, honnêteté de l’exercice et bienveillance des pairs. Si la nécessité de pouvoir non seulement illustrer mais également prouver la qualité des systèmes nationaux et des statistiques officielles est partagée, les réflexions sur l’évolution de la méthodologie sont encore à mener.

Un des points de discussion réside dans les recommandations qui s’adressent aux gouvernements dont on constate la répétition d’une revue à l’autre, ce qui à terme risque d’affecter leur crédibilité. N’étant pas de la responsabilité directe du système statistique, le suivi par Eurostat de leur mise en œuvre est relativement inopérant. Ces recommandations sont de deux types : celles qui visent à renforcer l’indépendance du système statistique (que ce soit en la mentionnant explicitement dans la loi, ou dans les procédures de nomination/révocation du directeur de l’INS) et celles qui visent à accroître ou au moins assurer des ressources suffisantes au système statistique. Concernant les premières, on lui objecte souvent des raisons juridiques, telles que la constitution ou le statut de la fonction publique, pour ne pas les mettre en œuvre. Cependant, l’inscription dans la loi européenne de la nécessaire indépendance des institutions statistiques et la répétition des recommandations lors des revues successives a conduit plusieurs pays à modifier leurs lois nationales en ce sens.

L’impact des recommandations financières est plus complexe à analyser. La recherche de gains de productivité au travers de la modernisation des méthodes ou l’utilisation de nouvelles sources nécessite des investissements coûteux avant de produire leurs effets ; il est naturel de le mentionner dans le rapport de la revue si les pairs constatent que les institutions statistiques ne disposent pas des moyens, humains et financiers, pour réaliser ces investissements. Cependant, une telle recommandation, adressée aux autorités nationales, a peu de chances d’être audible dans le cadre de la préparation budgétaire nationale au cours de laquelle chaque administration exprime peu ou prou les mêmes arguments.

Perspectives

Le thème retenu pour la à Estoril était « le rôle des statistiques officielles en tant que pilier de la démocratie ». Pour atteindre cet objectif, il est indispensable que la confiance dans la qualité des statistiques produites mais également envers les institutions statistiques soit au rendez-vous.

Dans le contexte actuel dominé par la multiplication des chiffres, des canaux et des informations plus ou moins vérifiées, les enjeux de confiance dans les statistiques officielles nécessitent plus de transparence sur nos valeurs mais également sur les données mobilisées, sur les processus et sur les méthodes pour chacun des pays et pour le collectif européen.

Deux questions se posent :

  • Faut-il faire évoluer le Code de bonnes pratiques ?
  • Faut-il reconduire les revues à l’identique ou les faire évoluer ?

Sur la révision du CoP, le constat est partagé sur l’aspect peu communicant en externe du CoP avec ses 16 principes et ses 84 indicateurs. Dès lors, deux approches s’opposent. La première préconise de conserver le Code comme boussole unique pour les statisticiens publics européens et la communication externe, et par conséquent de continuer à l’enrichir. La seconde propose de séparer le CoP en deux : une version simplifiée avec une approche sur les valeurs destinée à l’extérieur et une version en interne au système statistique européen, plus opérationnelle, comme référence pour la qualité des systèmes statistiques nationaux. Concernant les valeurs, les six préconisées par en 2023 (indépendance professionnelle, transparence, pertinence, impartialité, respect de la confidentialité et collaboration) apparaissent comme plus adaptées pour communiquer.

Quel avenir des revues par les pairs ? Faut-il continuer sur le mode actuel ou conduire l’évaluation des systèmes statistiques nationaux autrement ? Le risque n’est-il pas que les systèmes s’adaptent à la méthodologie en réalisant des améliorations cosmétiques plutôt qu’en profondeur ? On pourrait par exemple imaginer des revues ciblées et approfondies sur les seuls points négatifs ou simplement à améliorer mis en évidence par la précédente revue, plutôt qu’une revue de l’ensemble des principes du Code. Le récent cycle a quelque peu ouvert la voie en donnant la possibilité aux pairs de renforcer la revue sur certains principes plus faibles lors de l’analyse du questionnaire d’autoévaluation et des documents support. De même, faut-il laisser le soin à l’INS de choisir les personnes invitées lors des réunions, avec le risque de n’avoir lors de ces réunions que des « supporters » de l’INS, même s’il semble que ce risque ne se soit pas réellement avéré lors des précédents cycles ?

Ces travaux ne font que commencer au niveau européen pour préparer le prochain cycle.

Fondements juridiques

Créé en 1985, à la suite des premiers congrès de statistique initiés par Adolphe Quetelet, l’ISI s’inscrit dès sa création dans les valeurs d’indépendance et de rigueur scientifique, regroupant des individus et non des représentants des gouvernements.

Traité sur le fonctionnement de l’Union européenne (voir les références juridiques en fin d’article).

Voir les références juridiques en fin d’article.

Remplacé par le Comité du système statistique européen (CSSE) en 2009 avec l’adoption de la « loi statistique » européenne (règlement 2009/223). Le système statistique européen (SSE) réunit Eurostat, les autorités statistiques des États membres de l’Union européenne et ceux de l’Association européenne de libre-échange (Islande, Liechtenstein, Norvège et Suisse).

CoP : Code of Practice.

Voir les références juridiques en fin d’article.

Une métadonnée est une donnée qui fournit de l'information sur une autre donnée.

À noter que les banques centrales, qui disposent de leur propre processus d’évaluation, peuvent être exclues de la liste des ONA.

L’ASP veille à l’indépendance professionnelle dans la conception, la production et la diffusion de statistiques publiques et assure une vigilance quant à la qualité des statistiques publiques, que ce soit en termes de rigueur méthodologique ou de respect de différents principes déontologiques. Ouvrir dans un nouvel onglethttps://www.autorite-statistique-publique.fr/.

Pour le service statistique public (SSP) français, l’ensemble des SSM sont concernés par la conformité au Code de bonnes pratiques et participent à la stratégie Qualité quinquennale définie à l’issue de chaque cycle de revue.

L'article L.2223-42 du Code Général des Collectivités Territoriales et les articles R2213-1-1 – R2213-1-4 confient au CépiDc, centre d'épidémiologie sur les causes médicales de décès, la mission de produire la base de données des causes médicales de décès et de la diffuser.

Voir l’article de Coudin et Robert sur les statistiques de causes de décès dans ce même numéro.

Centre d’accès sécurisé aux données, groupement d’intérêt public, il a pour mission d’organiser et de mettre en oeuvre des services d’accès sécurisé pour les données confidentielles, notamment statistiques, à des fins non lucratives de recherche, d’étude, d’évaluation ou d’innovation.

Drees : Direction de la recherche, des études, de l'évaluation et des statistiques.

Sdes : Service des données et études statistiques.

SSP : Service de la statistique et de la prospective.

Selon la méthodologie SWOT : Strengths, Weaknesses, Opportunities and Threats, soit forces, faiblesses, opportunités, menaces.

Par trois membres de l’unité Qualité : Dominique Bonnans, Laurent Di Carlo et Mélanie Vanderschelden.

Les conseillers étaient des membres de la Direction de la méthodologie et de la coordination statistique et internationale ainsi que des membres de l'Inspection Générale de l’Insee.

Directions ou départements de l’Insee et des SSM.

Le Conseil national de l’information statistique (Cnis) assure la concertation entre les producteurs et les utilisateurs de la statistique publique.

Composé des directeurs de l’Insee, de deux directeurs régionaux et des chefs de SSM audités.

Jennifer Banim, Tina Steenvoorden, Michail Skaliotis et Pierre Bischoff.

Norme internationale qui définit les exigences pour établir et améliorer un système de management de la qualité Ouvrir dans un nouvel onglethttps://www.iso.org/standard/62085.html

Voir l’article de Bonnet et Loisel sur les données de comptes bancaires dans ce même numéro.

Voir les références juridiques en fin d’article.

Voir les références juridiques en fin d’article.

Les directeurs d’administration centrale sont, en France, nommés par le président de la République par décret en Conseil des ministres.

L’office de Berlin-Brandebourg (basé à Berlin) et celui de Hambourg-Schleswig-Holstein (basé à Hambourg) couvrent chacun deux Länder.

Il comprend des bureaux statistiques dans les ministères, divers organismes locaux des régions aux municipalités et d'autres organismes publics ou privés qui produisent des statistiques, soit environ 3 400 organismes, dont 3 000 bureaux statistiques des municipalités.

Voir les références juridiques en fin d’article.

Groupe de travail ou projet de recherche financé par Eurostat.

UNECE : Commission économique des Nations unies pour l’Europe (et l’Amérique du nord).

Pour en savoir plus

ALEXANDRE, Véronique et CLING, Jean-Pierre, 2019. Le système statistique allemand – Une évolution facilitée par la réglementation européenne. In : Courrier des statistiques. [en ligne]. 19 décembre 2019. Insee. No 3, pp. 140-150. [Consulté le 11 septembre 2024].

ANXIONNAZ, Isabelle et MAUREL, Françoise, 2021. Le Conseil national de l’information statistique – La qualité des statistiques passe aussi par la concertation. In : Courrier des statistiques. [en ligne]. 8 juillet 2021. Insee. No 6, pp. 123-142. [Consulté le 11 septembre 2024].

BUREAU, Dominique, 2020. L’Autorité de la statistique publique. Dix ans d’activité, pour une statistique indépendante et de qualité. In : Courrier des statistiques. [en ligne]. 31 décembre 2020. Insee. No 5, pp. 21-38. [Consulté le 11 septembre 2024].

CHRISTINE, Marc et ROTH, Nicole, 2020. Le Comité du Label. Un acteur de la gouvernance au service de la qualité des statistiques publiques. In : Courrier des statistiques. [en ligne]. 31 décembre 2020. Insee. No 5, pp. 39-52. [Consulté le 11 septembre 2024].

ERNOULT, Thomas, 2012.Ouvrir dans un nouvel onglet Maquillage des comptes publics grecs : statistiques à la dérive ? In : Regards croisés sur l’économie. No  11, pp. 113-115. [Consulté le 11 septembre 2024].

EUROSTAT, 2023. Ouvrir dans un nouvel ongletRevue par les pairs : cycle actuel 2021-2023. In : site de Eurostat. [en ligne]. [Consulté le 11 septembre 2024].

GADOUCHE, Kamel, 2019. Le Centre d’accès sécurisé aux données (CASD), un service pour la data science et la recherche scientifique. In : Courrier des statistiques. [en ligne]. 19 décembre 2019. Insee. No 3, pp. 76-92. [Consulté le 11 septembre 2024].

HAND, David J., 2018. Ouvrir dans un nouvel ongletStatistical challenges of administrative and transaction data. In : J. R. Statist. Soc. A 181, Part 3, pp. 555–605. [en ligne]. [Consulté le 11 septembre 2024].

INSEE, 2022. La troisième revue européenne par les pairs en 2021. In : site de l’Insee. [en ligne]. [Consulté le 11 septembre 2024].

INTERNATIONAL STATISTICAL INSTITUTE, 2010. Ouvrir dans un nouvel ongletDeclaration on Professional Ethics. In : site de l’ISI. [en ligne]. [Consulté le 11 septembre 2024].

MAUGUIN, Jocelyne et SAGNES Nicolas, 2024. Faciliter l’accès aux données de l’Insee – Cubes, catalogue et métadonnées. In : Courrier des statistiques. [en ligne]. 8 juillet 2024. Insee. No 11, pp. 31-50. [Consulté le 11 septembre 2024].

UNITED NATIONS, 2014. Ouvrir dans un nouvel ongletFundamental Principles of National Official Statistics. In : site des Nations Unies. [en ligne]. [Consulté le 11 septembre 2024].