Nombre d’habitants en France, taux d’inflation, prévisions de croissance, taux de chômage et d’emploi, taux d’innovation des entreprises... Comment être assuré de la qualité de ces statistiques publiques et des nombreuses autres produites par l’Insee ?

Au-delà de la simple précision des indicateurs, il faut d’abord s’entendre sur ce que la qualité recouvre en matière de statistiques publiques. À travers les thématiques qu’elles abordent, les enquêtes de satisfaction menées par l’Insee auprès de ses utilisateurs donnent une première idée des dimensions qui entrent en jeu. Très majoritairement, l’institut inspire confiance, et les personnes interrogées considèrent qu’il est utile, qu'il produit et diffuse des informations aisément compréhensibles, fiables, faciles à trouver, indépendantes du pouvoir politique (Hillaireau et Zana Rouquette, 2024). Comme l’illustre la variété des questions posées, la qualité revêt de nombreuses facettes et est liée à des attentes, des usages, qu’il est donc important de connaître. Ces enquêtes ne mesurent cependant que la perception globale qu’ont les utilisateurs des productions de l’institut. Il faut aussi s’assurer, dans les faits, que ces productions se réalisent dans les meilleures conditions et aboutissent bien, in fine, à des statistiques de bonne qualité. Dans cet objectif, un cadre institutionnel spécifique régule le fonctionnement de l’Insee, et plus largement celui du service statistique public (SSP). L’institut s’organise également en interne et mène une politique proactive en faveur de la qualité.

Les critères énoncés dans les enquêtes de satisfaction renvoient à la qualité observable des statistiques produites. Ils reprennent largement une définition arrêtée en 1995 par le système statistique européen. Cette dernière, intégrée dans l’article 12 du règlement n^o 223/2009 relatif aux statistiques européennes, s’articule autour de sept critères perceptibles par les utilisateurs ou interprétables grâce à la documentation méthodologique : pertinence, exactitude, actualité, ponctualité, accessibilité et clarté, comparabilité, cohérence.

Or, depuis les travaux d’Edwards Deming, il est établi que la qualité des produits dépend aussi de la manière dont ils sont élaborés, autrement dit de la qualité de leur processus de production. Cette dernière est difficilement observable par les utilisateurs. Par exemple, dans le cas des statistiques, elle passe par des garanties sur la fourniture des données sources, associées à des moyens humains et informatiques adéquats. Ce sont en effet des prérequis pour maîtriser la ponctualité, mettre en œuvre une méthodologie qui respecte les règles de l’art, etc. Dans le domaine des technologies, du management et de la production de biens et services, l’Organisation internationale de normalisation (ISO dans son acronyme anglais, pour International Organization for Standardization) a formalisé une telle approche de la qualité en construisant des normes, qui constituent des garanties pour les usagers.

Quant à la question de l’indépendance professionnelle, abordée dans les enquêtes de satisfaction, elle renvoie à la qualité du contexte dans lequel les statistiques sont produites. Celle-ci dépend essentiellement de l’environnement institutionnel.

La qualité globale d’un produit est donc une notion relative à des usages et multidimensionnelle. Elle est précisée par des critères qui sont rassemblés dans un référentiel. Pour les statistiques publiques européennes, ce référentiel est le code de bonnes pratiques de la statistique européenne (CoP dans son acronyme anglais, pour Code of Practice). Il allie les trois dimensions évoquées précédemment : produits statistiques, processus statistiques et cadre institutionnel. Il s’applique aux autorités statistiques du système statistique européen, qui comprennent à la fois l'autorité statistique de l'Union européenne (Eurostat), les instituts nationaux de statistique (INS) et d'autres autorités nationales.

En France, le SSP, dont l’Insee, a choisi d’étendre l’application du CoP à l’ensemble des statistiques qu’il produit et diffuse, y compris celles dont l’élaboration ne relève pas des obligations européennes. Le cadre d’assurance qualité du système statistique européen fournit en outre une approche plus opérationnelle pour appliquer le CoP, à travers des recommandations de méthodes, d’outils et de bonnes pratiques.

Le CoP est un référentiel pour de nombreuses instances. Au niveau européen, bien sûr, il l’est pour les audits réalisés tous les 7 à 8 ans dans le cadre des revues par les pairs (Chaleix et Durr, 2024). En France, c’est aussi le référentiel de l’Autorité de la statistique publique. Dans ses avis et son rapport annuel sur les faits marquants du SSP, celle-ci interroge la qualité globale de notre organisation à l’aune de ces principes.

Tous examinent la qualité du fonctionnement de l’organisation statistique, mais pas ou peu celle des processus ou celle des produits. Or ce sont ces dernières dont les statisticiens sont responsables au quotidien. L’Insee a en effet adopté une organisation du travail qui responsabilise pleinement le concepteur d’une opération statistique, et ce jusqu’à la diffusion de ses résultats (Ouvrir dans un nouvel ongletChaleix et Lefebvre, 2024).

Certains dispositifs spécialisés, tels que les audits métier d’Eurostat, sont plus en prise avec la réalité des processus. Ainsi, la France, comme les autres INS, élabore à l’attention d’Eurostat une documentation détaillée de la manière dont est calculé le revenu national brut, sachant que le calcul des contributions des États membres au budget de l’UE s’appuie principalement sur cet indicateur. Au niveau national, le Comité du label de la statistique publique vérifie à la fois la méthodologie, le protocole de collecte, le traitement post-collecte et la diffusion des projets d’enquêtes du SSP (Christine et Roth, 2020). À l’Insee, le Comité des investissements réalise également une analyse fine des processus pour des projets de création ou de modification d’opérations statistiques requérant des moyens supplémentaires. Quant aux homologations obligatoires de sécurité informatique sur les applications, par définition, elles observent la production statistique à travers son système d’information.

Ainsi, il existe plusieurs dispositifs d’évaluation de la qualité, portant sur l’organisation du SSP ou ses processus, qui orientent le travail de production statistique. Ils présentent l’avantage de fournir des éléments de preuve au public sur la qualité et les efforts fournis par le SSP pour l’améliorer encore.

Cependant, aucun de ces dispositifs ne se penche en profondeur sur la mise en œuvre par les producteurs. Par exemple :

À l’Insee, pour répondre à ce besoin, des initiatives informelles ont progressivement laissé place à une organisation interne dédiée, au plus près des producteurs de l’ensemble du SSP. Dans la vision d’Eurostat, l’approche opérationnelle des démarches qualité portant sur les processus de production statistique complète l’approche institutionnelle plus globale que constituent les revues par les pairs (Ouvrir dans un nouvel ongletBechev, 2024).

La présence de protocoles de qualité a toujours été très forte à l’Insee. Lors de la première revue par les pairs européens organisée en France, en 2007, les auditeurs l’avaient reconnu. Ils avaient toutefois noté qu’il s’agissait d’initiatives décentralisées, qui n’étaient ni coordonnées, ni mutualisées. Par exemple, dans les années 1990, les équipes nationales et régionales en charge du répertoire d’identification des entreprises Sirene s’étaient mobilisées ensemble, en totale autonomie, pour définir comment améliorer sa qualité et le service rendu à ses utilisateurs.

Une première expérimentation de coordination a vu le jour au début des années 2000. Les producteurs des statistiques départementales d’emploi salarié avaient décidé d’adapter les contrôles réalisés sur les données. L’objectif était de raccourcir les délais de publication pour répondre à la demande des utilisateurs. Pour cette action, menée là encore aux niveaux national et régional, ils avaient bénéficié de l’appui de services transversaux, incluant notamment des méthodologues.

Les réorganisations de certains dispositifs ont constitué, également, des occasions pour chercher à améliorer la qualité. Ce fut le cas en 2009, lorsque l’Insee a remplacé les enquêtes annuelles d’entreprises par l’exploitation des liasses fiscales de la Direction générale des Finances publiques (DGFiP), combinée à une unique enquête structurelle annuelle allégée : l’enquête sectorielle annuelle. En effet, de telles réorganisations offrent aux équipes concernées l’occasion de repenser et d’optimiser leurs dispositifs.

En 2012, l’Insee s’est doté d’une unité transversale dédiée à la qualité : l’unité Qualité. C’est cette dernière qui pilote aujourd’hui les démarches qualité de processus telles qu’elles sont désormais pratiquées : fondées sur des méthodes harmonisées et un accompagnement spécifique des équipes. Cette professionnalisation des démarches qualité a été notamment impulsée par la deuxième revue par les pairs européens menée en France, en 2014. Les auditeurs avaient alors demandé au SSP français de s’engager à formaliser davantage sa gestion de la qualité, relevant par exemple la nécessité d’homogénéiser la description des processus statistiques en suivant des normes internationales (voir infra). Pour l’Insee, c’était aussi une opportunité pour optimiser les processus dans une approche centrée sur les utilisateurs. Le pilotage par une unité transversale permet par ailleurs de mutualiser les meilleures pratiques.

Au même moment, l’institut a créé un département dédié aux méthodologies de traitement des données (tirage d’échantillon, correction de la non-réponse, économétrie, etc.). Ce dernier propose aux services producteurs une offre d’appui axée sur la qualité statistique des méthodes et des résultats, que l’unité Qualité complète par une offre axée sur la qualité du fonctionnement des processus.

Cette distinction entre, d’une part, la qualité de la méthodologie et, d’autre part, celle des processus n’est pas spécifique à la France. Par exemple, l’INS britannique conduit des démarches ciblées pour identifier les points de vulnérabilité des processus liés à leur organisation : systèmes difficiles à maintenir, boîtes noires non maîtrisées, rotations de personnel, etc. (Ouvrir dans un nouvel ongletLound et Mais, 2022). D’autres INS allient qualité des méthodes et des processus dans leurs revues des productions statistiques. La Suède identifie par exemple les sources d’erreurs possibles et en évalue l’impact potentiel sur la qualité des données produites (Ouvrir dans un nouvel ongletBiemer et al., 2014). L’Irlande et la Norvège associent également des méthodologues à leurs examens des processus, ainsi que des spécialistes du code informatique pour les Irlandais (Ouvrir dans un nouvel ongletForde et Moore, 2022) et des utilisateurs pour les Norvégiens (Ouvrir dans un nouvel ongletBerglund et Haugen, 2024).

Afin de mettre en œuvre des démarches qualité à l’Insee, l’unité Qualité s’est d’abord attachée à recenser les processus. Selon la norme internationale ISO 9000:2015, « un processus est un ensemble d’activités corrélées ou en interaction qui utilise des éléments d’entrée pour produire un résultat escompté ». Cette définition laisse une grande latitude dans la finesse du découpage associé. L’Insee a ainsi considéré comme étant des processus des ensembles d’activités aussi larges que ceux liés à la production et à la diffusion du recensement de la population (RP) ou de l’indice des prix à la consommation (IPC). Il en est de même des ensembles d’activités nécessaires à la réalisation d’enquêtes auprès d’entreprises, différenciées par leur thématique (innovation, technologies de l’information et de la communication, etc.). Les processus de l’Insee relèvent évidemment de la production statistique, mais certains concernent également la gestion de répertoires, la réalisation d’études ou des activités support. Au total, une centaine de processus ont été recensés.

Par ailleurs, l’institut, dans sa politique de gestion des risques, a considéré que les efforts de sécurisation devaient porter d’abord sur certains « processus essentiels ». Cela concerne une vingtaine de processus répondant, notamment, aux enjeux suivants :

Pour définir ensuite les actions nécessaires pour sécuriser les processus, il a été jugé que le cadre des démarches qualité était à la fois le plus adapté et le plus fédérateur. La troisième revue par les pairs européens organisée en France, en 2021, a conforté ce choix. Les auditeurs ont enjoint à l’Insee de déployer des démarches sur tous les processus essentiels d’ici 2027. Des recommandations du même type ont été prodiguées à d’autres INS, par exemple à l’Irlande (Ouvrir dans un nouvel ongletForde et Moore, 2022).

Au cours des cinq dernières années, l’Insee a mené des démarches qualité sur la moitié de ses processus essentiels, soit une dizaine d’entre eux. Ce taux de couverture est à mettre en regard du large spectre d’activités qu’englobe chacun de ces processus, mais aussi des contraintes calendaires des équipes, lesquelles doivent être prises en compte pour la mise en œuvre des démarches. Ce taux ne reflète pas, par ailleurs, le fait que certains processus ont bénéficié au cours de ces années d’une actualisation d’une démarche initiale.

Plus globalement, sur la centaine de processus recensés, une vingtaine a fait l’objet d’une démarche qualité, qui a parfois été actualisée. En effet, en sus des processus essentiels, d’autres processus ont été examinés en raison d’enjeux particuliers (statistiques soumises à un règlement européen, par exemple) et/ou de besoins exprimés par les producteurs allant au‑delà de la sécurisation. En particulier, ceux-ci recherchent également, dans la mise en œuvre de ces démarches, l’opportunité de mutualiser les savoirs de chacun dans le cadre collectif des équipes. L’enjeu est alors de construire une compréhension globale et partagée des processus.

La stratégie des démarches qualité est celle des petits pas. L’idée est d’améliorer progressivement le processus par des actions ciblées, priorisées, mises en œuvre et régulièrement adaptées par les équipes. C’est ce que l’on appelle l’amélioration continue, promue dans le CoP et formalisée par la roue de Deming (figure 1). La roue symbolique qu’a imaginée le statisticien américain est divisée en quatre étapes :

La révision régulière du plan d’actions au fil des cycles « Plan Do Check Act » permet progressivement de réduire les risques encourus par le processus. À titre d’exemple, le processus Réfigéo, qui centralise et actualise les nomenclatures de données géographiques, a déjà fait l’objet de trois démarches qualité : une démarche initiale et deux revues. Lors de la démarche initiale, une dizaine de risques avaient été identifiés, en particulier sur le respect des délais de diffusion (liés aux fournisseurs, à l’application informatique, à un circuit de traitement des données insuffisamment organisé, etc.). Lors de la deuxième revue réalisée, cinq ans après, les risques évoqués sur les délais de diffusion avaient disparu, témoignant du travail de sécurisation accompli. Il ne demeure aujourd’hui que trois risques à maîtriser davantage : le suivi des textes législatifs relatifs aux communes, l’identification des utilisateurs, mais aussi une nouvelle difficulté. En effet, en cinq ans, les canaux de diffusion se sont diversifiés et il est possible que leurs contenus ne soient pas strictement identiques.

Mais, concrètement, comment se déroule une démarche qualité ?

Une démarche qualité se déroule en trois temps :

Les démarches qualité sont pilotées par des agents de l’unité Qualité, appelés « experts qualité ». Ils travaillent en interaction avec les producteurs, impliquant tout ou partie d’une équipe en charge d’un processus (figure 2). Il s’agit en effet d’une démarche collective, à la différence des démarches de type audit. Cependant, comme les producteurs travaillent dans des délais tendus et n’ont qu’un temps limité à investir dans la démarche, les experts qualité s’adaptent à leurs contraintes et les accompagnent au maximum. Ils mènent une première analyse sur documents, préparent les premières versions des rapports, organisent et animent les réunions pour en discuter, améliorent les documents à partir de ces échanges et restituent les résultats de la démarche. Les réunions ont lieu avec les producteurs et éventuellement d’autres partenaires, notamment des informaticiens.

Au début de la démarche, les producteurs mettent à disposition des experts qualité toute la documentation existante, pour que les experts puissent s’acculturer au sujet et commencer à décrire le processus. Les producteurs apportent ensuite essentiellement leur connaissance et leur expérience du processus lors des réunions, sans qu’aucune préparation ne leur soit demandée. Ils doivent également valider les différents documents élaborés par les experts. Le plan d’actions sera ensuite mis en œuvre par les producteurs, avant de refaire ultérieurement le point à l’occasion d’une revue de la démarche.

En général, une démarche initiale s’étale sur un peu plus d’un an (encadré 1), un temps proche de celui des analyses réalisées par Eurostat sur ses propres processus statistiques (Ouvrir dans un nouvel ongletBechev, 2024). Les équipes de production consacrent quant à elles environ une vingtaine d’heures à la démarche. Ce peut être un peu plus long quand le processus est complexe ou un peu moins quand il est déjà bien documenté.

Certains instituts, y compris Eurostat, demandent au préalable aux producteurs de réaliser eux-mêmes une première évaluation de leur processus à partir de questionnaires inspirés du CoP. L’intérêt est de disposer d’un bilan a minima, mais pour tous les principaux processus. Ceci permet d’établir des premiers plans d’actions. L’idée est ensuite de mener des démarches plus approfondies, en commençant par les processus les plus stratégiques. Les avantages d’un tel fonctionnement sont à mettre en balance avec la charge que représente la double évaluation pour les producteurs (Ouvrir dans un nouvel ongletLound et Mais, 2022), ainsi que la difficulté pour ces derniers de mener seuls une analyse de leur processus, même avec l’aide de tels outils d’autoévaluation (Ouvrir dans un nouvel ongletBechev, 2024).

Les démarches qualité débutent par l’examen du contexte dans lequel les statistiques publiques sont élaborées. Elles identifient d’abord les réglementations auxquelles répondent les statistiques, ainsi que les besoins des utilisateurs. Il s’agit à cette étape de faire la part entre les contraintes que les démarches peuvent questionner et celles qui sont intangibles.

Deux tiers des statistiques de l’Insee sont encadrées par des règlements européens. Ces derniers imposent des contraintes fortes sur les concepts, méthodes et calendriers de diffusion sur lesquelles les producteurs ont peu de marge. L’Insee participe aux échanges avec Eurostat, mais doit appliquer, comme les autres INS, les décisions qui en résultent.

Les choix de diffusion visant à répondre aux besoins des utilisateurs nationaux peuvent davantage être questionnés. Pour certains processus, les besoins nationaux sont bien identifiés, grâce aux commissions du Conseil national de l’information statistique (Cnis) et à des focus groups avec des utilisateurs. C’est le cas par exemple pour le recensement de la population. Pour d’autres processus, les utilisateurs autres qu’institutionnels sont difficiles à connaître et leurs besoins encore plus. Aussi, un grand nombre de produits de diffusion sont mis à la disposition du grand public sur insee.fr. Les utilisateurs du site peuvent en effet avoir des profils très variés et leurs besoins différer fortement, sans pour autant qu’ils soient connus.

Les experts qualité sont parfois amenés à analyser la « popularité » des produits pour savoir s’ils répondent effectivement à un besoin. De fait, certains produits sont très peu consultés. Par exemple, le processus d’élaboration de l’indice des prix à la consommation génère, en plus des indices mesurant l’inflation, les prix moyens d’une soixantaine de produits à un niveau très fin. En 2023, les prix moyens mensuels de la baguette ont été consultés 7 000 fois alors que ceux du citron l’ont été seulement 60 fois.

Les démarches qualité incitent alors les producteurs à réajuster leur offre de diffusion et à dialoguer davantage avec les utilisateurs : pour identifier les besoins devenus obsolètes et, à l’inverse, les besoins émergents. En Grande-Bretagne, une démarche qualité sur les indices des prix à la production avait conduit de même à la recommandation de rationaliser l’offre de diffusion (Ouvrir dans un nouvel ongletDunn, 2024).

L’analyse du contexte se poursuit par le recensement des données externes nécessaires au processus. Il s’agit le plus souvent de données administratives, fiscales ou sociales. Pour sécuriser leur transmission, il convient de vérifier l’existence et le contenu des conventions qui cadrent les échanges avec les fournisseurs. Les démarches qualité incitent alors à mettre à jour certaines conventions qui peuvent être incomplètes, voire caduques.

Les conventions ne sont toutefois pas suffisantes. La non-réception de données externes ou un contenu non conforme à l’attendu (à la suite, par exemple, d’un changement de concept) restent des sources d’inquiétude majeures pour les producteurs. La première pourrait compromettre la diffusion des résultats et la deuxième dégraderait la qualité des statistiques diffusées. Les démarches qualité donnent l’opportunité aux producteurs de réfléchir à des actions pour limiter la survenue de ces difficultés, ou à défaut pour en limiter l’impact.

Par exemple, l’élaboration des estimations trimestrielles flash de l’emploi salarié privé s’appuie principalement sur les déclarations sociales nominatives (DSN). Pour sécuriser le processus, il est prévu de sensibiliser systématiquement les fournisseurs externes aux délais de diffusion auxquels l’Insee est contraint par Eurostat. D’autres actions visent à davantage anticiper et maîtriser des changements de contexte qui pourraient avoir un impact sur l’élaboration des estimations, à travers notamment des veilles sur les évolutions de l’emploi (réglementation, emplois aidés, etc.) et leur bonne prise en compte dans la DSN.

Les démarches qualité ont ainsi pour ambition d’améliorer et de sécuriser les processus au regard des contraintes externes, mais également de maîtriser les éventuels risques internes. Pour cela, il est indispensable de connaître le fonctionnement global des processus et d’en faire une description accessible à l’ensemble des acteurs impliqués.

Les descriptions réalisées dans le cadre des démarches qualité répondent aux besoins exprimés par tous les producteurs : documenter le fonctionnement des processus pour faciliter la transmission des connaissances au sein des équipes. Les démarches qualité proposent de cartographier les processus selon une grille d’analyse spécifique : le modèle générique du processus de production statistique, ou GSBPM dans son acronyme anglais, pour Generic Statistical Business Process Model (Ouvrir dans un nouvel ongletUnece, 2019) (encadré 2). Cette grille d’analyse permet de construire une vue d’ensemble structurée et accessible à tous, comme l’illustre l’exemple relatif au processus d’élaboration de l’indice des prix à la consommation (IPC) (figure 3). Elle offre une vision simplifiée, mais complète, de processus parfois complexes, du fait par exemple de la diversité des sources d’informations et des modes de collecte.

Le GSBPM est un outil indispensable à la description d’un processus statistique, mais il présente certaines limites. En particulier, la chronologie des activités ne peut pas être restituée dans le détail de leurs itérations. Comme c’est un point important pour les services producteurs, les démarches offrent la possibilité de compléter cette cartographie par des diagrammes d’activités : ces derniers précisent comment les activités s’enchaînent, ou au contraire sont menées en parallèle sur des parties de processus (figure 4). Cette représentation a ainsi été utilisée pour compléter certaines descriptions : par exemple pour les activités liées au changement d’année de l’IPC ou encore pour celles liées à l’élaboration des publications d’indicateurs conjoncturels d’activités économiques (collection Informations Rapides de l’Insee). Dans ce dernier cas, le diagramme a mis en évidence des points de tensions calendaires : pour certains indicateurs, les publications peuvent nécessiter jusqu’à trois niveaux de relecture en l’espace de trois heures, avec l’intégration d’éventuelles modifications demandées à chaque niveau de relecture.

Ces descriptions structurées sont importantes dans un contexte où les mobilités dans les services producteurs sont fréquentes. En effet, la durée d’occupation des postes varie en général entre trois et cinq ans. Les services doivent également faire face, parfois, à des absences non prévues, voire à des vacances de postes. Ces cartographies et diagrammes permettent alors de sécuriser a minima une continuité de service en servant de documentation de base, autour de laquelle peut s’articuler une documentation plus détaillée.

Ces descriptions offrent non seulement une vue globale à partager entre tous les acteurs impliqués, mais elles permettent aussi aux experts qualité d’acquérir une connaissance suffisante pour analyser objectivement les processus. Ils sont alors en mesure de mettre en avant leurs forces et faiblesses.

Du fait de leur positionnement extérieur aux équipes de production, les experts qualité ont un regard neutre sur le fonctionnement du processus. Ils peuvent ainsi aider les équipes à en identifier les points forts et ceux à améliorer.

En première approche, l’enjeu sur les points forts peut paraître moins stratégique. Pourtant, il est important de consigner ces derniers pour qu’ils perdurent dans le temps, notamment au‑delà des renouvellements d’équipe. Les démarches qualité en sont l’occasion. Pour certains processus, par exemple, certaines évolutions ont permis de réduire la charge des enquêtés
et/ou d’enrichir la caractérisation du phénomène étudié. C’est le cas, pour plusieurs processus, du recours accru aux données administratives, mais aussi de la mise en place d’organisations permettant que des processus s’alimentent entre eux. Ainsi, les questionnaires des enquêtes thématiques auprès des entreprises sont préremplis avec les chiffres d’affaires issus d’un autre processus : celui de l’élaboration des statistiques structurelles d’entreprises.

Les démarches qualité permettent également d’identifier les points à améliorer. Elles incitent par exemple à automatiser certaines tâches manuelles ou à repenser une partie de l’organisation. Pour reprendre le cas des enquêtes thématiques auprès des entreprises, la démarche qualité a mis en évidence le nombre conséquent d’acteurs impliqués dans les travaux d’élaboration de la base de sondage et d’échantillonnage, et la multiplicité des allers‑retours entre eux. Or, le risque de dérapage dans les délais croît avec le nombre d’acteurs. Même s’il n’y a pas eu jusque-là d’incident, la démarche qualité a mis en évidence l’importance de répartir les rôles de façon plus optimale, en recentrant davantage les travaux des équipes en charge de la collecte et de l’échantillonnage sur leurs cœurs de métier respectifs.

Les experts qualité s’appuient sur ces points forts à entretenir et ces points à améliorer pour proposer des actions qui pourraient être mises en œuvre. Ils ne sont cependant que force de proposition : l’élaboration du plan d’actions revient aux équipes en charge du processus, dans un souci d’adhésion. Ces dernières sont alors invitées à échanger ensemble pour déterminer collégialement les risques qu’il convient en priorité de maîtriser davantage.

L’aspect collectif sur lequel insistent les experts qualité lors des démarches est primordial. Croiser les regards des différents acteurs permet à ces derniers de partager leurs difficultés et subséquemment d’identifier les risques vraiment problématiques sur lesquels agir.

Les analyses de risques menées dans le cadre des démarches qualité sont basées sur une méthodologie de type « analyse des modes de défaillance, de leurs effets et de leur criticité » (encadré 3). Elles visent à élaborer collectivement un plan d’actions pour sécuriser davantage le processus. Le rôle différent de chaque acteur dans la mise en œuvre de ce dernier conduit inévitablement à une perception très personnelle de la nature des risques et de leur gravité. Par exemple, les acteurs en charge de la collecte d’une enquête seront plus sensibles aux risques pouvant affecter le taux de collecte que ne le seront les responsables des traitements en aval. Ces derniers peuvent en effet y pallier, dans une certaine mesure, par des méthodes d’imputation ou de repondération. Les échanges entre les différents acteurs permettent ainsi de relativiser certains problèmes. L’enjeu principal de cette phase de la démarche qualité est donc d’aboutir à un consensus sur les effets des risques auxquels sont exposés les processus et sur la criticité de ces risques. Ce consensus est indispensable pour que les acteurs adhèrent au plan d’actions et le mettent en œuvre in fine.

Les analyses de risques incitent donc à prioriser des actions répondant aux risques les plus critiques. D’autres actions peuvent être intégrées pour résoudre certains points qui ne relèvent pas de la sécurité du processus, mais sont mal vécus au quotidien pour certains acteurs. Il peut s’agir par exemple de mieux formaliser un circuit de relecture interne avant publication pour faciliter la gestion des remarques issues des diverses lectures (Ouvrir dans un nouvel ongletBriant et al., 2024).

Les démarches qualité constituent ainsi un levier pour améliorer en continu la qualité des statistiques publiques via celle de leur processus d’élaboration. Leur mise en œuvre repose sur un corpus de normes et de méthodes éprouvées, au premier rang desquelles le code de bonnes pratiques de la statistique européenne et le GSBPM. Ce dernier fournit un langage et un cadre réutilisables d’un processus à l’autre, favorisant leur rapprochement et la transmission des connaissances.

Les démarches sont aussi importantes en elles-mêmes que les livrables auxquels elles permettent d’aboutir. Elles offrent un temps de réflexion collectif aux équipes, hors contingences de production, sur le fonctionnement de leur processus. Elles mettent en regard les perceptions des différents acteurs et les équipes disposent à la fin de feuilles de route pragmatiques à mettre en œuvre, dont le contenu et le calendrier ont été déterminés de manière collégiale. Il est préconisé ensuite de revoir régulièrement les processus pour les ajuster, selon le cycle « Plan Do Check Act » de Deming. L’exemple des démarches sur le processus Réfigéo montre que les difficultés s’amoindrissent grâce à l’application de ce cycle. Encore faut-il que l’effort pour mettre en œuvre les actions nécessaires se maintienne dans le temps, ce qui est considéré comme le défi le plus délicat des démarches qualité (Ouvrir dans un nouvel ongletForde et Moore, 2022).

L’accompagnement par un collègue expert en qualité facilite le déroulé des démarches et garantit autant que possible son objectivité et son efficacité. Celui-ci impulse, organise et anime ces temps d’échange, selon un protocole et des méthodes souvent peu familiers aux équipes. Ces dernières expriment en général leur satisfaction d’avoir été accompagnées dans ce travail de fond et d’avoir été déchargées de l’organisation des échanges et de la rédaction des conclusions.

Les démarches qualité contribuent à optimiser et sécuriser les processus, mais elles ne peuvent pas tout :

Les problématiques mises en évidence par les démarches qualité mettent en avant des préoccupations communes à l’ensemble des processus. Il convient donc de capitaliser sur ces enseignements pour en déduire des principes, lignes directrices, qui facilitent le travail des équipes. C’est ce que s’efforce de faire le SSP. Ce dernier a ainsi élaboré des règles communes pour la diffusion des statistiques, incluant notamment un protocole standard pour gérer les erreurs dans les publications. De même, l’INS du Danemark a mis au point un standard pour ce que les statisticiens appellent le data editing, c’est-à-dire les contrôles de données individuelles et agrégées aux différentes phases d’un processus (Ouvrir dans un nouvel ongletAndersen et Blix, 2022).

D’autres pays européens réalisent des démarches qualité, parfois appelées autrement (audits, examens, etc.). Les pratiques sont similaires à celles de l’unité Qualité, avec le recours aux mêmes standards (CoP et GSBPM, en particulier) et des équipes dédiées à ces travaux. Ces dernières sont cependant parfois pluridisciplinaires (incluant des méthodologues). Par ailleurs, certaines démarches sont précédées d’autoévaluations des processus par les équipes. Autant de variantes qu’il conviendrait d’instruire, inscrivant aussi les démarches qualité françaises dans l’amélioration continue. Notamment, l’autoévaluation, certes moins approfondie que les démarches qualité décrites ici, pourrait permettre d’évaluer a minima la qualité d’un spectre plus large de processus à l’Insee, mais aussi dans les services statistiques ministériels. En effet, comme évoqué précédemment, les démarches représentent un investissement pour les équipes par ailleurs fortement occupées, malgré les bénéfices reconnus a posteriori.