Courrier des statistiques N5 - 2020
Le Comité du label Un acteur de la gouvernance au service de la qualité des statistiques publiques
Le Comité du label a été créé en 1994 pour attester de la qualité des enquêtes de
la statistique publique. Depuis les années deux-mille-dix, son positionnement et ses
missions ont évolué, la modification de la loi de 1951 ayant posé une définition élargie
des « statistiques publiques ». Le Comité reste sollicité pour instruire « en conformité »
les enquêtes ayant reçu un avis d’opportunité du Conseil national de l’information
statistique, définissant le programme des enquêtes ayant le visa ministériel. Il intervient
désormais aussi à la demande de l’Autorité de la statistique publique, lors de la
labellisation de statistiques administratives, produites par des organismes chargés
d’une mission de service public ne faisant pas partie du Service statistique public
(SSP).
Le Comité a construit au fil du temps une méthode et une jurisprudence pour examiner
les dossiers qui lui sont soumis. Partant de considérations exprimées en termes de
charge ou de proportionnalité de la collecte aux objectifs poursuivis, le Comité a
élargi ses règles d’examen pour couvrir l’ensemble des dimensions de la qualité statistique,
telles que formalisées dans le Code de bonnes pratiques de la statistique européenne.
Pour le SSP, le Comité du label constitue ainsi un levier pour s’assurer du respect
de ces principes, que ce soit en termes de concertation, de qualité méthodologique,
de charge proportionnée, de diffusion ou de mise à disposition des sources statistiques
dûment documentées.
- Du Comité du label au sein du Cnis...
- ... au Comité du label de la statistique publique
- Encadré 1. Définition réglementaire des missions du Comité du label
- Un statut d’enquête de la statistique publique qui apporte des garanties
- Le cheminement des enquêtes de la statistique publique
- Intérêt général et qualité statistique : une jurisprudence établie au fil du temps...
- ... qui s’inscrit dans la démarche européenne sur la qualité
- Quelques cas d’enquêtes dont la qualité n’est pas attestée a priori
- Un avis simple pour des enquêtes requérant uniquement un échantillon de l’Insee
- Une procédure spécifique pour la labellisation de statistiques administratives
- Encadré 2. Critères retenus par l’ASP pour la labellisation de sources administratives
- Et demain, faut-il qualifier davantage de (sources) statistiques ?
- Références juridiques
Depuis sa création en 1994 au sein du Conseil national de l’information statistique (Cnis), le Comité du label joue un rôle décisif dans l’élaboration du programme des enquêtes de la statistique publique en France. Bien loin d’être une chambre d’enregistrement des projets d’enquêtes, le Comité atteste de leur « conformité » à des standards de qualité et propose aussi des voies d’amélioration. Compte tenu de son large spectre d’intervention, il joue ainsi un rôle pédagogique, de conseil, voire d’émetteur d’alerte et contribue à la diffusion des bonnes pratiques ainsi qu’à leur documentation.
Dans les années deux-mille-dix, les missions du Comité du label se sont élargies : la labellisation concerne désormais également les statistiques issues de l’exploitation de données administratives, dès lors que celles-ci sont produites par des organismes ayant des missions de service public. Le Comité exerce cette mission pour le compte de l’Autorité de la statistique publique (ASP), qui prononce les avis officiels. L’évolution des missions du Comité a conduit à modifier son appellation en Comité du label de la statistique publique pour marquer son nouveau positionnement.
Le Comité du label s’inscrit depuis ses débuts dans une démarche contribuant à la qualité des opérations statistiques, en parallèle de la dynamique initiée au niveau européen. Il a ainsi accompagné et contribué depuis le début des années quatre-vingt-dix à promouvoir les préoccupations de qualité statistique, selon une jurisprudence qui s’est construite progressivement.
Du Comité du label au sein du Cnis...
Le Comité a été créé en 1994 à la demande de l’assemblée plénière du Conseil national de l’information statistique (Cnis), sous la dénomination de Comité du label des enquêtes statistiques des services publics et des autres services producteurs d’informations statistiques. Positionné au sein du Cnis, il avait pour mission « d’examiner la conformité des projets d’enquêtes statistiques après que celui-ci en ait reconnu l’opportunité et de proposer un label d’intérêt général ; de proposer aux ministres compétents la délivrance du visa prévu par l’article 2 de la loi de 1951 modifiée » (note).
Il s’agissait d’améliorer les procédures d’élaboration des programmes statistiques par une attention particulière portée aux projets d’enquêtes (Allain, 1995). L’analyse ayant conduit à cette initiative était qu’il fallait consolider le dispositif du Cnis qui ne répondait plus suffisamment à certaines exigences qui jouaient de façon croissante. Pour les entreprises, notamment les plus petites, il s’agissait de faire accepter la charge que constitue pour elles la réponse aux enquêtes statistiques, de distinguer les enquêtes statistiques des formalités administratives et de démontrer leur finalité et leur utilité. Pour les ménages, il s’agissait de se prémunir de réactions des enquêtés ou de plaintes auprès de la Cnil quant au volume et à la nature des questions posées.
Le nouveau Comité du label a été créé au sein du Cnis pour une durée expérimentale de deux ans d’abord, avant d’être pérennisé. La phase d’expérimentation a permis de définir de façon heuristique les premières règles de cet examen de conformité : respect des nomenclatures, cohérence des unités statistiques, prise en compte dans l’échantillonnage de la nécessité de limiter la charge des enquêtés, justification du caractère plus ou moins utile ou intrusif de certaines questions relativement aux objectifs poursuivis, respect de la confidentialité des données individuelles, modes de diffusion des résultats.
... au Comité du label de la statistique publique
La loi de Modernisation de l’économie du 4 août 2008, qui a conduit à la création de l’Autorité de la statistique publique, a aussi porté une définition extensive des statistiques publiques, inscrite dans la loi fondatrice n°51-711 du 7 juin 1951 (modifiée) sur l’obligation, la coordination et le secret en matière de statistiques. La définition des statistiques publiques (article 2 de la loi) regroupe « l’ensemble des productions issues :
- des enquêtes statistiques dont la liste est arrêtée chaque année par un arrêté du ministre chargé de l’Économie ;
- de l’exploitation, à des fins d’information générale, de données collectées par des administrations, des organismes publics ou des organismes privés chargés d’une mission de service public.
La conception, la production et la diffusion des statistiques publiques sont effectuées en toute indépendance professionnelle ».
Au champ des enquêtes dont le programme est arrêté chaque année (et qui ont donc un visa ministériel), s’est rajouté le champ de statistiques diffusées par des opérateurs publics (champ qualifié ici de « péri-SSP »). L’ASP a la charge de labelliser certaines statistiques diffusées par des opérateurs publics à partir de données administratives, ce qu’elle fait en s’appuyant depuis 2013 sur l’instruction assurée par le Comité du label, renommé Comité du label de la statistique publique. Celui-ci a désormais en charge trois missions (Ouvrir dans un nouvel ongletChristine, 2016) (encadré 1), car à la mission historique d’examen de la conformité des enquêtes de la statistique publique se sont rajoutées :
- une mission pour le compte de l’ASP, sur le champ des opérateurs publics lorsqu’ils diffusent des données à des fins d’information générale ;
- une mission pour le compte du Cnis, pour juger de la qualité des statistiques produites par des organismes de droit privé. Ceci fait suite aux propositions d’un rapport du Cnis de 2010, sur les statistiques du logement (Ouvrir dans un nouvel ongletVorms, Jacquot et Lhéritier, 2010). La mission s’exerce sur la base du volontariat, contrairement à la labellisation par l’ASP ; en effet, il n’y a pas de support légal encadrant la diffusion des statistiques produites par des organismes de droit privé n’exerçant pas de mission de service public.
Avec cet élargissement de ses compétences, le Comité du label est devenu en 2013 une entité à part. Ses moyens sont assurés par l’Insee, au sein de la direction de la Méthodologie et de la coordination statistique et internationale (DMCSI), mobilisant un rapporteur et un secrétariat général, ainsi que des experts pour assurer l’instruction des dossiers. Les enquêtes et les statistiques administratives sont examinées en commissions thématiques, dont la composition est fixée par arrêté, sous la responsabilité du président du Comité, nommé par arrêté du ministre en charge de l’Économie, après avis des présidents de l’ASP et du Cnis).
Encadré 1. Définition réglementaire des missions du Comité du label
(Extrait du décret n° 2009-318 relatif au Conseil national de l’information statistique, au comité du secret statistique et au comité du label de la statistique publique)
Article 20 :
« I – Le comité du label examine pour le compte du Conseil national de l’information statistique les projets comportant la collecte d’informations au moyen d’enquêtes pour lesquelles est sollicité le visa prévu à l’article 2 de la loi du 7 juin 1951 susvisée. [...]
Il vérifie que ces projets :
a) ont reçu un avis d’opportunité favorable d’un président d’une commission thématique du Conseil national de l’information statistique ; ou
b) sont prévus par une loi spéciale ; ou
c) présentent un caractère de nécessité et d’urgence indiscutables.
Il évalue les modalités de mise en œuvre prévues par le service producteur, notamment en prenant en compte la qualité statistique du projet, la charge qu’implique l’enquête pour les personnes physiques ou morales qui en font l’objet, le degré de concertation avec les utilisateurs et le respect des termes de l’avis d’opportunité. En cas d’évaluation favorable du projet, il donne à l’enquête un avis de conformité ainsi qu’un avis sur son caractère obligatoire.
Le comité examine pour le compte du Conseil national de l’information statistique et à la demande de ce dernier les statistiques produites par des organismes de droit privé.
Il évalue notamment la qualité statistique des processus ayant conduit à ces statistiques et leur conformité aux règles de l’art reconnues par la profession. Il transmet les conclusions de cet examen au président du Conseil national de l’information statistique.
II. – Le comité du label de la statistique publique examine pour le compte de l’Autorité de la statistique publique et à la demande de celle-ci les processus d’exploitation et de diffusion, à des fins d’information générale, de données collectées par des administrations, des organismes publics et des organismes privés chargés d’une mission de service public. Le résultat de cet examen est traduit dans un avis.
Un statut d’enquête de la statistique publique qui apporte des garanties
Le statut d’enquête de la statistique publique génère pour les services des contraintes (matérialisées par la procédure même du Cnis et du Comité du label, avec l’exigence de présentation de documents descriptifs détaillés), mais il confère aussi des droits pour les services et apporte des garanties aux répondants.
Les services producteurs d’enquêtes peuvent ainsi mettre en avant la marque « statistique publique » et le critère d’intérêt général, pour se démarquer dans leur communication auprès des enquêtés de la multitude d’enquêtes ou de sondages réalisés à d’autres fins. Ils peuvent aussi demander l’octroi du caractère obligatoire, qui constitue un levier pour favoriser la réponse, même si, en pratique, les services cherchent d’abord à persuader les enquêtés de l’intérêt de répondre, en s’appuyant sur la reconnaissance de l’enquête par le Cnis (Ouvrir dans un nouvel ongletLe Gléau et alii, 2016).
Enfin, le statut d’enquête de la statistique publique engage le producteur à prendre toutes les mesures pour assurer le secret statistique lors de la diffusion des résultats et à ne pas communiquer les données individuelles recueillies à des fins de contrôles. Il permet d’apporter aux personnes ou entités qui fournissent des informations utilisées pour l’établissement de statistiques l’assurance que ces informations ne seront pas utilisées d’une façon susceptible de leur porter préjudice. Cette garantie concerne la protection de la vie privée, du secret commercial ou des affaires, mais aussi dans certains cas les administrations (par exemple les établissements scolaires ou sociaux). Ainsi, dans les domaines de la protection sociale ou de l’éducation, par exemple, certaines enquêtes menées auprès de services administratifs ne nécessitent pas théoriquement un statut d’enquête de la statistique publique, car leur collecte repose sur des personnels faisant partie de l’administration. Leur conférer ce statut d’enquête leur permet cependant de se démarquer de logiques de pure gestion administrative relevant notamment du Code des relations entre le public et les administrations (CRPA).
Le cheminement des enquêtes de la statistique publique
Le périmètre des enquêtes de la statistique publique (au sens de la loi de 1951) se définit de façon quasi tautologique : est qualifiée « d’enquête de la statistique publique », et dotée d’un visa du ministère de l’Économie, toute enquête publiée dans l’arrêté annuel (ou ses avenants) qui définit le programme d’enquêtes.
Trois critères sont a priori nécessaires pour intégrer ce périmètre :
- un critère organique : l’enquête doit être réalisée par un service public ou assimilé ;
- un critère de finalité : l’obtention de statistiques ;
- et un critère de champ d’application : l’enquête nécessite le concours de personnes étrangères à l’administration.
Ces critères sont assez généraux. In fine, c’est la procédure elle-même qui circonscrit a posteriori le périmètre des enquêtes de la statistique publique. En pratique, le visa du ministre, avec mention éventuelle de l’obligation de réponse, est octroyé, par délégation, par le directeur général de l’Insee.
Le cheminement des projets d’enquêtes pour obtenir le visa est le suivant (figure 1) : ils doivent en premier lieu obtenir un avis d’opportunité positif en commission thématique du Cnis, qui atteste que l’enquête est utile, qu’elle répond à un besoin d’intérêt général et qu’elle ne fait pas double emploi avec les sources existant sur le même sujet. Pour les enquêtes régionales, c’est le comité régional pour l’information économique et sociale (Cries) ou, en son absence, une instance régionale dûment constituée et réunie par le directeur régional de l’Insee pour l’occasion, qui se prononce en premier sur l’opportunité de l’enquête, avant de transmettre son avis au Cnis.
Figure 1. Du projet d’enquête... au visa ministériel
Deux cas d’urgence sont cependant prévus, soit dans le cadre d’une loi spéciale, soit en raison d’un caractère de nécessité et d’urgence indiscutables. Il est alors admis que les enquêtes sont opportunes par nature, et donc dispensées, si les délais sont très tendus, d’un examen en commission thématique du Cnis. Cette modalité a été utilisée en 2020 notamment pour les enquêtes visant à assurer un suivi économique ou social des effets de la crise sanitaire liée à la Covid-19 (enquêtes Acemo-Covid de la Dares et EpiCov de la Drees et de l’Inserm).
La seconde étape consiste à obtenir un avis de conformité du Comité du label, sur la base d’une instruction très complète analysant le processus prévu pour réaliser l’enquête, depuis sa conception jusqu’à la diffusion des résultats.
L’enquête bénéficie alors d’un label d’intérêt général et de qualité statistique délivré par le Cnis, assorti le cas échéant d’une proposition de rendre l’enquête obligatoire pour les répondants. En pratique, par délégation formelle du Cnis, le label est attribué par le président du Comité du label, dès lors qu’il délivre son avis de conformité.
Intérêt général et qualité statistique : une jurisprudence établie au fil du temps...
Les textes réglementaires laissent au Comité du label toute latitude pour apprécier la conformité des enquêtes et la qualité statistique. Depuis 25 ans, le Comité a bâti au fil du temps une jurisprudence définissant les critères attendus pour justifier de l’intérêt général et de la qualité de l’enquête, notamment :
- la concertation avec les représentants des utilisateurs potentiels des résultats de l’enquête et des organisations syndicales ou professionnelles concernées ;
- la teneur du questionnaire et le caractère non excessif des questions posées, ainsi que leur conformité aux objectifs entérinés par le Cnis, ce qui conduit à veiller à la non-redondance des informations recueillies par rapport à d’autres sources et la proportionnalité des questions posées au regard des objectifs visés ;
- la méthodologie de la collecte et des traitements, qui renvoie à un vaste ensemble de questions sur l’échantillonnage, le protocole et le mode de collecte, les redressements de la non-réponse, les contrôles de qualité prévus tout au long des traitements, afin d’évaluer la précision des indicateurs et leur absence de biais. À ces questions de mesure se rajoutent les questions de définitions des concepts en amont de leur mesure, et le cas échéant, de conformité à des règles émanant de règlements européens ou internationaux. Enfin, le protocole de collecte est aussi examiné de façon à assurer une collecte loyale vis-à-vis des enquêtés sollicités pour répondre, visant à assurer leur information sur les objectifs de la collecte ainsi que sur leurs droits ;
- les mesures prises pour assurer la confidentialité et le respect du secret statistique ;
- la diffusion large des résultats et l’ouverture des données individuelles notamment aux chercheurs, dans le respect de la confidentialité.
Pour apprécier ces critères, le Comité a établi un dossier-type, qui permet aux services demandeurs de documenter de manière normalisée l’ensemble du processus d’enquête défini lors de la phase de conception et prévu pour le traitement des données en aval après la collecte de l’enquête. Le Comité est particulièrement sensible à la phase de concertation en amont (le service doit indiquer et objectiver comment il a consulté les parties prenantes et les organisations syndicales) et à la phase de tests des questionnaires (pour apprécier leur longueur mais aussi la bonne compréhension des questions par les enquêtés). Le Comité veille aussi aux aspects méthodologiques et notamment au dimensionnement de l’échantillon pour atteindre la précision attendue et aux redressements prévus pour s’assurer de l’absence de biais de réponse et corriger les effets négatifs de la non-réponse. En cas d’évolution d’une enquête régulière, il examine en particulier les dispositions prévues pour contrôler d’éventuelles ruptures de séries et de leur documentation auprès des utilisateurs. Enfin, il veille à ce que les moyens prévus soient proportionnés aux objectifs. L’ouverture des données aux chercheurs (dans le respect de la confidentialité) constitue un dernier critère important, les enquêtes de la statistique publique constituant des « biens publics » à partager.
... qui s’inscrit dans la démarche européenne sur la qualité
Sans y faire explicitement référence à l’origine, ces critères se rapprochent de ceux définis dans le cadre de la statistique officielle européenne, avec l’attention portée à la démarche qui s’est fait jour depuis les années quatre-vingt-dix. Dès 2001, six critères de qualité ont ainsi été énoncés par Eurostat et officiellement retenus par le Comité du programme statistique européen : pertinence, précision, actualité, comparabilité et cohérence (Desrosières, 2003). Ils ont été consolidés depuis avec l’élaboration du Code de bonnes pratiques de la statistique européenne et de ses 16 principes (Ouvrir dans un nouvel ongletUnion européenne, 2017).
Les démarches de labellisation impulsées dans le cadre du Cnis et du Comité du label s’inscrivent de fait dans cette logique. Elles ont d’ailleurs été identifiées par les auditeurs européens dans le cadre de la revue par les pairs, réalisée en 2014, comme des éléments de démonstration de la qualité des enquêtes.
Ainsi, la concertation initiée par le Cnis constitue un moyen pour assurer la pertinence des enquêtes, comme répondant aux besoins exprimés par les utilisateurs. L’examen en conformité permet quant à lui de s’assurer que la conception des enquêtes est conforme aux règles de l’art en termes méthodologiques, mais aussi déontologiques. Enfin, les dossiers constitués pour le Comité du Iabel constituent bien souvent un élément important de la documentation des enquêtes de la statistique publique (les « métadonnées ») qui permet d’assurer leur transparence pour les utilisateurs (Bonnans, 2019).
Quelques cas d’enquêtes dont la qualité n’est pas attestée a priori
Il peut arriver que le Comité du label constate que l’enquête qui lui est présentée est bien d’intérêt général, mais qu’elle ne peut pas ex ante être considérée comme ayant les qualités suffisantes pour recevoir le label plein et entier, parce qu’elle ne satisfait pas d’emblée à certains des critères énoncés ci-dessus. Le Comité du label peut cependant émettre un avis d’examen favorable et demander, le cas échéant, l’octroi du visa ministériel (figure 1).
Ces cas particuliers relèvent notamment des trois situations suivantes :
- enquêtes expérimentales ou pilotes : il s’agit d’enquêtes mettant en œuvre des techniques d’échantillonnage ou des modes de questionnement présentant un caractère novateur marqué ou dont les résultats strictement méthodologiques ne sont pas destinés à être publiés en tant que tels (par exemple, lors de la rénovation de l’enquête Emploi, ou pour instruire la question d’éventuels effets de mode de collecte, en face-à-face, téléphone ou par internet). Le caractère expérimental de ces travaux conduit le plus souvent le Comité du label à en prendre acte sans attribuer le label, car il n’est pas en mesure de se prononcer a priori sur la conformité de méthodes, précisément en raison de leur caractère novateur ; la diffusion large des résultats de ces enquêtes n’est pas non plus nécessairement assurée, précisément en raison de leur caractère exploratoire ;
- enquêtes participant à l’évaluation de politiques publiques : il s’agit d’enquêtes mobilisant des méthodologies de modélisation complexes sur lesquelles il est délicat de se prononcer ex ante (par exemple, concernant l’enquête sur l’expérimentation des mesures « zéro chômeur de longue durée dans les territoires ») ; en raison de cette incertitude sur la qualité ou la définition des méthodes aval et aussi pour éviter un risque d’instrumentalisation, le Comité évite alors de se prononcer sur la qualité a priori des résultats de ces enquêtes, cette responsabilité relevant alors d’autres instances, de type conseil scientifique ;
- enquêtes qui font l’usage de protocoles de mesure particuliers, incluant par exemple des mesures biologiques ou médicales ou des tests techniques (auprès des personnes ou auprès des logements : capteurs de poussières, données énergétiques ou sur la qualité de l’air, etc.), qui ne peuvent être validés par des non-spécialistes de ces domaines. Le Comité du label peut alors ne donner son avis que sur une partie restreinte du processus de l’enquête.
Un avis simple pour des enquêtes requérant uniquement un échantillon de l’Insee
Certaines enquêtes réalisées à des fins de recherche scientifique ou historique, ou dans le cadre de recherches-action (par exemple sur la connaissance des mobilités quotidiennes au niveau de certains territoires) peuvent sous certaines conditions obtenir un échantillon probabiliste issu du Recensement de la population ou du Fichier démographique sur les logements et les personnes issus de sources fiscales (Fideli).
Ces enquêtes sont souvent réalisées dans le cadre d’infrastructures européennes dotées de leurs propres instances de gouvernance (c’est le cas par exemple de l’Enquête Sociale Européenne (European Social Survey) qui est menée tous les deux ans dans la plupart des pays européens). La difficulté pour l’examen de ces projets réside souvent dans le fait que les recommandations du Comité se heurtent alors à d’autres logiques de gouvernance et de spécifications supra-nationales et sont donc généralement peu suivies d’effet, notamment s’agissant du questionnaire ou de certains aspects méthodologiques, définis et entérinés en amont par un consortium international.
Le Comité du label est alors sollicité par le Comité de direction de l’Insee pour donner son aval à la délivrance d’un échantillon, sans inscription au programme des enquêtes de la statistique publique. « Le Comité de direction a validé le fait que, pour la seule finalité d’obtention d’un échantillon aléatoire de logements, le comité du label puisse émettre, après avoir vérifié la qualité du plan de sondage, de la méthodologie aval et des instances de gouvernance du projet, un simple avis d’examen favorable et non un avis de conformité (délivrance du label d’intérêt général et de qualité statistique, impliquant un visa ministériel et une inscription au JO). De ce fait, les opérations concernées ne seront pas qualifiées d’enquêtes de la statistique publique au sens de la loi de 1951 ».
Au final, si l’esprit de l’examen par le Comité du label est depuis sa création de s’assurer de la conformité des méthodes aux règles de l’art, des nuances et des précisions se sont progressivement dessinées dans ses pratiques, conduisant à dresser une typologie de ses avis : avis de conformité, avis d’examen favorable avec visa, avis d’examen simple (sans visa).
Une procédure spécifique pour la labellisation de statistiques administratives
L’ASP a en charge, entre autres missions, la labellisation de statistiques produites à partir de sources administratives et diffusées par des organismes ayant des missions de service public, donc hors du service statistique public (SSP).
La procédure mise en place pour élaborer ces avis a été définie par l’ASP à la suite d’une mission confiée à l’Inspection générale de l’Insee (Ouvrir dans un nouvel ongletChappert et Puig, 2011), complétée pour sa mise en œuvre opérationnelle par une note d’instruction du Rapporteur du Comité. Pour ces statistiques hors enquêtes du « péri-SSP », la mission proposait de s’appuyer sur le Code de bonnes pratiques de la statistique européenne, en retenant les principes de ce code jugés pertinents pour l’examen de ces données (encadré 2). Elle proposait également de confier l’instruction des dossiers de labellisation au Comité du label à l’instar de ce qui se fait pour les enquêtes de la statistique publique, ce qui a été acté dans les textes réglementaires en 2013.
Concrètement, l’ASP arrête son programme annuel de statistiques administratives à examiner. Le Comité du label instruit les demandes de labellisation retenues par l’ASP, en recourant, comme dans le cas des enquêtes, à un dossier-type ; il se réunit en commission spécialisée, puis propose un avis assorti de recommandations pour assurer la conformité des statistiques au Code. La décision de labellisation revient à l’ASP, elle est rendue publique sur son site, ainsi que les conditions ou recommandations qui y sont éventuellement associées et l’avis est publié au Journal officiel.
Encadré 2. Critères retenus par l’ASP pour la labellisation de sources administratives
Indépendance, objectivité, impartialité
- Les statistiques sont produites par un service spécialisé, visible dans son organigramme, disposant de moyens humains et financiers appropriés à ses missions statistiques.
- Le responsable de ce service décide en toute indépendance des méthodes d’exploitation ainsi que du contenu et de la date de diffusion des publications.
- Les statistiques sont établies sur une base objective déterminée par des considérations statistiques. Le choix des sources et des techniques se fait en fonction de considérations statistiques.
- Les informations concernant les méthodes et les procédures statistiques suivies sont mises à disposition du public.
- Les dates et heures de parution des statistiques sont annoncées à l’avance.
- Les erreurs découvertes dans les statistiques déjà publiées sont corrigées dans les meilleurs délais et le public en est informé.
- Tous les utilisateurs ont accès aux statistiques dans les mêmes conditions et tout accès privilégié préalable à un utilisateur extérieur est limité, contrôlé et rendu public.
- Les communiqués et déclarations statistiques diffusés dans le cadre de conférences de presse sont objectifs et neutres. Les publications statistiques sont clairement distinguées de la communication de l’organisme sur l’efficacité de son action.
Qualité et pertinence
- Les personnels chargés des exploitations statistiques disposent des compétences nécessaires.
- L’organisme dispose de procédures de gestion et de contrôle de la qualité de sa production statistique transparentes pour les utilisateurs, inspirées des procédures en œuvre dans le SSP.
- Le cadre méthodologique est conforme aux normes, lignes directrices et bonnes pratiques européennes et internationales.
- Les nomenclatures utilisées sont, autant que faire se peut, cohérentes avec celles retenues par le SSP. Les définitions et concepts utilisés à des fins administratives doivent être, dans la mesure du possible, une bonne approximation de ceux qui sont employés en statistique.
- La présentation des résultats ainsi que la périodicité et les délais de publication tiennent compte autant que possible des besoins des utilisateurs.
- Les statistiques sont présentées sous une forme qui facilite une interprétation correcte et des comparaisons utiles.
- Les données collectées, les résultats intermédiaires et les productions statistiques sont évalués et validés.
- Les révisions sont faites selon des procédures normalisées, bien établies et transparentes.
- Les révisions font l’objet d’études et d’analyses qui sont utilisées en interne pour alimenter les processus statistiques.
- Les statistiques sont cohérentes et peuvent être rapprochées pour une durée raisonnable (à cet égard, tout changement dans les règles ou les pratiques administratives susceptibles d’avoir une influence sur les niveaux ou les évolutions doit être porté à la connaissance du public).
- Les métadonnées concernant les méthodes et les procédures suivies ainsi que les résultats sur la qualité statistique des données sont mis à la disposition du public.
Et demain, faut-il qualifier davantage de (sources) statistiques ?
Avec la démarche de labellisation des enquêtes initiée il y a un peu plus de 25 ans, le Comité du label a développé une méthodologie d’examen permettant d’attester de la qualité des enquêtes de la statistique publique et, plus récemment, des statistiques produites hors du SSP par des organismes ayant des missions de service public. Ces démarches ont constitué des leviers importants pour permettre aux statisticiens d’inscrire leur travail dans des règles respectueuses des bonnes pratiques et d’en assurer la transparence. In fine, c’est l’existence même de ce cadre de gouvernance qui constitue un garde-fou, permettant de prévenir autant que possible d’éventuels dysfonctionnements.
Au sein du SSP, les procédures de labellisation continuent de privilégier les enquêtes classiques, alors que d’autres modes de recueils de données ne font pas l’objet du même formalisme. Pour de multiples raisons (dont les moindres coûts de production), on constate en effet un usage croissant de sources administratives ou de données massives pour la production de statistiques par le SSP. La question d’un élargissement de procédures plus formelles de qualification pourrait ainsi se poser au sein du SSP, à l’instar de la labellisation par l’ASP de statistiques administratives produites au sein du « péri-SSP ».
Par ailleurs, avec le développement du numérique, la production de statistiques s’est largement développée hors du SSP : de nombreux acteurs élaborent des bases ou des jeux de données et diffusent des statistiques comme des sous-produits de leur activité principale. Y compris au sein du « péri-SSP », une partie seulement des statistiques produites est d’ailleurs labellisée par l’ASP. De nombreuses statistiques continuent donc d’être reprises par les médias, sans garantie de qualité, ni même de transparence. Un nouveau service de qualification avait été initié au début des années deux-mille-dix avec la démarche « d’étalonnage » par le Cnis de statistiques d’intérêt général produites par des organismes privés. Ce dispositif s’est avéré très coûteux, tant pour les organismes producteurs que pour le Comité lui-même, et n’a pas connu le développement escompté.
De nouvelles réflexions ont conduit à proposer tout récemment un nouveau mode de qualification de statistiques produites hors du SSP : il ne s’agirait plus d’attester de la qualité des statistiques produites, mais seulement de la transparence a minima de leur documentation (les « métadonnées »). Cette orientation validée récemment par le Cnis est en cours d’expérimentation. Le principe serait de proposer un standard de documentation, ouvert aux organismes volontaires, les statistiques concernées pouvant ensuite être homologuées par le Cnis. L’objectif est de conduire les utilisateurs à s’interroger sur la portée des données et des statistiques diffusées avant de les utiliser ; il s’agit aussi d’inciter les organismes à documenter leurs produits statistiques pour répondre à ces attentes.
Références juridiques
Ouvrir dans un nouvel ongletArrêté du 10 janvier 1994 portant création au sein du Conseil national de l’information statistique d’un comité du label des enquêtes statistiques des services publics et des autres services producteurs d’informations statistiques. In : site de Légifrance. [en ligne]. Modifié le 24 décembre 1997. [Consulté le 24 novembre 2020].
Ouvrir dans un nouvel ongletArrêté du 2 mai 2013 relatif aux modalités d’organisation du comité du label de la statistique publique. In : site de Légifrance. [en ligne]. [Consulté le 24 novembre 2020].
Ouvrir dans un nouvel ongletDécret n° 2009-318 du 20 mars 2009 relatif au Conseil national de l’information statistique, au comité du secret statistique et au comité du label de la statistique publique. In : site de Légifrance. [en ligne]. Modifié le 1er février 2019.[Consulté le 24 novembre 2020].
Ouvrir dans un nouvel ongletLoi n° 2008-776 du 4 août 2008 de modernisation de l’économie. In : site de Légifrance. [en ligne]. Modifiée le 5 juillet 2019. [Consulté le 24 novembre 2020].
Ouvrir dans un nouvel ongletLoi n° 51-711 du 7 juin 1951 sur l’obligation, la coordination et le secret en matière de statistiques. In : site de Légifrance. [en ligne]. Modifiée le 25 mars 2019. [Consulté le 24 novembre 2020].
Paru le :31/12/2020
Par commodité, dans la suite de l’article, le nom officiel sera remplacé par Comité du label, ou plus simplement encore par Comité.
Voir également (Isnard, 2018) pour ce qui concerne la définition des statistiques publiques.
Commission nationale Informatique et libertés.
Produites par exemple par l’Agence centrale des organismes de sécurité sociale (Acoss), Pôle emploi, la Caisse nationale d’allocations familiales (Cnaf), le Service des retraites de l’État (SRE), le Centre d’épidémiologie sur les causes médicales de décès (CépiDC) ou l’Observatoire national interministériel de la sécurité routière (ONISR).
L’arrêté du 2 mai 2013 définit les modalités d’organisation du Comité du label.
Le défaut de réponse à une enquête obligatoire peut donner lieu à une décision d’amende administrative, voire d’une amende pénale, prise par le ministre chargé de l’Économie, après avis du Comité du contentieux des enquêtes statistiques obligatoires.
Voir l’article de Jean-Luc Tavernier sur le « Fonctionnement de l’Insee en période de confinement » paru dans ce même numéro.
Voir l’article de Dominique Bureau sur l’ASP, déjà cité, dans ce même numéro.
L'ASP peut aussi dans certains cas solliciter une instruction par l’Inspection générale de l’Insee ou d’autres corps d’inspection.
Pour en savoir plus
ALLAIN, Joël, 1995. Le Comité du label, un an et quelque. In : Courrier des statistiques. [en ligne]. Mars 1995. N°73, pp. 63-66. [Consulté le 24 novembre 2020].
BONNANS, Dominique, 2019. RMéS, le référentiel de métadonnées statistiques de l’Insee. In : Courrier des statistiques. [en ligne]. 27 juin 2019. N°N2, pp. 46-57. [Consulté le 24 novembre 2020].
CHAPPERT, Alain et PUIG, Jean-Pierre, 2011. Ouvrir dans un nouvel ongletLa labellisation de la statistique publique. [en ligne]. 29 mars 2011. Insee, rapport de l’Inspection générale de l’Insee, n° 80/DG75-B010, Class. 1.6.65. [Consulté le 24 novembre 2020].
CHRISTINE, Marc, 2016. Ouvrir dans un nouvel ongletAssessing and improving quality in official statistics: the case of French Label Committee. In : European Conference on Quality in Official Statistics (Q2016). [en ligne]. 31 mai – 3 juin 2016. Madrid. [Consulté le 24 novembre 2020].
COMITÉ DU LABEL DE LA STATISTIQUE PUBLIQUE, 2020. Ouvrir dans un nouvel ongletComité du label de la statistique publique. [en ligne]. [Consulté le 24 novembre 2020].
DESROSIÈRES, Alain, 2003. Les qualités des quantités. In : Courrier des statistiques. [en ligne]. Juin 2003. N°105-106, pp. 51-63. [Consulté le 24 novembre 2020].
ISNARD, Michel, 2018. Qu’entend-on par statistique(s) publique(s) ?. In : Courrier des statistiques. [en ligne]. 6 décembre 2018. N°N1. [Consulté le 24 novembre 2020].
LE GLÉAU, Jean-Pierre et alii, 2016. Ouvrir dans un nouvel ongletL’obligation de réponse dans la statistique publique. In : Statistique et société. [en ligne]. Octobre 2016. Société Française de Statistique (SfdS). Volume 4, n°2, pp. 9-55. [Consulté le 24 novembre 2020].
UNION EUROPÉENNE, 2017. Ouvrir dans un nouvel ongletCode de bonnes pratiques de la statistique européenne. [en ligne]. 16 novembre 2017. [Consulté le 24 novembre 2020].
VORMS, Bernard, JACQUOT, Alain et LHÉRITIER, Jean-Louis, 2010. Ouvrir dans un nouvel ongletL’information statistique sur le logement et la construction. [en ligne]. 16 mars 2010. Cnis, rapport d’un groupe de travail du Cnis n°121. [Consulté le 24 novembre 2020].