Principe 12 : Exactitude et fiabilité

Les données collectées, les données intégrées, les résultats intermédiaires et les productions statistiques sont régulièrement évalués et validés.

Les produits statistiques publiés par l’Insee font l’objet de contrôles tout au long de leur chaîne de production. Les contrôles effectués au niveau individuel (micro-contrôles) permettent de s’assurer de la cohérence et de la validité des données issues d’un questionnaire ou d’une source administrative. Il peut s’agir par exemple de contrôles sur les ordres de grandeur, les unités, les évolutions entre deux réponses ou millésimes.

Des contrôles sont également effectués sur les données agrégées (macro-contrôles). La cohérence des macro-données est vérifiée au niveau interne (contrôles d’additivité, de vraisemblance des valeurs), temporel (contrôles des évolutions) et par comparaison avec d’autres sources. Ces macro-contrôles constituent trois des sept critères (avec la qualité attendue, l’existence d’une documentation, l’existence d’une organisation spécifique et la maîtrise des données diffusées) utilisés par les statisticiens, pour évaluer leurs dispositifs de contrôle-validation des données agrégées.

Les macro-contrôles conduisent à des retours vers les données individuelles lorsque des anomalies sont constatées. Cette procédure itérative fiabilise et améliore la qualité des résultats des processus statistiques.

Pour certains processus de l’Insee, comme la détermination des populations légales issues du recensement, la plupart des contrôles sont réalisés dans les établissements régionaux de l’Institut.

Les erreurs d’échantillonnage et les erreurs non dues à l’échantillonnage sont analysées et systématiquement documentées conformément aux normes européennes.

Les erreurs d’échantillonnage sont liées au fait que les estimations obtenues sur données d’enquête peuvent s'écarter légèrement des résultats qu'aurait donné une interrogation exhaustive. Les erreurs non dues à l'échantillonnage se rapportent à des erreurs de couverture, de mesure, de non-réponse, de traitement, etc.

Le département des méthodes statistiques de l’Insee vient en appui aux responsables d’enquête ou aux responsables de traitement de données administratives. Il assure la mise à disposition en interne de plusieurs supports méthodologiques qui permettent d’homogénéiser les pratiques et optimiser les outils et techniques utilisés. Ils se rapportent notamment à la précision et au contrôle-redressement des échantillons. Ainsi, par exemple pour les enquêtes « ménages », il existe un cadre d’assurance qualité qui donne les grandes étapes à respecter pour mesurer et documenter les erreurs aléatoires et non-aléatoires.

Les méthodes de mesures des erreurs, aléatoires ou non, font partie de la documentation de base à joindre aux métadonnées d’une source et à mettre à disposition des utilisateurs. Conformément aux normes et standards internationaux, des indicateurs de qualité (taux de non-réponse totale et partielle, précision des estimateurs, etc), voire des bilans de fin de production ou de collecte sont diffusés avec les métadonnées de la source concernée sur le site insee.fr.

En amont des enquêtes, la qualité des bases de sondage (notamment en termes de couverture et de doublons éventuels) est régulièrement examinée, en particulier lors des travaux de renouvellement de ces bases.

Les révisions sont régulièrement analysées afin d’améliorer les données collectées, les processus statistiques et les résultats.

La politique générale de révision du service statistique public formalisée en 2019 indique explicitement que les révisions « sont analysées de manière à assurer et à améliorer la qualité des données, des méthodes de production ou de diffusion et des procédures de révision; les résultats de ces analyses font partie des rapports qualité ; pour mener ces analyses, il est nécessaire d’avoir archivé au préalable les données avant et après révision ».

Les analyses des révisions sont intégrées aux métadonnées d’une source mises à disposition des utilisateurs sur insee.fr.

Ainsi, la source des comptes nationaux annuels comporte une note méthodologique présentant les principales révisions intervenues sur les comptes de la Nation en 2016, 2017 et 2018. Elle analyse les révisions, en présente les modalités techniques, les conséquences, justifie les choix effectués avec l’objectif d’améliorer les processus et les statistiques. Enfin, des encadrés sur l’impact des révisions sont aussi ajoutés dans les publications Informations Rapides.