Principe 12 - Exactitude et fiabilité

Les statistiques européennes reflètent la réalité de manière exacte et fiable.

Méthodes
Dernière mise à jour le : 06/07/2016

Indicateur 1 : Les données collectées, les résultats intermédiaires et les productions statistiques sont régulièrement évalués et validés

Pour la publication de chaque résultat, l'Insee évalue systématiquement la validité par comparaison aux informations existantes, tant pour les résultats définitifs que pour les résultats intermédiaires. Cette comparaison peut se faire par rapport aux résultats antérieurs de la même enquête ou par rapport à des sources administratives quand on en dispose.

Les résultats jugés insuffisamment fiables ne sont pas diffusés, ou diffusés avec les mises en garde d'usage, comme ce fut le cas pour l'enquête Emploi en 2007.

Indicateur 2 : Les erreurs d'échantillonnage et les erreurs non dues à l'échantillonnage sont analysées et systématiquement documentées conformément aux normes européennes

Si l'on exclut les erreurs accidentelles (erreurs de calculs, de programmes ou de fichiers par exemple), l'usage est de distinguer entre erreurs non aléatoires et erreurs aléatoires. Les erreurs non aléatoires sont dues soit à des biais de la base de sondage, soit au mode de questionnement. Les erreurs aléatoires - ou erreurs d'échantillonnage - résultent du fait que le statisticien travaille sur un échantillon et non sur l'intégralité de la population de référence. Les erreurs aléatoires sont les mieux maîtrisées par les statisticiens, car leur incidence est mesurable et peut être minimisée par une bonne méthodologie.

Les enquêtes de l'Insee sont le plus souvent réalisées auprès d'un échantillon représentatif de la population de référence. Les estimations fournies peuvent donc s'écarter légèrement des résultats qu'aurait donnés une interrogation exhaustive. Des outils de calcul permettent cependant de mesurer ces erreurs aléatoires ou d'échantillonnage : l'intervalle de confiance ou le coefficient de variation donnent une bonne appréciation du risque d'erreur lié au travail sur échantillon. Pour les enquêtes auprès des entreprises, les taux de réponse et (ou) des indicateurs de précision sont détaillés dans les fiches et bilans qualité.

Les erreurs peuvent provenir aussi de la qualité de la base de sondage de l'enquête, c'est-à-dire de la liste exhaustive des unités (ménages ou entreprises) que l'on interroge.

S'agissant du recensement de la population et dans les villes de plus de 10 000 habitants, la base de sondage est constituée par un répertoire d'immeubles localisés (Ril), liste des immeubles - d'habitation, administratifs, industriels ou commerciaux - identifiés et localisés à leur adresse selon un système d'information géographique. Le Ril est mis à jour au moyen de fichiers administratifs (permis de construire, fichiers de gestion de la fiscalité locale) ou postaux (fichiers d'adresses de La Poste). Il est soumis chaque année à l'expertise des communes et validé in fine par l'Insee. La mesure de la qualité du répertoire d'immeubles localisés est réalisée grâce à une enquête annuelle dont l'objectif est de mesurer l'exhaustivité du répertoire en terme de déficit et d'excédent sur la partie « adresses d'habitation ». L'enquête met également en évidence l'effet positif de l'implication des communes : le travail effectué par les mairies sur les listes d'adresses apparaît comme un élément déterminant de la bonne qualité finale du Ril.

La formulation des questions ou la façon de présenter le questionnaire peuvent aussi être source d'erreurs. Des enquêtes méthodologiques, réalisées ex-post, permettent d'en mesurer l'ampleur. Par exemple, en précisant ce que les enquêtés comprennent par tel concept ou quel effet joue la mémoire sur les réponses.

Indicateur 3 : Les révisions sont régulièrement analysées pour améliorer les processus statistiques.

Les séries de données (enquêtes, comptes nationaux...) font l'objet de révisions pour tenir compte, par exemple, de derniers résultats d'enquêtes ou de sources plus récentes.

Les comptes nationaux, par exemple, font l'objet de révisions régulières. En effet, ils font l'objet de trois estimations successives du fait des délais de disponibilité de certaines sources et de l'arbitrage entre ces différentes sources pour les rendre cohérentes. En outre, tous les 5 ans (depuis 1995), des révisions liées aux changements de base sont l'occasion de réviser les traitements, d'intégrer les nouvelles sources, de corriger des erreurs ponctuelles observées sur les comptes définitifs.

Les résultats trimestriels de l'enquête Emploi sont également soumis à des révisions intégrant les résultats de l'enquête menée auprès des non-répondants, la réestimation des coefficients de variation saisonnière et la révision des données démographiques à partir des enquêtes annuelles de recensement.

Les taux de chômage au niveau local (région, zone d'emploi) ont également fait l'objet de révisions suite aux changements de méthodologie intervenus au niveau national. En effet, à partir de 2007 des modifications à la fois de méthode et de définition sont intervenues dans l'exploitation de l'enquête Emploi.