Principe 8 - Procédures statistiques adaptées

Des statistiques de qualité sont fondées sur des procédures statistiques adaptées, depuis la collecte des données jusqu'à leur validation.

Méthodes
Dernière mise à jour le : 06/07/2016
Sommaire
  1. Indicateur 1 : Lorsque les statistiques européennes sont fondées sur des données administratives, les définitions et les concepts utilisés à des fins administratives sont une bonne approximation de ceux qui sont employés en statistique.
  2. Indicateur 2 : Les questionnaires utilisés dans les enquêtes statistiques sont systématiquement testés avant la collecte des données.
  3. Indicateur 3 : La conception des enquêtes, la sélection des échantillons et les méthodes d'estimation reposent sur des fondements solides ; elles sont revues et corrigées à intervalles réguliers, autant que nécessaire.
  4. Indicateur 4 : La collecte, l'entrée des données et la codification sont soumises à un examen systématique et sont révisées au besoin.
  5. Indicateur 5 : Des méthodes appropriées sont utilisées pour l'imputation et l'apurement : elles sont régulièrement évaluées, corrigées ou mises à jour le cas échéant.
  6. Indicateur 6 : Les révisions sont faites selon des procédures normalisées, bien établies et transparentes.
  7. Indicateurs 7, 8 et 9 : Les autorités statistiques participent à la conception des données administratives afin de rendre celles-ci mieux adaptées à l'utilisation statistique. Des accords sont conclus avec les détenteurs de données administratives qui expriment l'engagement commun d'utiliser ces données à des fin statistiques. Les autorités statistiques coopèrent avec les détenteurs de données administratives pour garantir la qualité des données.

Indicateur 1 : Lorsque les statistiques européennes sont fondées sur des données administratives, les définitions et les concepts utilisés à des fins administratives sont une bonne approximation de ceux qui sont employés en statistique.

Les sources administratives présentent l'avantage d'être généralement exhaustives sur leur périmètre et peuvent fournir de bonnes approximations des concepts utilisés en statistique.

Dans de nombreux cas, les données administratives sont utilisées, de façon anonyme et, s'il y a lieu, sous le contrôle de la Commission nationale de l'informatique et des libertés (Cnil), pour établir des statistiques.

À titre d'exemple, l'Insee produit des statistiques économiques sur les salaires et l'emploi à partir des déclarations annuelles de données sociales (DADS), remplies par toute entreprise qui emploie un ou plusieurs salariés.

Dans le cadre du projet de rénovation des statistiques structurelles d'entreprises (Resane), l'un des objectifs majeurs est d'utiliser toutes les sources administratives possibles dont l'exploitation statistique est maîtrisée (liasses fiscales des régimes des bénéfices industriels et commerciaux (BIC) et des bénéfices non commerciaux (BNC), déclarations annuelles de données sociales, etc.).

Cependant, la mobilisation à des fins statistiques des sources administratives nécessite un certain nombre de précautions : les sources utilisées étant externes, l'Insee ne contrôle ni les concepts sous-jacents aux données ni la collecte. Ainsi, la notion de « foyer fiscal » utilisé par le fisc n'est pas identique à la notion de « ménage » utilisée en statistique. Les contraintes légales ou administratives régissant les sources peuvent être modifiées à tout moment, ce qui a un impact à la fois sur leur contenu et sur la diffusion qu'on peut en faire.

Indicateur 2 : Les questionnaires utilisés dans les enquêtes statistiques sont systématiquement testés avant la collecte des données.

Les questionnaires d'enquête sont systématiquement testés avant la collecte des données soit par le personnel de l'Insee, soit par un réseau d'enquêteurs spécialisés. Avant d'attribuer l'avis de conformité, le Comité du label du Conseil national de l'information statistique (Cnis) examine de manière approfondie chaque projet d'enquête, notamment les comptes rendus des tests qui ont été réalisés. Ces comptes rendus relatent les difficultés rencontrées et proposent des modifications à apporter suite aux tests. Les tests permettent aussi de vérifier que les temps de réponse observés sont admissibles en termes de coût et de charge de réponse.

Indicateur 3 : La conception des enquêtes, la sélection des échantillons et les méthodes d'estimation reposent sur des fondements solides ; elles sont revues et corrigées à intervalles réguliers, autant que nécessaire.

Le Comité du label du Conseil national de l'information statistique (Cnis) examine de manière approfondie la description du sondage et du mode de collecte de chaque enquête. Ces éléments sont obligatoirement décrits dans les dossiers types de présentation d'un projet d'enquête auprès des entreprises ou auprès des ménages.

La méthode d'actualisation de l'échantillon fait partie intégrante de la description de la méthode d'échantillonnage soumise au Comité du label. Le Comité du label prévoit aussi de réexaminer tous les cinq ans les enquêtes permanentes.

Par exemple, l'enquête Emploi a fait l'objet de modifications importantes en 2007. Les pondérations ont notamment été revues afin de tenir compte des disparités géographiques et des profils sociodémographiques de la population. De plus, les résultats trimestriels de l'enquête Emploi sont soumis à des révisions intégrant les résultats de l'enquête menée auprès des non-répondants.

En raison de la mise en place en 2004 du recensement rénové, un nouveau système d'échantillonnage a été mis progressivement en place pour les enquêtes ménages, et remplace l'ancien système revu seulement après chaque recensement. S'il y a lieu, on a éventuellement recours à des échantillons tirés de fichiers administratifs (Taxe d'habitation, DADS).

Pour les redressements et repondérations d'échantillons, l'Insee utilise le logiciel CALMAR qui constitue une norme interne.

Indicateur 4 : La collecte, l'entrée des données et la codification sont soumises à un examen systématique et sont révisées au besoin.

Pour les nouvelles enquêtes auprès des ménages, toutes les étapes du processus de production sont réunies dans un document unique (Core, Cadre organisationnel de réalisation d'enquêtes). Ce document est révisé et mis à jour au cours de l'avancement de chaque étape de l'enquête : il permet le pilotage dans un cadre normalisé.

La codification des réponses aux enquêtes, en ce qui concerne par exemple la profession, est automatisée grâce à un logiciel (Sicore, système informatisé de codage des réponses aux enquêtes), mis à jour régulièrement.

Pour suivre la qualité de la collecte sur le terrain, les moyens utilisés sont plus variés. Par exemple, en ce qui concerne la collecte des bulletins de l'état civil, les défauts d'exhaustivité sont détectés, puis les bulletins manquants pour le répertoire sont récupérés sur les registres de l'état civil dans les mairies.

Pour le recensement de la population, une première vérification de la collecte des communes concernées dans la campagne de recensement est effectuée. Les résultats de cette vérification sont utilisés pour concentrer les contrôles sur les collectes des communes les plus susceptibles de présenter des anomalies et rectifier les erreurs éventuelles.

Pour les enquêtes auprès des entreprises, des relances ciblées sont menées par un réseau d'enquêteurs spécialisés auprès des grandes entreprises non répondantes. Pour les enquêtes réalisées auprès des ménages, les non répondants sont systématiquement relancés.

Indicateur 5 : Des méthodes appropriées sont utilisées pour l'imputation et l'apurement : elles sont régulièrement évaluées, corrigées ou mises à jour le cas échéant.

Pour chaque enquête auprès de ménages ou d'entreprises, des programmes spécifiques sont mis en place pour réaliser l'apurement ou l'imputation en cas de non réponses. Ces programmes sont mis à jour en tant que de besoin.

La collecte des enquêtes auprès des ménages est réalisée, dans la plupart des cas, par collecte assistée par informatique (Capi). Cette application permet notamment l'intégration systématique de contrôles évitant les incohérences ainsi que la gestion des questions-filtres. Elle a fait l'objet de multiples évolutions : entre autres, l'intégration d'un système informatisé de réponse aux enquêtes puis l'intégration d'un système de sécurisation des données par exemple.

Pour les enquêtes auprès des entreprises, la collecte par internet intégre aussi systématiquement des contrôles en ligne et des systèmes de sécurisation des données.

Indicateur 6 : Les révisions sont faites selon des procédures normalisées, bien établies et transparentes.

L'Insee essaie, dans la mesure du possible, de donner des chiffres définitifs dans les meilleurs délais. Cependant, pour certaines données, des chiffres provisoires sont diffusés et ces chiffres provisoires sont annoncés comme tels. La révision de ces chiffres trouve sa justification uniquement dans la disponibilité des informations : apport de questionnaires, vérifications plus complètes de la cohérence des données, etc.

Dans les cas exceptionnels où la révision résulte d'une erreur technique, la règle consiste à faire l'annonce de la rectification dès que l'erreur est connue.

Indicateurs 7, 8 et 9 : Les autorités statistiques participent à la conception des données administratives afin de rendre celles-ci mieux adaptées à l'utilisation statistique. Des accords sont conclus avec les détenteurs de données administratives qui expriment l'engagement commun d'utiliser ces données à des fin statistiques. Les autorités statistiques coopèrent avec les détenteurs de données administratives pour garantir la qualité des données.

L'Insee travaille avec les organismes et services détenteurs de ces informations afin de rendre ces dernières mieux adaptées à leur utilisation statistique. Ainsi, le nouveau dispositif d'élaboration des statistiques annuelles d'entreprises (Esane) intègre un recours renforcé à des sources administratives qui a été permis par le raccourcissement des délais de fourniture des données et par une amélioration de la qualité des fichiers. Autre exemple, l'enquête Revenus fiscaux et sociaux (ERFS), qui fournit une évaluation annuelle du revenu disponible des ménages, a été enrichie de données provenant des organismes sociaux afin de disposer des prestations effectivement perçues par les ménages. L'enquête évalue aussi les revenus générés par des produits financiers non soumis à l'impôt sur le revenu. Grâce à ces enrichissements, différents concepts de revenus peuvent désormais être mesurés.