Courrier des statistiques N3 - 2019

Le numéro N3 consacre pas moins de six articles à l’innovation dans la statistique publique. L’arrivée des données de caisses fait évoluer la méthodologie de l’indice des prix à la consommation (IPC) à compter de 2020. Le Centre d’accès sécurisé aux données (CASD) innove également avec la certification de recherches fondées sur données confidentielles. Innovation encore pour développer la plateforme de collecte par internet auprès des entreprises, avec un générateur automatique et un outil de conception des questionnaires, complétant l’offre de service pour les enquêtes auprès des entreprises. Enfin, s’appuyant sur un socle commun, deux nouveaux règlements européens sur les statistiques d’entreprise (FRIBS) et sociales (IESS) vont avoir des conséquences concrètes pour les producteurs, les utilisateurs et la cohérence entre domaines ; ce numéro en présente les avancées pour l’Insee, ainsi que pour le système statistique allemand.

Courrier des statistiques
Paru le : Paru le 19/12/2019
Olivier Haag, coordinateur des projets structurants de la direction des Statistiques d’entreprises et Anne Husseini-Skalitz, cheffe de la section Coltrane et animation du réseau d’enquêteurs entreprises, Insee
Courrier des statistiques - Décembre 2019
Consulter

Collecte par internet des enquêtes auprès des entreprises : l’Insee entre dans l’ère Coltrane

Olivier Haag, coordinateur des projets structurants de la direction des Statistiques d’entreprises et Anne Husseini-Skalitz, cheffe de la section Coltrane et animation du réseau d’enquêteurs entreprises, Insee

La collecte des enquêtes auprès des entreprises accorde une place croissante à internet. Or dans le système statistique public français, l’offre était protéiforme. Le projet Coltrane a été développé de façon modulaire dans le but d’apporter de la cohérence technique et fonctionnelle à ce qui était épars. La plateforme de collecte résultant du projet a ainsi non seulement pris la place de quatre dispositifs de collecte antérieurs, mais elle a aussi été le premier maillon d’une nouvelle filière de l’Insee basée sur des métadonnées actives. Ainsi, à partir de la description du questionnaire par le concepteur, différents supports de collecte sont générés automatiquement et intégrés dans une infrastructure de collecte par internet. Plus qu’une simple plateforme de collecte, Coltrane, aujourd’hui, c’est une offre de service complète qui permet aux concepteurs d’enquête : de collecter les réponses par internet, de disposer d’un référentiel de contacts au sein des entreprises et de le gérer, d’envoyer des courriers, des mails et des questionnaires papier aux entreprises qui le souhaitent, le tout en disposant d’un système d’assistance dédié. Coltrane constitue aussi une avancée notable pour les entreprises qui peuvent maintenant mieux identifier et répondre à la plupart des enquêtes qui leur sont adressées par la statistique publique grâce à un unique couple « identifiant – mot de passe », selon un cadre ergonomique commun.

Simplifier les enquêtes pour les entreprises et harmoniser les outils des concepteurs

En 2000, le Sessi, alors service statistique ministériel de l’Industrie, initiait la collecte par internet auprès des entreprises avec son enquête mensuelle de branche, avant de l’étendre aux autres enquêtes du secteur de l’industrie. Avec la fusion d’une partie du Sessi et de l’Insee en 2008, l’infrastructure de collecte est devenue propriété de l’Insee. Depuis 2004, l’Insee disposait déjà de son propre dispositif pour une douzaine d’enquêtes fréquentes et régulières auprès des entreprises. Peu à peu, la diffusion rapide d’internet au sein des entreprises et la volonté de réduire les coûts de collecte ont encouragé d’autres services producteurs, de l’Insee ou des services statistiques ministériels, à dématérialiser leurs questionnaires. En cherchant à répondre au plus vite à l’aspiration des producteurs et à la demande pressante des entreprises, on aboutissait à une juxtaposition d’outils hétérogènes. Cette situation devait conduire l’Insee à chercher à réduire le nombre d’infrastructures de collecte web (Voir l’article sur la naissance d’une innovation en production statistique de Jean-Marc Béguin) afin de faciliter la réponse des entreprises, tout en réduisant les coûts de maintenance informatique des différentes plateformes d’autre part.

En parallèle, lors des assises nationales de la simplification administrative d’avril 2011, les entreprises avaient fait remonter leurs difficultés face à la charge statistique. Parmi les 80 mesures issues de ces assises, figurait l’objectif de « Dématérialiser à 100 % les enquêtes de la statistique publique » et de centraliser les questionnaires sur un site unique à partir de 2013 (mesure n°12). Tout le monde s’accordait à penser – et les interviews des entreprises le confirmaient – que ce mode de réponse était moins coûteux pour les entreprises que des questionnaires papier. À cette époque, la couverture de la collecte par internet restait insuffisante : les enquêtes pour lesquelles c’était techniquement possible représentaient 73 % du volume des questionnaires envoyés par l’Insee aux entreprises, mais seulement 51 % des enquêtes de l’ensemble du Service statistique public (SSP). L’ambition était donc moins d’alléger la charge statistique au sens classique du terme (« diminuer le volume d’enquêtes »), que d’alléger la charge de réponse en simplifiant les dispositifs de collecte pour les entreprises.

C’est dans ce contexte que le projet Coltrane (COLlecte TRANsversale d’Enquêtes) a démarré en 2010. Il avait pour objectifs principaux de :

  • mettre au point « une plateforme technique » de collecte multimodale ;
  • mettre à disposition des enquêtés et des responsables d’enquête de l’Insee, voire du Système statistique public, un ensemble de fonctionnalités répondant à leurs besoins (authentification des entreprises sur la plateforme, poste de pilotage pour les responsables d’enquêtes, etc.) ;
  • fournir un mode d’emploi d’intégration des enquêtes sur cette plateforme ;
  • offrir une infrastructure de gestion des contacts.

Le projet avait un périmètre déjà large au regard de son calendrier. Il n’entrait pas dans ses objectifs de départ de pouvoir satisfaire les besoins des enquêtes auprès des ménages (ou du recensement de la population). Toutefois, l’idée subsistait que toutes les fonctions potentiellement communes entre les deux domaines de collecte et développées pendant le projet devraient à terme être partagées.

Une nouvelle filière à la logique basée sur les métadonnées actives

Une particularité distingue Coltrane des plateformes existantes (Voir (Saraiva et alii, 2016 ; Fazio et alii, 2015 ; Thieme et alii, 2015)) : ce sont ses liens étroits, dès l’origine, avec le projet de référentiel des métadonnées statistiques RMéS (Bonnans, 2019) et notamment l’objectif affiché d’utiliser les métadonnées qui décrivent les questionnaires d’enquêtes pour générer directement les outils de collecte, d’où l’expression de métadonnées « actives » pour décrire la filière.

L’Insee a adopté le GSBPM pour modéliser ses processus statistiques et le standard DDI (Data Documentation Initiative) pour décrire formellement le cycle de vie des données, en particulier les objets « questionnaires ». Ce choix structurant a rendu impossible le recours à un des progiciels de collecte sur le marché, car ceux-ci n’étaient pas encore adaptés à ces standards.

La génération automatique des supports de collecte, c’est-à-dire des écrans et des programmes qui permettent de récupérer les réponses, à partir de leur description en DDI, est à la racine des gains de productivité escomptés. Elle a d’abord été développée dans le cadre d’un sous-projet de Coltrane baptisé Eno (Voir l’article sur Eno de Heïdi Koumarianos et Éric Sigaud). Le générateur Eno permet, à partir de la spécification du questionnaire, d’automatiser des tâches auparavant réalisées manuellement : développement du support de collecte par un informaticien puis test et recette par le statisticien ; il permet de garantir que plusieurs modes de collecte différents (incluant le papier) correspondent à la même description générale. Ainsi, contrairement au passé, le concepteur ne fait plus autant de spécifications qu’il y a de supports de collecte. Une seule spécification suffit et elle lui garantit l’homogénéité du questionnement quel qu’en soit le mode.

Entamée avec Coltrane et son sous-projet Eno, l’activation des métadonnées pour la collecte s’est enrichie de l’outil Pogues (Voir l’article sur l’outil Pogues de Franck Cotton et Thomas Dubois) qui permet au statisticien de concevoir son modèle de questionnaire, et de générer automatiquement le modèle en DDI, sans recourir à un expert de ce standard.

Un développement progressif, appuyé sur des opérations en vraie grandeur

Aujourd’hui, l’ensemble de la filière Pogues/Eno/Coltrane vise à mettre l’utilisateur-concepteur au centre du jeu. Pour Coltrane, il avait été décidé dès le départ d’opter pour un développement modulaire, avec la mise en production successive « d’opérations ». Une opération désignait un ensemble fonctionnel complet et cohérent, pour lequel une application était livrée en production et faisait l’objet d’une recette complète par un groupe d’utilisateurs. L’atterrissage en production d’une opération devait se matérialiser par la bascule sur internet d’une enquête pilote et d’un ensemble de fonctionnalités (parfois versionnées) du projet Coltrane, qui étaient ensuite utilisables pour les enquêtes pilotes suivantes.

Trois opérations ont été lancées au cours de la première phase du projet, phase pendant laquelle on prévoyait de développer toutes les fonctionnalités prévues à l’origine.

  • En février 2013, la première étape a été de réaliser la collecte en ligne pour l’Enquête Sectorielle Annuelle (ESA), via un système de dépôt-retrait d’un questionnaire au format « PDF remplissable ». Cette opération, non prévue à l’origine, a été développée en priorité pour répondre aux attentes des assises de la simplification (voir supra). Il a permis d’envoyer un signal fort en dématérialisant l’enquête ayant l’échantillon le plus volumineux ; c’était aussi l’enquête qui, du fait de sa taille, touchait le plus de PME, lesquelles étaient les plus sensibles à la charge de collecte.
  • La deuxième étape, en juin 2013, a été la mise en ligne de l’enquête Innovation (CIS). Il s’agissait, de fait, de la première utilisation de l’infrastructure technique Coltrane sous le format visé (questionnaire « en ligne » alimenté par et alimentant un fichier au format XML).
  • On restait cependant dans une logique purement Insee, et dans un troisième temps (mars 2015), l’objectif a été d’outiller une enquête d’un service statistique hors Insee, en l’occurrence la Dares et l’enquête trimestrielle Acemo (jusqu’alors tout papier), ainsi que l’ajout de fonctionnalités nouvelles par rapport à l’opération précédente.

La seconde phase appelée aussi phase de généralisation ou « d’intégration de masse » a débuté en septembre 2016. Elle consistait, une fois la plupart des composants de l’offre de service Coltrane développés, à basculer progressivement la trentaine d’enquêtes de l’Insee dans le dispositif, notamment celles qui utilisaient l’ancienne infrastructure du Sessi (comme les enquêtes mensuelles de branche (EMB)).

Le démarrage de cette seconde phase a été plus difficile que prévu initialement. L’intégration des premières enquêtes a en effet mis en évidence des fragilités dans la plateforme de collecte. Afin de les résoudre, il a été nécessaire d’optimiser certains développements et de renforcer l’infrastructure de collecte en production afin d’être sûr de pouvoir supporter la charge prévue en régime de croisière. L’intégration massive des enquêtes dans le dispositif a donc été réalisée dans le calendrier prévu, mais la plateforme n’offrait pas à l’époque toutes les fonctionnalités imaginées au cours du projet.

Coltrane aujourd’hui ? À la charnière entre les entreprises et les statisticiens

La plateforme offre des services aux concepteurs d’enquêtes lors de la phase de Construction des supports de collecte. Coltrane transmet les réponses collectées via la plateforme, dans un format standard, aux applications de gestion des enquêtes (figure 1). Afin de ne pas « décourager » les répondants, peu de contrôles de cohérence ou de non-réponse partielle sont implémentés dans Coltrane. Cette absence de contrôle bloquant permet en outre de faire l’hypothèse que Coltrane n’induit à ce jour aucun effet de mode dû à la collecte par internet par rapport à une collecte « papier ».

Les applications de gestion des enquêtes, qui sont en dehors du périmètre fonctionnel de Coltrane, permettent de suivre la collecte, notamment d’identifier les unités non-répondantes à relancer, de contrôler la qualité des réponses et de les redresser le cas échéant. Coltrane offre donc aussi, par l’intermédiaire des applications de gestion, des services aux équipes de gestionnaires d’enquêtes, lors des phases de Collecte. Nous allons voir plus loin, comment Coltrane outille directement les gestionnaires en contact avec les entreprises.

Mais les premiers utilisateurs de Coltrane sont, de fait, les entreprises répondant aux enquêtes que la plateforme abrite.

 

Figure 1. Coltrane, à la charnière entre entreprises et statisticiens

 

 

L’offre de service aux entreprises enquêtées

Quand elle est échantillonnée, l’entreprise enquêtée reçoit un courrier (voire un courriel) lui annonçant qu’elle a été sélectionnée pour répondre à un questionnaire. Ce courrier, en plus de présenter succinctement l’enquête, contient des éléments pour se connecter à la plateforme (Voir la page consacrée aux enquêtes auprès des entreprises et celle spécifiquement dédiée à l’accueil sur la plateforme Coltrane) lien à ouvrir, identifiant et mot de passe, attribués à la personne physique qui va répondre à l’enquête et qu’on appelle « contact », de sorte que :

  • une unité enquêtée a au moins un contact (dont les noms et prénoms peuvent ne pas être connus au lancement de l’enquête) et peut en avoir plusieurs ;
  • un même contact peut être associé à plusieurs unités enquêtées ;
  • le contact peut ne pas appartenir à l’entreprise enquêtée mais être mandaté pour le faire, par exemple un comptable qui répond aux enquêtes pour ses clients.

À la première connexion sur le portail d’authentification (figure 2), le contact doit personnaliser son mot de passe. En cas de perte du mot de passe, il peut demander son renouvellement en ligne. Le portail d’authentification fait appel à un service mutualisé d’identification,développé en dehors du projet.

Une fois authentifié, le contact est dirigé sur un portail de réponse (figure 2), et plus spécifiquement sur un onglet nommé « Mes Enquêtes », point d’entrée unique pour répondre à toutes les enquêtes gérées par Coltrane (enquête de l’Insee ou de tout service statistique ministériel qui a adopté Coltrane) :

  • il y visualise les enquêtes en cours de collecte pour lesquelles il a les droits de réponse, ainsi que les dates de retour souhaité, voire les dates de réponse si le questionnaire a déjà été renseigné ;
  • il accède au questionnaire de son choix parmi la liste des enquêtes, soit pour répondre à l’enquête, soit pour consulter les questionnaires ou réponses déjà saisis tant que la collecte n’est pas fermée.

 

Figure 2. Ce que l’entreprise enquêtée visualise avec la plateforme Coltrane

 

 

Lorsqu’un contact navigue dans un questionnaire, ses réponses sont automatiquement enregistrées à chaque changement de page. Il peut ainsi quitter le questionnaire à tout moment et y revenir quand il le souhaite : il lui est alors proposé de retourner directement sur la dernière page consultée ou de recommencer depuis le début. En bout de course, il peut choisir d’envoyer sa réponse ou de simplement l’enregistrer pour y revenir ultérieurement. Lors de l’envoi, un téléchargement au format « PDF » récapitulant sa réponse lui est proposé.

Depuis le portail de réponse, le contact a bien sûr la possibilité de renseigner ou de mettre à jour ses informations personnelles (nom, prénom, adresse mail, numéro de téléphone, fonction, adresse postale, etc.) par le biais de l’onglet « Mon Compte ». Il peut également personnaliser son mot de passe et surtout, dans le cas où il aurait reçu plusieurs identifiants de connexion (un par enquête par exemple), il peut les « regrouper » et disposer d’un unique compte pour accéder et répondre aux questionnaires de plusieurs unités enquêtées ou de plusieurs enquêtes. Sur un plan pratique, c’est un grand atout du portail.

Tout au long de son chemin sur la plateforme de collecte, le contact dans l’entreprise peut accéder à une foire aux questions et à une assistance en ligne, via un formulaire. Cette assistance est contextualisée, c’est-à-dire que selon l’endroit d’où le formulaire est appelé, il est plus ou moins prérempli et peut être transmis à deux types d’acteurs :

  • les pôles Insee-Contact, pour les questions « techniques » (modalité d’accès à la plateforme de collecte, réalité de l’enquête, objectifs, perte de code d’accès, etc.) ;
  • les équipes des gestionnaires d’enquête, pour les questions « métier » directement en lien avec l’enquête.

Cet ensemble de services offert par l’intermédiaire de Coltrane permet in fine d’améliorer l’image de la statistique publique, notamment vis-à-vis des grandes entreprises qui reçoivent un nombre important de questionnaires d’enquêtes statistiques (L’identité visuelle a également bénéficié d’un effort d’harmonisation de la présentation des questionnaires. Voir aussi à ce sujet l’article sur Eno de Heïdi Koumarianos et Éric Sigaud). Ces dernières voient d’une part se réduire le coût d’appropriation du remplissage des questionnaires et de la navigation sur la plateforme de collecte. D’autre part, elles peuvent être incitées à répondre aux enquêtes qui figurent dans leurs en-cours et dont elles avaient oublié l’existence.

Si, depuis la mise en œuvre de Coltrane, on n’a pas encore observé d’accroissement significatif des taux de réponse, au moins le système permet-il de maintenir les taux existants à des niveaux plutôt élevés.

En plus des portails destinés aux entreprises enquêtées, le projet Coltrane a mis en place plusieurs outils à destination des concepteurs d’enquête pour faciliter la création des supports de collecte d’une part et pour gérer la collecte proprement dite d’autre part.

Des outils innovants pour les concepteurs d’enquêtes

C’est dans le cadre du projet Coltrane que le générateur de supports de collecte Eno a été développé. L’équipe de projet a en outre fortement contribué à la mise en place de Pogues (Voir l’article de Franck Cotton et Thomas Dubois), outil de conception du modèle de questionnaire en DDI. Grâce à ces outils, le statisticien conçoit le modèle de questionnaire, le visualise dans une version « vierge » et non personnalisée, et valide sa version définitive.

Il doit ensuite utiliser l’application de gestion de son enquête pour fournir à la plateforme Coltrane l’échantillon de l’enquête avec ses caractéristiques (au format XML). Ce fichier dit « de personnalisation » contient pour chaque unité enquêtée :

  • l’ensemble des données d’identification des entreprises sélectionnées (identifiant de l’unité, raison sociale, etc.) ;
  • éventuellement les contacts : identifiant du contact s’il existe déjà dans Coltrane et si l’on veut le partager avec d’autres responsables d’enquêtes, adresse, nom-prénom, fonction, téléphone, adresse mail, etc.) ;
  • et d’autres données utiles à la collecte : réponses de l’unité enquêtée lors d’une précédente campagne de collecte, si elles existent.

Coltrane génère et héberge tous les questionnaires web des unités à interroger, à partir du modèle de questionnaire vierge et non personnalisé fourni par Eno, et du fichier de personnalisation fourni par l’application externe de gestion d’enquête. Au moment du lancement de la collecte, Coltrane a donc généré autant de questionnaires vierges (mais personnalisés) qu’il y a d’unités à interroger.

Une fois la collecte d’une enquête ouverte, Coltrane extrait les réponses qui ont été collectées depuis la dernière extraction, au rythme choisi par le responsable de l’enquête (en pratique jusqu’à 4 fois par jour) et les transmet (au format XML) à l’application de gestion de l’enquête. Certains responsables d’enquête ont également choisi de récupérer les PDF « preuves de dépôt ».

En revanche, Coltrane n’offre pas de service d’archivage des réponses post-collecte. Les réponses des unités enquêtées ne sont conservées sur la plateforme que trois mois après la fermeture de la collecte ; cela permet aux gestionnaires d’accéder aux données brutes durant toute leur phase de validation des données. Elles sont ensuite supprimées, à charge au responsable d’enquête de les sauvegarder dans son environnement propre, si besoin était.

Un module pour gérer les courriers aux entreprises

Pour mener à bien la collecte d’une enquête, il est indispensable de contacter régulièrement les entreprises, par exemple pour leur rappeler leur obligation de répondre aux enquêtes labellisées de la statistique publique. Usuellement, quatre modèles de courriers sont prévus : ouverture de la collecte, rappel, mise en demeure, constat de non-réponse. Coltrane propose également un modèle de courrier pour les entrées dans un panel et un autre pour remercier les sortants de panel.

Au cours du projet Coltrane, l’Insee a développé un module pour créer des courriers « prêts à être imprimés ». Ce « Module Courrier » est aujourd’hui mis à disposition de toute autre application ayant des besoins similaires. Pour les enquêtes collectées grâce à Coltrane :

  • la partie générique de ces courriers a été standardisée puis validée par le comité du Label de la statistique publique (le comité propose ainsi sur son site des modèles de cartouche à utiliser sur les questionnaires pour informer les entreprises enquêtées des conditions réglementaires de l’obligation de réponse) ;
  • le contenu spécifique à chaque enquête (nom de l’enquête, objectif, etc.) est composé à l’aide de métadonnées stockées dans les bases Coltrane et alimentées par le concepteur d’enquête, selon le principe de métadonnées actives déjà évoqué.

Comme précédemment, Coltrane s’appuie sur un fichier XML de personnalisation (liste et éléments de personnalisation des unités pour lesquelles le courrier doit être envoyé, type de courrier) fourni par l’application de gestion de l’enquête, pour produire un fichier qu’il transmet ensuite au Module Courrier.

Le Module Courrier utilise les modèles (ouverture de la collecte par exemple) et le fichier de Coltrane pour éditer des courriers personnalisés au format PDF, ainsi que des informations utiles au pilotage de l’expédition des courriers.

Coltrane n’est cependant pas un outil générique de gestion de la collecte. Ainsi :

  • c’est toujours l’application de gestion d’enquête qui indique le type de courrier à créer et la liste des unités concernées ;
  • l’offre Coltrane ne concerne que les courriers dits de masse. Elle ne permet pas l’envoi d’un courrier spécifique ou ponctuel d’un gestionnaire à une unité enquêtée particulière.

Les courriers peuvent être accompagnés d’un questionnaire au format papier, selon la stratégie de collecte adoptée. L’expérience montre par exemple que pour augmenter le taux de réponse par internet, il est préférable de ne pas joindre de questionnaire papier à l’ouverture d’une collecte : le taux de réponse par internet pour l’enquête Acemo est ainsi passé de 20 à 80 % l’année où la Dares a décidé de ne plus envoyer de questionnaire « papier » lors de l’envoi initial. En revanche, il est préférable d’envoyer un questionnaire papier au moment de la mise en demeure pour éviter toute contestation ultérieure de l’entreprise. Il faut aussi pouvoir effectuer un tel envoi lorsque l’enquêté en fait la demande. Pour cela, la procédure est la même que pour un courrier classique à ceci près que le modèle instancié dans le Module Courrier est généré par Eno, comme l’était le support de collecte web. Coltrane viendra en quelque sorte « publiposter » le modèle de questionnaire.

Encourager la réponse des entreprises via un courriel préalable

Coltrane permet aussi, lors des ouvertures de collecte ou des rappels, de doubler l’envoi du courrier par un message électronique aux contacts disposant d’une adresse mail, qui les invite à répondre à l’enquête.

La logique en est la même que pour l’envoi des courriers : à partir de modèles de mail pré-définis et d’un fichier XML de personnalisation fourni par l’application de gestion de l’enquête, Coltrane génère un message qui est diffusé via un outil de l’Insee d’envoi de courriels automatique. Dans ce message figurent des informations sur l’enquête concernée (nom, objectifs, date de retour attendu, etc.), des extraits des textes légaux relatifs aux enquêtes mais surtout le lien pour accéder au portail d’authentification, un rappel de l’identifiant du contact et un lien en cas d’oubli de mot de passe, afin de réduire les demandes d’assistance.

Par convention, l’émetteur de ces mails est le service collecteur de l’enquête, ce qui permet à l’enquêté d’avoir une assistance facile à contacter.

En outre, dans moins d’un an il sera également possible d’envoyer le questionnaire au format PDF par mail à une entreprise qui le souhaite.

Cette offre de services sera bien entendu d’autant plus efficace que la maîtrise d’ouvrage de l’enquête disposera d’une base de contacts à jour, contenant un maximum d’adresses mail valides (les mails invalides sont d’ailleurs signalés aux concepteurs des enquêtes qui utilisent l’offre « envoi de mails »).

Une application interne pour gérer les contacts

Coltrane est plus qu’une plateforme de collecte conviviale pour les répondants, facilitant le travail des concepteurs d’enquêtes. C’est aussi un référentiel de contacts qui va servir aux gestionnaires d’enquêtes qui traitent les réponses et sont en lien avec les entreprises enquêtées.

Pour ce faire, lorsqu’une enquête intègre le dispositif, Coltrane importe massivement les contacts déjà connus de l’enquête (en particulier lorsqu’elle recourait déjà à la collecte par internet). Ensuite, afin de faire vivre ce référentiel, les gestionnaires d’enquête utilisent une application de « gestion des contacts » : pour créer un contact, modifier ses caractéristiques, lui donner ou lui enlever le droit de répondre à une enquête, etc. En outre, les mises à jour de ses coordonnées, faites directement par les répondants (via la partie « mon compte » de l’interface Coltrane) sont enregistrées en temps réel dans ce référentiel.

Lorsqu’un gestionnaire modifie une caractéristique d’un contact répondant à plusieurs enquêtes, les responsables des autres enquêtes sont prévenus par mail. L’application est également accessible par les pôles Insee-Contact pour assister l’enquêté (perte de code d’accès par exemple).

Par ailleurs, les gestionnaires d’une enquête peuvent visualiser les questionnaires de leurs enquêtés quel que soit leur statut (déjà transmis à l’Insee ou pas). Ceci permet notamment d’aider les entreprises qui ont des difficultés à répondre, ou de vérifier l’envoi ou le simple enregistrement d’un questionnaire.

Le million de questionnaires bientôt atteint

Coltrane a atteint en 2019 son régime de croisière avec l’intégration de toutes les enquêtes auprès des entreprises conduites par l’Insee (à l’exception de celles collectées par le biais d’un dépôt/retrait de questionnaires) et par la Dares, proposant une collecte par internet. Le nombre d’enquêtes menées selon ce dispositif ne cesse de croître au fil des ans.

L’objectif est de maximiser l’usage de Coltrane pour les enquêtes du Service statistique public, afin que les entreprises qui répondent à plusieurs enquêtes n’aient à utiliser qu’une seule infrastructure. S’il est atteint, le million annuel de questionnaires sous Coltrane sera dépassé. En 2019, 900 000 questionnaires auront été accessibles sur la plateforme (figure 3) et on devrait franchir pour la première fois la barre des 500 000 questionnaires retournés. Par ailleurs, depuis 2015, plus de 615 000 contacts ont été enregistrés dans le référentiel.

 

Figure 3. Nombre de questionnaires proposés sur Coltrane depuis 2017 par type d’enquêtes

 

 

Ce volume conséquent génère des exigences de robustesse sur le site, dont l’activité n’est pas uniforme au cours de l’année, ni même au cours d’une journée (on constate dans la figure 4 des pics de collecte quotidiens en fin de matinée et en fin d’après-midi).

 

Figure 4. Nombre maximal de connexions par heure entre 8 h et 19 h en 2019 sur le site Coltrane

 

Note de lecture : en 2019, on a enregistré jusqu’à 1 400 connexions entre 11 h et midi sur le portail de réponse Coltrane. C’est aussi le maximum jamais atteint sur une heure dans une journée en 2019.

La collecte aujourd’hui : un métier à part entière

La mise en œuvre de Coltrane a conduit à industrialiser, mutualiser et professionnaliser la collecte.

Le générateur Eno offre des supports standardisés, mettant en œuvre les règles de bonnes pratiques du questionnement par internet (Morrison, 2010 ; Snijkers, 2013 ; Dillman, 2014). Ces règles sont gérées à l’Insee par une section spécialisée au sein de la direction de la Méthodologie qui assure une veille sur ces sujets au niveau international. Ce travail permet de disposer de supports de collecte répondant aux standards en vigueur aussi bien au niveau des supports papier que web. Il conduit par conséquent à une homogénéité des pratiques et de l’ergonomie des supports pour les utilisateurs de cette filière.

La collecte gagne ainsi en robustesse, car cette spécialisation permet d’obtenir plus de retours d’expérience et de mieux appréhender les effets de mode de collecte, ou les impacts éventuels de l’ergonomie sur les réponses.

Cependant, cette standardisation est parfois mal vécue par certains concepteurs qui vivent cette exigence comme une réduction de leur marge de manœuvre, en termes de maquettage des questionnaires ou de formulation des questions. En effet, la standardisation imposée par cette nouvelle filière conduit souvent à abandonner des choix de mise en forme anciens, qui permettaient des gains de place et une réduction des coûts liés à l’envoi massif de papier, mais n’étaient pas toujours accompagnés de la lisibilité requise.

Pour les aider à entrer dans cette démarche nouvelle, les concepteurs sont guidés par une documentation présentant les possibilités du générateur Eno, les bonnes pratiques d’interrogation web, un protocole de création d’un questionnaire. En outre, ils sont accompagnés dans leur parcours par des experts spécialisés dans le métier qu’est la collecte. Grâce à l’offre du Module Courrier, ils évitent également la conception, souvent fastidieuse, des courriers d’accompagnement.

In fine, cela permet de proposer des supports de collecte plus homogènes, des courriers cohérents, bref une offre qui rend les questionnaires plus accessibles par les enquêtés. Le choix d’une ergonomie commune est également un atout majeur pour identifier plus facilement les questionnaires comme provenant de la statistique publique.

Cette mutualisation n’est qu’un premier pas. Un autre projet est en cours, visant à uniformiser les applications de gestion des enquêtes thématiques et à mutualiser les outils de contrôle post-collecte. Il se place directement dans la filière Pogues/Eno/Coltrane et achèvera de limiter, pour le concepteur, la charge de description du questionnaire : la même occurrence sera commune à toutes les phases de l’enquête, depuis la Collecte jusqu’au Traitement, au sens du GSBPM.

Vers une application aux enquêtes ménages ?

La plateforme Coltrane est dédiée aux enquêtes auprès des entreprises, qui ont leurs spécificités. La généralisation aux enquêtes ménages ne va cependant pas de soi (Voir l’article sur la naissance d’une innovation en production statistique de Jean-Marc Béguin). Néanmoins, le caractère modulaire de Coltrane et le fait que ces modules soient désormais éprouvés par des années de pratique permet d’imaginer une forme de réutilisation, fût-elle partielle. Ainsi, dans le cadre des travaux de l’Insee sur la collecte multimode des enquêtes ménages, on envisage que la partie « collecte par internet » passe par un portail dédié, et que ce portail réutilise un nombre significatif d’investissements déjà réalisés pour Coltrane. Cela permettra non seulement de mutualiser, donc de réduire, les moyens de maintenance des deux applications et ainsi de gagner en flexibilité, mais aussi, vu l’importance stratégique, de spécialiser des personnes sur les technologies utilisées et de sécuriser ainsi l’ensemble du processus de collecte dématérialisée de l’Insee.

Coltrane pourrait également bénéficier, de façon symétrique, de développements réalisés pour ce portail « ménages » et augmenter ainsi son offre de service. On peut notamment évoquer les travaux sur le responsive design qui ont été pris en compte par Coltrane courant 2019, ou ceux sur le site public de promotion des enquêtes auprès des ménages dont le principe pourrait être adapté aux besoins des enquêtes auprès des entreprises.

Des évolutions nécessaires

Au-delà de mutualisations possibles, à terme, avec les enquêtes ménages, d’autres fonctionnalités sont à l’étude afin d’améliorer encore les services offerts aux répondants et aux concepteurs.

Pour les entreprises, l’équipe étudie un outil d’aide à la codification ou d’auto-complétion. Cela concerne les questions posées aux entreprises qui doivent conduire au choix d’un code dans une nomenclature, ayant parfois de très nombreuses modalités (comme la NAF par exemple). Aujourd’hui, le contact de l’unité enquêtée saisit un libellé, lequel est ensuite codé dans l’application de gestion de l’enquête (donc hors Coltrane). Un outil d’aide à la codification en ligne serait à même de faciliter la réponse à ce type de questions.

Dans un premier temps, on envisage de mettre en œuvre une auto-complétion pour saisir le code de la commune dans les adresses du contact. Pour l’appliquer à un questionnaire, il faudra auparavant mesurer l’effet « mode de collecte » qu’elle engendre afin de pouvoir le corriger. À l’heure actuelle, en l’absence d’aide à la saisie et de contrôle bloquant dans le portail de réponse, l’hypothèse d’absence d’impact du mode de collecte entre un questionnaire web et un questionnaire papier paraît plausible (même si elle n’a pas été formellement testée). Mais avec la mise en œuvre de processus d’auto-complétion, cette hypothèse tombe puisqu’on développe cet outil avec l’espoir d’améliorer (donc de modifier) la qualité de la réponse.

Une seconde piste d’aide à la saisie est envisagée pour la réponse à des tableaux contenant un nombre important de cases (dont la valeur est au demeurant tirée du système d’information de l’entreprise). Dans ce cas, l’idée serait de proposer d’importer un fichier plutôt que de saisir chaque case du tableau. Pour les entreprises de grande taille qui sont systématiquement interrogées et pour les enquêtes répétitives, l’écriture d’un petit programme permettant de fabriquer le fichier en question serait très probablement rentable.

Pour les concepteurs, de nouvelles fonctionnalités associées au pilotage de la collecte seront offertes aux responsables d’enquête afin de les rendre encore plus autonomes. Ainsi, une nouvelle interface sera développée pour qu’ils puissent saisir eux-mêmes, sans avoir à recourir aux équipes de maintenance de Coltrane, les métadonnées nécessaires à la génération des supports de collecte et à leur utilisation (nom et objectifs de l’enquête, dates d’ouverture, de retour attendu, de fermeture de la campagne), métadonnées qui pilotent l’affichage des données sur le portail de réponse. Ces fonctionnalités seront ouvertes aux concepteurs en dehors de l’Insee.

Ces évolutions sont d’autant plus importantes que la plateforme Coltrane est désormais la norme pour les enquêtes internet auprès des entreprises. Elle s’impose ainsi aux concepteurs, il est donc logique qu’en contrepartie de cette contrainte, Coltrane leur facilite le travail via une palette de services suffisamment large.

Paru le : 19/12/2019

Sessi : Service des statistiques industrielles. La plateforme de collecte s’appelait sessi.fr.

CRPI : Collecte et Retour Par Internet.

Essentiellement des enquêtes auprès des entreprises de la direction des Études et synthèses économiques (enquêtes de Conjoncture) et de la direction des Statistiques d’entreprises (enquêtes mensuelles de fréquentation touristique).

Voir l’article de Jean-Marc Béguin sur la naissance d’une innovation en production statistique, dans ce même numéro.

La charge statistique, en d’autres termes la charge de réponse aux enquêtes, figurait au deuxième rang des difficultés jugées les plus coûteuses pour les entreprises petites et moyennes (une autre étant l’instabilité et la complexité de la réglementation).

Voir https://archives.entreprises.gouv.fr/2012/www.pme.gouv.fr/simplification/80-mesures.html et notamment la mesure de la fiche n°12 « Dématérialiser les enquêtes de la statistique publique ».

Voir (Saraiva et alii, 2016 ; Fazio et alii, 2015 ; Thieme et alii, 2015).

Liste et enchaînement des questions, modalités possibles des réponses, contrôles à la saisie, filtres, etc.

Generic Statistical Business Process Model ou modèle générique de description des processus de production statistique.

Data Documentation Initiative, voir https://ddialliance.org/.

Voir l’article sur le générateur Eno de Koumarianos et Sigaud dans ce même numéro.

Voir l’article sur l’outil Pogues de Cotton et Dubois dans ce même numéro.

Direction de l’animation de la recherche, des études et des statistiques du ministère du Travail.

Au sens du GSBPM.

Voir la page du site de l’Insee consacrée aux enquêtes auprès des entreprises https://www.insee.fr/fr/information/1401986 et celle spécifiquement dédiée à l’accueil sur la plateforme Coltrane : https://entreprises.stat-publique.fr/.

Pour certaines enquêtes, comme l’EAP ou l’EMB, le contact a aussi la possibilité de corriger et renvoyer, pendant la période de collecte, un questionnaire déjà transmis, sur demande du gestionnaire de la collecte.

Service de l’Insee qui répond aux demandes d’information, qu’il s’agisse des produits de diffusion ou des opérations statistiques en cours, réparti sur deux pôles situés à Rouen et Strasbourg. Les demandes arrivent par mail, courrier ou téléphone.

L’identité visuelle a également bénéficié d’un effort d’harmonisation de la présentation des questionnaires. Voir aussi à ce sujet l’article de Heïdi Koumarianos et Éric Sigaud sur Eno dans ce même numéro.

Voir l’article de Franck Cotton et Thomas Dubois dans ce même numéro.

Cette application est en dehors du projet Coltrane et différente pour chaque enquête aujourd’hui. Elle est de la responsabilité de chaque maîtrise d’ouvrage d’enquête et permet de gérer la collecte et de contrôler les réponses aux questionnaires.

Le comité propose ainsi sur son site https://www.comite-du-label.fr/ des modèles de cartouche à utiliser sur les questionnaires pour informer les entreprises enquêtées des conditions réglementaires de l’obligation de réponse.

À l’Insee, l’équipe « éditique » est en charge de l’impression et de l’envoi des documents papier en masse.

Il s’agit également d’une collecte dématérialisée mais la logique est différente : le dépôt retrait permet à l’entreprise d’envoyer à l’Insee de façon sécurisée des données déjà existantes sous forme de fichiers dans l’entreprise sans avoir à les ressaisir.

En raison de la fréquence de certaines enquêtes.

Voir l’article de Jean-Marc Béguin dans ce même numéro sur la naissance d’une innovation en production statistique.

Le responsive design ajuste automatiquement l’affichage d’une page web à la taille d’écran du terminal utilisé. Cette technique de conception de site web, ou d’interface digitale, répond à un besoin des utilisateurs, toujours plus nombreux à se connecter sur le web depuis un appareil mobile (téléphone, tablette, etc.).

Pour en savoir plus

BONNANS, Dominique, 2019. RMéS, le référentiel de métadonnées statistiques de l’Insee. In : Courrier des statistiques. [en ligne]. 27 juin 2019. N°N2, pp. 46-55. [Consulté le 5 novembre 2019]

DILLMAN, Don A., SMYTH, Jolene D., CHRISTIAN Leah M., 2014. Internet, Phone, Mail, and Mixed-Mode Surveys: The Tailored Design Method. Août 2014. Éditions Wiley, collection Evaluation & Research Methods, 4e édition. ISBN 978-1-118-45614-9

FAZIO, Natale Renato et MOTTURA, Giulia, 2015. The Business Portal – an integrated system to collect data and communicate. Workshop on Statistical Data Collection: Riding the Data Deluge. [en ligne]. 29 avril-1er mai 2015. Washington, USA. [Consulté le 5 novembre 2019]

MOREIRA, Almiro et SARAIVA, Paulo, 2016. Managing an integrated respondent communication : statistics Portugal experience. Conférence européenne sur la qualité en statistique officielle (Q2016). [en ligne]. 31 mai-3 juin 2016. Madrid, Espagne. [Consulté le 25 octobre 2019]

MORRISON, Rebecca L., DILLMAN, Don A. et CHRISTIAN, Leah M., 2010. Questionnaire Design Guidelines for Establishment Surveys. In : Journal of Official Statistics. [en ligne]. Vol. 26, n° 1, pp. 43-85. [Consulté le 5 novembre 2019]

SNIJKERS, Ger, HERALDSEN, Gustav, JONES, Jacqui et WILLIMACK, Diane, 2013. Designing and conducting business surveys. Août 2013. Éditions Wiley, collectionSurvey Research Methods & Sampling. ISBN 978-0-470-90304-9

THIEME, Michael T. et MATHUR, Anup, 2015. Designing and Architecting a Shared Platform for Adaptive Data Collection in Surveys and Censuses. [en ligne]. 4 mars 2015. US Census. [Consulté le 5 novembre 2019]