La donnée, en tant qu’émanation concrète de l’information, est un élément-clé dans une société qui fonde la prise de décision sur l’information ; elle doit être transmissible et être codifiée selon des conventions établies et partagées (Warnier, 1974). La notion de transmissibilité s’entend au sens où le récepteur de la donnée doit être en mesure de la lire et de la comprendre. La donnée statistique se définit, quant à elle, comme une donnée à usage statistique (Ouvrir dans un nouvel ongletSundgren, 2010), c’est‑à‑dire avec pour but l’énumération et la quantification de phénomènes sous forme codifiée. Dans un monde où la donnée est de plus en plus présente et massive, l’usage de celle-ci par des systèmes informatisés requiert l’adoption de standards et de conventions de stockage partagés, adaptés à son usage et aisément reproductibles. Ainsi, toute personne voulant utiliser, modifier ou enregistrer des données se trouve confrontée à la question des conventions, constantes dans le temps et l’espace, à adopter pour les lire ou les stocker sous un format adapté à l’usage qu’elle souhaite en faire. De la même manière qu’un langage véhicule de l’information qui se transmet si celui-ci est connu du locuteur et de l’auditeur, les conventions adoptées pour le stockage des données doivent être partagées entre utilisateurs.

Avec l’avènement de l’informatisation et de la numérisation de la donnée, la question de sa transmissibilité s’est très rapidement posée. Les réponses se trouvent dans la définition de standards et de conventions de stockage et de transmission.

La modélisation de la donnée répond à un besoin de définir un langage commun. Elle est étroitement liée à la nature de l’information : dans un cas fictif de données individuelles, il faut définir les attributs de chaque individu (nom, prénom, date de naissance, lien de parenté) ainsi que leur représentation. Une fois cette modélisation réalisée, un ensemble de formats pourra être mobilisé. Par ailleurs, l’établissement de conventions partagées est essentiel pour une communication efficace et fluide entre différents acteurs d’un système d’information. L’intégration d’un réseau qui partage une même convention peut, à ce titre, devenir un élément stratégique, voire vital. Plus cette convention est partagée et utilisée par un grand nombre d’utilisateurs, plus sa valeur ipso facto est importante. À titre d’exemple, les données de la Déclaration Sociale Nominative font l’objet d’une modélisation et de l’adoption de standards par l’ensemble des parties prenantes de manière à permettre des échanges d’informations massifs.

Le standard constitue une réponse à un besoin de structuration de l’information dans un contexte donné. Il va définir une manière de présenter la donnée qui permet de répondre à des problématiques précises, essentielles pour les professionnels qui utilisent ces informations. Le format est la concrétisation de ce standard, et à un standard donné peuvent correspondre plusieurs formats. Cependant, le standard ne fait pas tout et le champ des formats possibles peut s’avérer très large.

La sphère statistique a cherché très vite à définir des formats de données, avec des spécificités propres à ses activités. La donnée est évidemment centrale pour la statistique. Elle peut prendre une grande variété de formes tant les sources d’information utilisées sont diverses. Derrière cette question, se situe le sujet de la modélisation de la donnée, élément clé s’agissant des systèmes de bases de données utilisés par le statisticien, mais également pour le stockage de la donnée inerte.

La statistique a recours, dans de nombreux domaines, aux micro-données, que ce soient des données d’enquête ou encore des données de registres. Leur numérisation doit satisfaire les contraintes de volume et de calcul. Lorsque les capacités de mémoire des machines sont relativement limitées, les formats ouverts et peu consommateurs d’espace vont être privilégiés. La statistique s’accommode très naturellement des formats tabulaires, puisque cette façon de structurer la donnée correspond à l’approche théorique de la statistique. Dans la représentation tabulaire de la donnée, la ligne va correspondre de manière canonique aux observations, et les colonnes aux variables. Cette notion peut être considérée comme une application particulière d’une vision matricielle de l’information ; elle est très intimement associée dans le monde de la statistique à des outils, des modes de pensée et des méthodes de calcul largement partagés et très structurants.

Ainsi, les formats tabulaires sont privilégiés : la modélisation de la donnée va alors consister à définir des tables (ou objets) et des liens entre elles (des relations), comme pour les systèmes de gestion de base de données (ou SGBD, encadré 1). Cependant, les SGBD sont particulièrement adaptés à la donnée « vivante », qui a vocation à évoluer fréquemment, et relèvent également de choix d’infrastructure informatique qui dépasse le champ de la statistique. Les notions spécifiques aux SGBD ne sont pas développées ici, contrairement aux données inertes et aux formats de stockage associés à ce type de données.

L’utilisation d’un format de stockage doit assurer une qualité essentielle de la donnée statistique, son accessibilité. Le statisticien doit s’assurer que les données qu’il produit et qu’il utilise puissent être aisément réutilisées, par lui-même ou par d’autres utilisateurs, et ce en minimisant les pré-requis informatiques à la lecture et au traitement de ces données. Ce besoin est renforcé dans le contexte d’open‑data où la donnée a de plus en plus vocation à être partagée de manière complète avec le plus grand nombre d’utilisateurs, et où la question de l’accessibilité de cette donnée est incontournable.

Idéalement, la donnée doit être accessible et adaptée au contexte informatique de son usage (dit autrement, on va chercher à minimiser la consommation de ressources informatiques au sens large (Ouvrir dans un nouvel ongletNordbotten, 1966)). Pour résoudre cette quadrature du cercle, il n’y a pas de réponse unique ; le format dépend avant toute chose de l’usage de la donnée et également de son volume. Il convient de distinguer les micro-données, qui portent sur des observations individuelles (et qui sont souvent des données volumineuses) des données agrégées, qui résultent d’un premier exercice d’agrégation ou d’estimations.

Naturellement, le traitement d’une information agrégée ou d’une information individuelle n’a pas les mêmes implications en matière de stockage de la donnée. Lorsqu’on veut choisir un format, il est donc essentiel de répondre aux questions suivantes :

Les formats textuels sont les formats les plus simples à utiliser, puisqu’ils peuvent être aussi bien interprétés par une machine que lus par un humain. Les fichiers à largeur fixe ou les formats avec délimiteur (en particulier le format comma-separated values ou csv (figure 1b)) permettent aisément de compacter la donnée sous un format tabulaire. Si le format à délimiteur peut se suffire à lui-même, les fichiers à largeur fixe supposent de disposer d’une information sur la position de chaque colonne ; la description des données prend ici toute son importance : sans elle, il est très difficile de retrouver la structure de la donnée, et donc de la traiter. Historiquement, le format positionnel fixe (figure 1a) a été très utilisé, car il consomme peu d’espace, en contrepartie d’une description de sa structure. Il continue à être utilisé, par exemple pour les transmissions de données entre certaines administrations et l’Insee. L’exemple de données contenant une liste d’individus et de liens de parenté entre ceux-ci nécessite cependant une description précise de la position de chaque variable.

Figure 1 - Quelques exemples de formats

Le format avec délimiteur est utilisé fréquemment, du fait de sa simplicité d’utilisation. Il présente cependant des inconvénients, avec en particulier la contrainte de l’adoption d’un délimiteur absent des données qu’il structure. Le format avec délimiteur suppose une prise de risque relative à l’intégrité de la donnée, tout comme le format à largeur fixe et de manière générale les formats textuels impliquant une opération d’import et donc d’interprétation de la structure de la donnée. Ce risque est encore plus élevé si les données ne sont pas correctement documentées ; il est question de dictionnaire des codes, de dessin de fichiers, et plus généralement d’un ensemble de documents qui permet de traiter et d’interpréter la donnée en cohérence avec les intentions des producteurs de cette donnée. Par ailleurs, les formats textuels ne concernent pas uniquement les modèles de données tabulaires ; au contraire, les modèles de données plus « élastiques » peuvent être servis par certains formats textuels de manière plus sécurisée.

Les données ne se présentent pas toujours sous un format tabulaire. Ainsi, certains modèles de données peuvent introduire de la flexibilité dans les champs, ou dans la notion même d’observations et de variables. Le format JSON par exemple (figure 1d) est un format minimaliste qui introduit ce type de flexibilité. Il va en particulier s’accommoder de données contenant des champs largement facultatifs, comme les données du fichier permanent des occurrences de traitement des émissions (POTE) (Lamarche et Lollivier, 2021) relatives à la déclaration des revenus, pour laquelle un grand nombre de cases reste vide dans la plupart des observations. Format très flexible mais plus consommateur d’espace, XML (figure 1c) est particulièrement adapté au stockage de données à faible volume, c’est‑à‑dire essentiellement les macro-données ou données agrégées. Il permet également de stocker les métadonnées qui fournissent les informations contextuelles relatives à la donnée. Caractéristique de la technologie Web, XML fonctionne sous forme de balises : il s’agit donc là encore d’un format textuel, pour lequel certains caractères spéciaux permettent d’identifier la structure. Son avantage principal est que le format s’adapte à de nombreuses représentations de la donnée, pas nécessairement tabulaires. Il permet également de mettre dans un même réceptacle la donnée et des éléments descriptifs de celle-ci ; de fait, il donne la possibilité de coupler de manière très naturelle la donnée et la métadonnée. Les apports de ces deux formats vis-à-vis des formats tabulaires traditionnels sont importants, en particulier dans leur capacité à embarquer des relations entre les tables (par exemple la filiation entre une table de parents et une table d’enfants), de manière très naturelle, tout en s’accommodant des contraintes des formats tabulaires.

De manière générale, ces formats très flexibles et auto-suffisants sont parfaitement adaptés pour mettre à disposition des données. Ainsi, un grand nombre d’API offrent la possibilité aux utilisateurs de consommer soit de la donnée, soit des services de traitement de la donnée, en adoptant ces formats. La flexibilité est un avantage précieux qui permet d’accompagner l’information d’un ensemble d’éléments contextuels, assimilable à des métadonnées, en informant l’utilisateur sur la nature de la donnée récupérée ou encore sur la qualité du traitement dont elle a bénéficié. La présentation sous forme de table est moins décisive, car le requêtage d’une API se fait de ligne à ligne : le résultat de la requête est important ainsi que sa description. En revanche, le volume de données sollicitées est nécessairement limité. Même si la finalité est d’obtenir des données sous une représentation tabulaire, le traitement élémentaire se réalise dans un cadre qui ne nécessite pas cette représentation.

Ces formats sont très adaptés pour des jeux de données de faible volume, mais dont la structure peut être évolutive, ou tout du moins difficile à établir a priori. Pour traiter de gros volumes, il est nécessaire d’adopter des modèles de données plus contraignants et le modèle tabulaire est bien souvent adapté ; il faut alors chercher l’efficacité dans la capacité à interpréter rapidement les caractéristiques des données.

La place cruciale des métadonnées dans la diffusion rend ces formats incontournables et les statisticiens s’y trouvent naturellement confrontés dans les processus de production.

Les métadonnées peuvent contribuer fortement à donner plus de sens aux données qu’elles décrivent, car elles créent des liens entre les différentes sources de données. Nombre d’initiatives au niveau international visent à définir des standards et des formats associés partagés par le plus grand nombre d’acteurs (encadré 2).

De manière plus pragmatique, le code de bonnes pratiques de la statistique européenne mentionne les métadonnées comme un élément de la qualité des statistiques mises à disposition de l’usager : fournir aux utilisateurs de l’information sur la donnée elle-même est un critère très important pour juger de son accessibilité et de sa clarté. Si la communauté statistique européenne donne à ce terme de métadonnée un sens précis, celui-ci recouvre en réalité un large spectre d’informations relatives à la donnée. Le premier élément est la description de la donnée en termes informatiques : quel type des variables présentes dans les tables, quelles unités de mesure, quelle largeur de colonnes pour les variables en format caractère, etc. Mais le champ couvert par les métadonnées va beaucoup plus loin, et doit permettre de documenter le processus de génération des données de manière générale. Il faut distinguer la métadonnée qualifiée de technique, qui donne de l’information sur le type des variables par exemple, de la métadonnée documentaire, qui informe l’utilisateur sur le contexte de production de la donnée, les choix méthodologiques, les nomenclatures adoptées, etc. Cas particulier de cette dernière, la notion de ligne de données permet de suivre le cycle de vie de la donnée, en traçant les sources à l’origine des données et les transformations subies par celles-ci pour aboutir au résultat. L’ensemble de ces métadonnées constitue un enjeu essentiel dans un contexte où les statistiques produites sont de plus en plus utilisées dans le cadre de comparaisons internationales, et pour lesquelles il devient crucial pour l’utilisateur de comprendre les raisons de divergences potentielles liées à des modes de collecte radicalement différents. Ainsi, le sujet de la métadonnée est porté par les institutions internationales traitant de la production statistique, au premier plan desquelles Eurostat.

S’agissant des données statistiques, ce mouvement d’internationalisation des conventions s’inscrit dans un contexte où les données, de par leur nature numérique, ont de plus en plus vocation à s’appuyer sur des technologies web. La flexibilité de ces technologies pour le stockage des données, et en particulier leur caractère adaptatif à la structure que celles-ci peuvent prendre, favorise leur adoption dans les standards ; en particulier, le consortium Data Documentation Initiative (DDI) repose sur le format XML pour la définition de ses conventions de stockage.

Tabulaires ou flexibles, les formats textuels ont pour grand avantage leur lisibilité et une forme de stabilité dans le temps. Sauf modification très profonde du système informatique, les données stockées sous ces formats seront lisibles et mobilisables longtemps après, et ce avec d’autant plus de facilité si les données contiennent des métadonnées. Cette disponibilité dans le futur a un coût dans le présent : le stockage de données toujours plus nombreuses s’accommode assez mal des contraintes qu’un format textuel implique. Il est donc essentiel d’introduire des formats qui, s’ils apportent moins de garantie de stabilité, permettent en revanche de répondre aux problématiques présentes.

Les statisticiens sont concernés par plusieurs sujets, qui ont directement un impact sur les choix de formats. L’adoption par le plus grand nombre de conventions et de standards est une source d’efficience qui bénéficie directement à tous les acteurs qui font le choix de les adopter. De ce point de vue, il est nécessaire d’intégrer les problématiques qui traversent l’ensemble du monde de la donnée et les choix qui en découlent de la part de la plupart des acteurs.

Tout d’abord, l’expansion continue de la donnée impose de développer des solutions logicielles permettant de traiter des volumes toujours plus importants de la manière la plus efficace possible. Le Big data, ou donnée massive, a mis sur le devant de la scène les préoccupations de stockage et de performance auxquelles des logiciels propriétaires tels que SAS® ou Oracle avaient apporté de premières réponses. En particulier, le fait que cette donnée massive s’accompagne de plus en plus d’une structuration flexible de l’information impose des formats alternatifs au format tabulaire historique.

Cette expansion s’accompagne d’un recours toujours plus important à la virtualisation des traitements et du stockage, avec l’avènement du cloud computing. Ce principe conditionne les solutions techniques et les formats associés. Une solution de stockage de type S3 est ainsi souvent associée à des outils de requêtage optimisés pour certaines catégories de format. Son adoption va donc de pair avec ces outils.

Par ailleurs, l’efficience budgétaire est un élément important qui préside souvent au choix de solutions open source et de formats ouverts que celles-ci impliquent, considérées comme étant moins coûteuses pour les processus de production. Toutefois, si l’open source est un vecteur très intéressant de mutualisation des investissements, il n’est pas une ressource disponible gratuitement, pour deux raisons essentiellement. D’une part, il faut disposer des compétences permettant de maîtriser ces outils ; d’autre part, le développement de ces outils a un coût, et la sécurisation des processus fondés sur ces outils nécessite une identification de ces développements et une maîtrise de l’assurance que ceux-ci se poursuivent dans le temps.

Plus important encore, dans une société concernée par les sujets de fact‑checking et de fake news, le renforcement nécessaire de la confiance dans la statistique officielle passe nécessairement par une attention plus forte aux notions de transparence et de reproductibilité. Ces notions sont le moteur d’un recours toujours plus fort à la donnée ouverte ou open data, et à la possibilité donnée à des utilisateurs de reproduire de la manière la plus complète possible les processus aboutissant à la production de la donnée sous son état final. L’open data implique par essence le recours à des formats ouverts, et la reproductibilité à des solutions logicielles open source, par définition transparentes vis-à-vis des algorithmes qu’elles mettent en œuvre.

Enfin, l’approche historique, avec un unique logiciel statistique comme « couteau suisse » permettant de réaliser l’intégralité du traitement de la donnée, est progressivement remplacée par une vision plus fragmentée ; chaque étape du processus (que l’on peut modéliser dans le cadre du GSBPM) est mise en œuvre grâce à une solution logicielle dédiée et spécifique, pour laquelle l’outil le plus approprié sera choisi. De ce point de vue, la complémentarité entre les langages de programmation R et Python est souvent mise en avant ; elle suppose l’adoption d’un format de données transversal, qui permet de basculer aisément d’un outil à l’autre sans les phases d’import-export de données fastidieuses et périlleuses. Ce type de format est un élément de sécurisation du processus dans son ensemble. Les formats de stockage ont ainsi évolué, nécessairement vers des solutions fondamentalement nouvelles.

L’import de données à partir de fichiers texte est une tâche risquée, compliquée ou coûteuse en calculs : la sécurisation de ce processus d’import passe par sa minimisation (on le réalise le moins de fois possible). À ces formats ouverts, lisibles par un œil humain, on oppose les formats de stockage de données binaires, qui contiennent la donnée sous un format autre que textuel. Cet impératif de stocker la donnée sous un format illisible pour un simple éditeur de texte permet de répondre à un autre besoin, celui de présenter la donnée de la manière la plus rapidement interprétable par la machine. La conversion de l’information entraîne la transformation des données en une séquence non directement déchiffrable de morceaux élémentaires de donnée informatique, les bits. Ces bits ne prennent que deux valeurs possibles, 0 ou 1 : on parlera alors de “format binaire”. On distingue ainsi deux manières de stocker de l’information en informatique, selon qu’on puisse le déchiffrer par un éditeur de texte (format ouvert) ou pas (format binaire).

Lorsque le format binaire est un format propriétaire, il ne peut généralement être déchiffré que par les outils associés à ce format. Les formats propriétaires présentent des avantages considérables en matière d’utilisation de la donnée, propres au format binaire : accessibilité quasi immédiate à celle-ci, et bien souvent à un grand nombre de métadonnées stockées de manière native, permettant de décrire la donnée.

Les formats propriétaires (au premier rang desquels SAS®) ont rapidement émergé dans les activités où la donnée était un élément central. Les solutions logicielles associées à ces formats se sont imposées par leur capacité à traiter des volumes importants de données de manière optimisée, en fournissant à l’utilisateur une sorte de « couteau suisse » permettant à la fois de traiter la donnée et de lui appliquer des procédures statistiques proches de l’état de l’art. On a ainsi une forte cohérence entre le format de stockage et la solution logicielle adoptée par la statistique publique pour la production et l’analyse de la donnée.

Dans un contexte d’augmentation du volume de données, le choix d’un outil comme SAS®, qui les traite comme un système de fichiers, a permis d’apporter une première réponse au défi de calcul que de telles données ont pu poser aux machines. Cette vision a longtemps présenté des avantages dépassant largement les inconvénients que peuvent constituer l’adoption d’un format par essence fermé, imposant à l’ensemble des utilisateurs l’usage de la solution logicielle associée, ou encore la modélisation purement tabulaire, et donc par essence frustre, de la donnée. Elle a néanmoins été battue en brèche ces dernières décennies par une demande d’ouverture de la donnée, par une exigence de reproductibilité, et par l’apparition dans le paysage de véritables écosystèmes de logiciels libres, associant ouverture et performance.

Si les formats propriétaires ont permis d’associer un format à une solution logicielle, il existe des formats binaires développés en open‑source, qui ont pour but de répondre au seul besoin d’optimiser leur utilisation par la machine, tout en relâchant la contrainte de la solution logicielle.

De tels formats sont souvent inter-opérables par différentes solutions logicielles, souvent elles aussi open‑source. C’est la première contrainte à laquelle doit s’adapter le format de stockage convenant au mode actuel d’utilisation des données : sa capacité à s’abstraire d’une solution logicielle définie a priori (le « couteau suisse » mentionné précédemment), pour que l’utilisateur puisse choisir l’outil le plus adapté au traitement qu’il veut réaliser, dans un contexte où celui-ci s’insère dans une chaîne incorporant des traitements de natures et de finalités variées. En résumé, l’utilisateur doit pouvoir recourir à une palette d’outils divers sans pour autant modifier à chaque changement d’outil la nature de l’objet qu’il traite.

Par ailleurs, une statistique est une donnée qui sera bien plus fréquemment lue que modifiée. De ce point de vue, le format de stockage peut s’apparenter au principe WORM (Write Once, Read Many) : le format doit chercher à optimiser le processus de lecture qu’en fait l’utilisateur, moins que son processus de transformation et d’écriture.

Ce principe est d’autant plus pertinent dans un contexte où l’infrastructure correspond à l’état de l’art, avec une virtualisation du traitement de la donnée et de son stockage, accompagnée d’un découplage de ces deux notions : le stockage et le calcul se déroulent sur des infrastructures différentes, tout en maintenant une grande capacité à mobiliser très rapidement les données pour les traiter ensuite.

Enfin, s’agissant des données massives, dans un contexte contraint où il devient impératif de consommer l’énergie avec parcimonie et discernement, la donnée stockée sous forme de bases de données énergivores doit l’être pour de bonnes raisons : il s’agit de pouvoir transformer cette donnée de manière sécurisée et à grande vitesse. En règle générale, la donnée inerte suffit à couvrir de manière très satisfaisante la plupart des usages analytiques ou de production des statisticiens.

Néanmoins, d’autres problématiques ont vu le jour dans le paysage de la statistique : la nécessité, en matière d’efficience cette fois, d’adopter des standards et des conventions les plus partagées possibles et des solutions de calcul toujours plus complexes, en raison de l’expansion considérable des données disponibles.

Les formats répondant à ces impératifs ont émergé ces dernières années avec l’avènement de solutions intégrées de traitement de la donnée massive, telles Hadoop. En particulier, le format Parquet (figure 2) permet de solliciter de manière très naturelle la donnée de façon parallélisée, c’est‑à‑dire en la scindant, en la distribuant très rapidement à plusieurs unités de traitement et en la traitant de cette manière en parallèle. Le nom de ce format résume à lui seul ses propriétés : schématiquement, la donnée va être stockée sous forme de « lames » denses, plus ou moins fortement compressées et mobilisables chacune de manière indépendante.

Figure 2 - Le format Parquet

Ce format permet de stocker la donnée grâce à différents algorithmes de compression, qui réduisent de manière très significative la taille des données sans dégrader la vitesse à laquelle cette donnée peut être mobilisée (Ouvrir dans un nouvel ongletUber, 2022).

Parquet se base sur un principe algorithmique de stockage décrit et mis en œuvre par les équipes de Google dans leur processus de requêtage (Ouvrir dans un nouvel ongletMelnik et al., 2010). Les données sont représentées sous format tabulaire, et les « lames » vont regrouper plusieurs colonnes et un groupe d’observations. Selon l’usage que l’on veut faire des données, il s’agira donc de définir des regroupements de colonnes ainsi qu’une stratification des observations la plus efficiente possible. Chaque « lame » contient également un ensemble de métadonnées décrivant les colonnes présentes, ainsi que la partie d’observations contenues dans cette « lame ». Les métadonnées vont être lues de manière indépendante des données via les « connecteurs » des solutions logicielles, de manière à permettre une navigation optimisée dans la table. Une des spécificités de cette conception de format est de permettre également de décomposer les données en plusieurs fichiers, de manière à rendre plus concrète et visible à l’utilisateur la notion de « lame » ; les connecteurs vont alors récupérer l’information associée aux métadonnées pour l’ensemble des fichiers Parquet contenus dans un même dossier, en considérant ces fichiers comme décrivant une seule et unique table.

Le format Parquet est donc particulièrement adapté pour gérer de la donnée volumineuse et distante, sans la dupliquer (Ouvrir dans un nouvel ongletMauvière, 2022). En s’imposant comme un standard open source, il donne la possibilité à l’utilisateur de travailler avec différents outils logiciels dont la complémentarité est précieuse. Il ne saurait néanmoins être vu comme une réponse unique à l’ensemble des problématiques du monde moderne de la donnée.

Quelles sont les questions à se poser pour choisir un format ? Tout d’abord, quel usage ? Le stockage des données et le formatage qu’il implique doit répondre à trois objectifs distincts : le traitement de la donnée, son analyse et son stockage pour un usage ultérieur. À chacune de ces étapes correspondent des usages très différents, et donc des besoins très spécifiques.

Ensuite, le volume est naturellement déterminant, mais les caractéristiques attendues du formatage vont également dépendre des utilisateurs et plus précisément de leur degré de maîtrise des outils de traitement de données. La micro-donnée, plus volumineuse et plus exigeante, sera plutôt réservée à un public averti, quand le grand public et de manière générale l’utilisateur lambda se référeront plus souvent à des tableaux agrégés.

Enfin la localisation des données est un critère à prendre en compte pour la détermination du format le plus adapté : ce choix est en effet très dépendant de l’infrastructure informatique et des solutions logicielles disponibles pour traiter la donnée. En particulier, l’avènement de la virtualisation du traitement est déterminant pour la définition des formats et de leurs aspects purement techniques.

La virtualisation de la donnée amène à privilégier des formats offrant de bonnes performances en matière de lecture, comme le format Parquet, et incite à bien distinguer la donnée qui a vocation à être transformée de celle qui va être uniquement lue. À ces questions sont donc associés des critères relatifs au caractère temporaire ou durable de la donnée, ou dit autrement, à son degré de maturité.

Les différents formats sont déclinés selon l’usage des données et leur degré de maturité, en se plaçant dans différents contextes informatiques, comme décrit précédemment, et où l’utilisateur a la possibilité de virtualiser la chaîne de traitement qu’il applique aux données (voir Tableau). En particulier, dans ce contexte, la mise en place d’un SGBD peut se faire de manière transitoire, celui-ci étant construit de manière à être à « usage unique » pour procéder au traitement des données, puis être immédiatement supprimé une fois le traitement accompli, et la donnée en sortie stockée de manière plus permanente.

Tableau : Propositions de formats associés à chaque usage de la statistique publique

Dans son cycle de vie, la donnée doit initialement présenter une grande flexibilité car elle est sujette à de nombreuses modifications. Le format utilisé pour son stockage doit tenir compte de ces caractéristiques. Mais, plus la donnée gagne en maturité, plus il est souhaitable de recourir à des formats adaptés à des données figées, permettant une plus grande facilité de lecture de la donnée et optimisant son utilisation.

Le choix du format est fonction de la finalité recherchée, du volume manipulé, de la localisation de la donnée. S’agissant de la production statistique, il est lié à la question de l’infrastructure et des solutions logicielles adoptées, qui appellent à tirer parti du potentiel offert par différents types d’infrastructure (Comte et al., 2022). Les choix de stockage effectués par les producteurs ne sauraient ignorer ces nouveautés, visant à stocker la donnée de la manière la plus disponible possible, tout en donnant à l’utilisateur le maximum de liberté quant aux outils à mettre en œuvre pour l’utilisation souhaitée.

La notion de format adapté est appelée à évoluer dans le temps avec l’avènement de nouvelles solutions techniques et de nouveaux standards. Se pose également la question de la gestion du patrimoine des instituts statistiques. Le modèle de données a peu évolué au cours du temps, et la plupart de l’information produite et analysée par les statisticiens se présente sous format tabulaire. La conversion purement technique d’un format vers un autre est par essence relativement triviale. En revanche, les standards de description de la donnée et la notion de métadonnée posent avec une acuité nouvelle la question de la gestion de ce patrimoine. La façon d’y répondre — et en particulier avec une documentation la plus proche des standards actuels — aura un impact sur la capacité des chargés d’études à utiliser ce patrimoine de données ; cela constitue un fort enjeu pour la statistique publique lorsqu’il s’agit de décrire des phénomènes sur longue période.

Par ailleurs, les travaux récents relatifs à la question des linked open-data (Ouvrir dans un nouvel ongletZimmermann et al., 2011) a renforcé l’importance des métadonnées, en particulier sur la question critique du référencement de la donnée et de son accessibilité. Ces travaux, expérimentaux à ce stade, vont nécessairement conditionner les standards, en particulier du point de vue de la diffusion, et de ce fait, avoir un impact sur les choix de format associés.

Choisir efficacement le format appelle aussi à réviser les principes de gouvernance de la donnée au sein du service statistique public, en décrivant de manière plus formalisée son cycle de vie et en cherchant à caractériser de façon normalisée et systématique la position de la donnée traitée au sein de celui-ci. De ce point de vue, les enjeux de parcimonie de stockage, de jeux de données de référence ou encore le principe de minimisation issu du Règlement Général à la Protection des Données conditionnent pour beaucoup la manière dont la donnée doit être stockée, traitée et gérée. Les formats les plus adaptés de ce point de vue sont ceux qui s’accommodent le mieux des solutions techniques propres à ces principes de gouvernance.