1. Profiler avant de corriger
La première opération n’est pas une correction mais un inventaire. Pour chaque colonne, on note le type apparent, le nombre de valeurs distinctes, le nombre de cellules vides, les valeurs extrêmes et cinq exemples réels. Ce profil de départ sert de point de comparaison : à la fin du traitement, les mêmes indicateurs doivent être recalculés pour vérifier que rien n’a disparu involontairement.
Le profilage révèle souvent que le fichier contient plusieurs réalités mélangées : des lignes de détail et des lignes de totaux, des périodes qui se chevauchent, ou deux nomenclatures successives. Séparer ces réalités est un travail éditorial, pas technique : il faut décider quel périmètre répond à la question posée, et l’écrire dans le journal de traitement avant de supprimer la moindre ligne.
2. Encodages, séparateurs et conventions belges
Un fichier belge cumule plusieurs conventions. Les nombres peuvent utiliser la virgule décimale et le point comme séparateur de milliers, ce qui transforme une valeur en texte dès l’ouverture dans un tableur configuré autrement. Les dates apparaissent en jour/mois/année, parfois en format international, parfois sous forme de numéro de série. Les libellés bilingues créent des colonnes en double ou des valeurs mélangées en français et en néerlandais.
L’encodage des caractères mérite un contrôle systématique : un fichier produit en encodage régional et lu comme de l’UTF-8 remplace les accents par des séquences illisibles, ce qui casse les regroupements par commune ou par intitulé. Le test rapide consiste à chercher un nom contenant un accent ou une apostrophe et à vérifier qu’il s’affiche correctement avant tout comptage.
3. Normaliser les identifiants avant les libellés
Les libellés changent, les identifiants durent. Une entité économique se rapproche par son numéro d’entreprise, une commune par son code officiel, une parcelle par sa référence cadastrale. Travailler sur les noms conduit inévitablement à des faux rapprochements, car une même société apparaît avec et sans forme juridique, avec un ancien nom commercial ou avec une faute de frappe.
La normalisation d’un identifiant consiste à retirer les points et espaces de mise en forme, à contrôler la longueur attendue, à restituer les zéros initiaux perdus et à vérifier la clé de contrôle lorsqu’elle existe. Toute ligne dont l’identifiant reste invalide est isolée dans une table de rejets et comptée : ce nombre de rejets fait partie des informations à publier.
4. Doublons exacts et rapprochements approximatifs
Un doublon exact se détecte par comparaison de l’ensemble des colonnes retenues comme clé. Le vrai problème réside ailleurs : dans les quasi-doublons, deux lignes qui décrivent la même réalité avec une orthographe différente. Les techniques de rapprochement approximatif regroupent ces variantes, mais produisent aussi des rapprochements erronés qu’aucun seuil automatique ne supprime totalement.
La règle prudente est simple : le rapprochement automatique propose, l’humain valide. Chaque groupe fusionné est conservé avec la liste de ses membres d’origine, afin de pouvoir défaire la décision. Lorsqu’un doute subsiste sur un cas qui porte le récit, la vérification se fait sur une source extérieure — un registre, un acte publié, une réponse écrite de l’organisme — et non sur l’intuition.
5. Valeurs manquantes, zéros et codes spéciaux
Une cellule vide, un zéro et un code de non-réponse ne signifient pas la même chose. Certains fichiers utilisent des valeurs conventionnelles pour indiquer une donnée confidentielle, non applicable ou non encore disponible. Traiter ces codes comme des nombres fausse immédiatement les moyennes et les totaux, parfois de manière spectaculaire.
Le traitement se décide colonne par colonne : exclusion, conservation en catégorie distincte, ou imputation explicitement signalée. L’imputation ne s’improvise pas et doit rester l’exception dans un travail journalistique. Dans tous les cas, le nombre de valeurs manquantes et la règle appliquée apparaissent dans la note de méthode publiée avec l’article.
| Anomalie | Symptôme observable | Test | Traitement prudent |
|---|---|---|---|
| Nombre lu comme texte | Total impossible, tri alphabétique | Contrôle de type sur un échantillon | Conversion explicite, comptage des échecs |
| Zéro initial perdu | Identifiant plus court qu’attendu | Longueur fixe vérifiée | Restitution puis validation de la clé |
| Lignes de total intégrées | Somme double du total réel | Somme des lignes comparée au total annoncé | Isolement des lignes agrégées |
| Code de non-réponse | Valeurs aberrantes récurrentes | Table des fréquences par valeur | Conversion en valeur manquante déclarée |
| Deux nomenclatures | Rupture nette dans une série | Comparaison des libellés par période | Table de correspondance documentée |
| Encodage incorrect | Accents remplacés par des symboles | Recherche d’un libellé accentué connu | Relecture du fichier dans le bon encodage |
6. Unités, périmètres et dénominateurs
Un fichier peut mélanger des unités sans le signaler : effectifs et équivalents temps plein, surfaces en mètres carrés et en hectares, quantités mensuelles et cumulées depuis le début de l’année. Le contrôle consiste à reconstituer un ordre de grandeur connu par un autre chemin : le total national publié par l’office statistique, la somme des sous-ensembles, ou une valeur documentée dans un rapport d’activité.
Le périmètre géographique demande la même vigilance. Les fusions de communes, les changements de découpage administratif et les différences entre arrondissement, province et région produisent des comparaisons trompeuses. Lorsqu’un dénominateur est nécessaire — population, nombre d’établissements, superficie — il vient d’une source datée et son millésime est noté au même endroit que le numérateur.
7. Journal de transformation et réversibilité
Chaque opération de nettoyage est consignée dans un journal : date, colonne concernée, règle appliquée, nombre de lignes touchées, raison de la décision. Ce journal se lit comme un compte rendu de laboratoire. Il permet de répondre en quelques minutes à la question la plus embarrassante qu’une administration puisse poser : « d’où vient exactement votre chiffre ? »
La réversibilité est le second principe. Le fichier brut reste intact, les transformations s’appliquent sur des copies successives et numérotées. Lorsqu’un script réalise le traitement, le script lui-même devient la documentation, à condition d’être commenté et exécutable de bout en bout. Un nettoyage effectué à la main dans un tableur, sans trace, n’est pas vérifiable et ne devrait pas alimenter une publication.
8. Contrôles de sortie avant analyse
Avant de calculer quoi que ce soit, cinq contrôles de sortie s’imposent : le nombre de lignes après nettoyage est expliqué par la somme des suppressions consignées ; les totaux par grande catégorie restent cohérents avec le fichier d’origine ; les identifiants sont uniques là où ils doivent l’être ; les dates se situent dans la période annoncée ; aucune valeur numérique ne dépasse un maximum plausible sans explication.
Ces contrôles se réexécutent à chaque nouvelle extraction, car un fichier mis à jour peut changer de structure sans avertissement. Un test automatique qui échoue vaut mieux qu’une erreur publiée. La liste de contrôle ci-dessous constitue le minimum applicable à tout jeu de données destiné à un article.
Contrôles de nettoyage
- Enregistrer un profil de chaque colonne avant toute modification.
- Vérifier l’encodage sur un libellé accentué connu.
- Confirmer le format des nombres et des dates avant conversion.
- Normaliser les identifiants et compter les lignes rejetées.
- Distinguer cellule vide, zéro et code de non-réponse.
- Isoler les lignes de total et les périodes qui se chevauchent.
- Tenir un journal daté de chaque règle appliquée.
- Recalculer le profil après nettoyage et expliquer chaque écart.
Questions fréquentes
Le nettoyage peut-il modifier la conclusion d’un article ?
Oui, et c’est précisément pour cette raison qu’il doit être documenté. Le choix d’exclure des lignes incomplètes ou de regrouper des libellés change les totaux. La note de méthode doit permettre à un lecteur d’évaluer l’effet de ces choix.
Faut-il publier le fichier nettoyé ?
Lorsque la licence d’origine le permet et qu’aucune donnée à caractère personnel n’est concernée, publier la version nettoyée et le journal de transformation renforce la crédibilité du travail. Dans le doute sur les données personnelles, l’abstention est la règle.
Un tableur suffit-il pour un travail sérieux ?
Un tableur convient pour explorer et pour vérifier, mais il laisse peu de traces des opérations réalisées. Dès qu’un traitement doit être répété ou audité, un enchaînement de commandes écrites reste préférable, car il constitue sa propre documentation.