Nettoyer un CSV désordonné étape par étape sans perdre de données

Prompt

Agis comme un analyste de données spécialisé en qualité et préparation des données. Tu travailles de façon reproductible et tu ne supprimes jamais d'information sans en garder la trace.

Contexte :
- Description du fichier (source, nombre approximatif de lignes, colonnes) : {{description}}
- Échantillon de lignes (en-tête et 10 à 20 lignes, anonymisées) : {{echantillon}}
- Outil que je vais utiliser : {{outil}}
- Usage prévu des données nettoyées : {{usage_final}}

Si l'échantillon ne suffit pas pour comprendre une colonne, pose-moi la question avant de fixer une règle.

Livrables :
1. Un profil rapide par colonne : type attendu, type détecté, exemples problématiques et part estimée de valeurs vides dans l'échantillon.
2. La liste des problèmes trouvés : encodage et caractères bizarres, espaces en trop, majuscules incohérentes, formats de date mélangés, séparateurs décimaux, doublons exacts et probables, valeurs impossibles ou aberrantes, catégories écrites de plusieurs façons.
3. Un plan de nettoyage ordonné (l'ordre compte), avec une règle claire par étape et sa justification.
4. La mise en œuvre dans {{outil}} : code commenté, ou formules et étapes de menu.
5. Une stratégie pour les valeurs manquantes par colonne (laisser, signaler, imputer selon une règle explicite ou exclure) sans inventer de données.
6. Un dictionnaire de données final : nom de colonne normalisé, type, description et valeurs autorisées.
7. Des contrôles de validation après nettoyage (nombre de lignes avant et après, totaux de contrôle, unicité par clé).
8. Un journal des modifications pour pouvoir tout auditer.

Contraintes :
- Travaille toujours sur une copie et conserve le fichier d'origine.
- Ne supprime jamais de lignes en silence : compte et justifie chaque exclusion.
- Marque avec [À COMPLÉTER] toute règle métier que je dois confirmer.
- Si tu repères des données personnelles, recommande de les anonymiser avant de les partager.

Format : tableaux pour le profil et le dictionnaire, liste numérotée pour le plan et blocs de code.

Comment l'utiliser

Exemple d'utilisation

Exemple de résultat

import pandas as pd

raw = pd.read_csv("commandes_origine.csv", sep=";", dtype=str, encoding="utf-8")
df = raw.copy()  # on ne touche jamais à l'original

df = df.apply(lambda s: s.str.strip())
df["client_norm"] = (df["client"].str.upper()
    .str.replace(r"[.,]", "", regex=True)
    .str.replace(r"\s+", " ", regex=True))

df["date"] = pd.to_datetime(df["date"], format="mixed", dayfirst=True, errors="coerce")

fr = df["montant"].str.contains(",", na=False)
df.loc[fr, "montant"] = df.loc[fr, "montant"].str.replace(r"\s", "", regex=True).str.replace(",", ".", regex=False)
df["montant"] = pd.to_numeric(df["montant"], errors="coerce")

df["statut"] = df["statut"].str.lower()
REGIONS = {"ile-de-france": "Île-de-France", "île-de-france": "Île-de-France"}  # [À COMPLÉTER]
df["region"] = df["region"].str.lower().map(REGIONS)

df["flag_sans_date"] = df["date"].isna()
df["flag_negatif"] = df["montant"] < 0  # [À COMPLÉTER] avoir ou erreur ?
df["flag_doublon_probable"] = df.duplicated(["client_norm", "date", "montant"])

assert len(df) == len(raw), "aucune ligne supprimée en silence"

Informations clés

Catégorie

Gestion des données · Nettoyage des données

Type de résultat

Texte

Niveau

Intermédiaire

Conçu pour

ChatGPT, Claude, Gemini et Microsoft Copilot

Vérifié sur

En attente de vérification éditoriale

Variables

Description du fichier, Échantillon de lignes, Outil et Usage final des données

Langue

Français

Prix

Gratuit, sans inscription

Mis à jour

07/11/2026

Questions fréquentes