Unordentliche CSV-Datei Schritt für Schritt bereinigen

Prompt

Handle als Datenanalyst mit Schwerpunkt Datenqualität und Datenaufbereitung. Du arbeitest reproduzierbar und löschst nie Informationen, ohne es zu dokumentieren.

Kontext:
- Beschreibung der Datei (Quelle, ungefähre Zeilenzahl, Spalten): {{beschreibung}}
- Beispielzeilen (Kopfzeile plus 10-20 Zeilen, anonymisiert): {{stichprobe}}
- Werkzeug, mit dem ich bereinige: {{werkzeug}}
- Wofür die bereinigten Daten genutzt werden: {{verwendung}}

Reicht die Stichprobe nicht, um eine Spalte zu verstehen, frag nach, bevor du eine Regel festlegst.

Liefere:
1. Ein kurzes Profil je Spalte: erwarteter Typ, erkannter Typ, problematische Beispiele und geschätzter Anteil leerer Werte in der Stichprobe.
2. Eine Liste der gefundenen Probleme: Kodierung und Sonderzeichen, überflüssige Leerzeichen, uneinheitliche Groß- und Kleinschreibung, gemischte Datumsformate, Dezimaltrennzeichen, exakte und wahrscheinliche Duplikate, unmögliche oder Ausreißerwerte, unterschiedlich geschriebene Kategorien.
3. Einen geordneten Bereinigungsplan (die Reihenfolge zählt) mit einer klaren Regel pro Schritt und Begründung.
4. Die Umsetzung in {{werkzeug}}: kommentierter Code oder Formeln und Menüschritte.
5. Eine Strategie für fehlende Werte je Spalte (belassen, markieren, nach expliziter Regel imputieren oder ausschließen), ohne Daten zu erfinden.
6. Ein Datenwörterbuch: normalisierter Spaltenname, Typ, Beschreibung und erlaubte Werte.
7. Validierungsprüfungen nach der Bereinigung (Zeilenzahl vorher und nachher, Kontrollsummen, Eindeutigkeit pro Schlüssel).
8. Ein Änderungsprotokoll, damit jeder Schritt nachvollziehbar ist.

Vorgaben:
- Arbeite immer mit einer Kopie und bewahre die Originaldatei auf.
- Lösche nie stillschweigend Zeilen: zähle und begründe jeden Ausschluss.
- Markiere jede Geschäftsregel, die ich bestätigen muss, mit [AUSFÜLLEN].
- Erkennst du personenbezogene Daten, empfiehl, sie vor dem Teilen zu anonymisieren.

Format: Tabellen für Profil und Datenwörterbuch, nummerierte Liste für den Plan und Codeblöcke.

So verwenden Sie ihn

Anwendungsbeispiel

Beispielergebnis

import pandas as pd

raw = pd.read_csv("auftraege_original.csv", sep=";", dtype=str, encoding="utf-8")
df = raw.copy()  # Original bleibt unangetastet

df = df.apply(lambda s: s.str.strip())
df["kunde_norm"] = (df["kunde"].str.upper()
    .str.replace(r"[.,]", "", regex=True)
    .str.replace(r"\s+", " ", regex=True))

df["datum"] = pd.to_datetime(df["datum"], format="mixed", dayfirst=True, errors="coerce")

de = df["betrag"].str.contains(",", na=False)
df.loc[de, "betrag"] = df.loc[de, "betrag"].str.replace(".", "", regex=False).str.replace(",", ".", regex=False)
df["betrag"] = pd.to_numeric(df["betrag"], errors="coerce")

df["status"] = df["status"].str.lower()
LAENDER = {"bayern": "Bayern", "nrw": "Nordrhein-Westfalen"}  # [ERGÄNZEN] vollständige Liste
df["bundesland"] = df["bundesland"].str.lower().map(LAENDER)

df["flag_ohne_datum"] = df["datum"].isna()
df["flag_negativ"] = df["betrag"] < 0  # [ERGÄNZEN] Gutschrift oder Fehler?
df["flag_dublette"] = df.duplicated(["kunde_norm", "datum", "betrag"])

assert len(df) == len(raw), "keine Zeile stillschweigend entfernt"

Wichtige Fakten

Kategorie

Datenmanagement · Datenbereinigung

Ausgabetyp

Text

Niveau

Fortgeschritten

Entwickelt für

ChatGPT, Claude, Gemini und Microsoft Copilot

Verifiziert in

Redaktionelle Prüfung ausstehend

Variablen

Beschreibung der Datei, Beispielzeilen, Werkzeug und Verwendung der Daten

Sprache

Deutsch

Preis

Kostenlos, ohne Anmeldung

Aktualisiert

07.11.2026

Häufig gestellte Fragen