Data Cleansing: Definizione, importanza, tecniche e best practice

Il data cleansing (pulizia/scrubbing dati) è il processo sistematico di rilevare, correggere o rimuovere record inaccurati, incompleti, duplicati o irrilevanti da un dataset per garantire qualità dati per analisi, operazioni e decision-making.

Problemi qualità dati comuni

• Record duplicati: Stessa entità inserita multiple volte.
• Valori mancanti: Null in campi obbligatori.
• Formati inconsistenti: Data (MM/GG/AAAA vs GG-MM-AAAA), maiuscole/minuscole, unità.
• Valori invalidi: Fuori range, regole validazione fallite (es. età >120).
• Dati inaccurati: Refusi, info obsolete, errori misurazione.
• Dati irrilevanti: Campi non necessari per analisi.
• Violazioni integrità referenziale: Chiavi esterne orfane.

Tecniche cleansing

• Deduplicazione: Matching esatto/fuzzy (Levenshtein, Jaro-Winkler), regole sopravvivenza.
• Standardizzazione: Parsing, formattazione (indirizzi, nomi, telefoni), conversione unità.
• Validazione: Rule-based (regex, range, cross-field), lookup dati riferimento (CAP, codici ISO).
• Imputazione: Media/mediana, regressione, KNN, ML-based per valori mancanti.
• Arricchimento: Aggiunta dati terze parti (demografici, firmografici, geocoding).
• Rilevazione outlier: Statistico (IQR, z-score), ML (isolation forest).

Strumenti e approcci

• Programmatici: Python (pandas, Great Expectations), SQL, R (dplyr, janitor).
• Piattaforme ETL/ELT: dbt, Airflow, Talend, Informatica, Dataiku.
• Tool specializzati: Trifacta, OpenRefine, WinPure, Data Ladder.
• Revisione manuale: Per bassi volumi, alto stake, o casi ambigui.

Best practice

1. Profilare dati prima (statistiche, distribuzioni, metriche qualità).
2. Definire regole qualità e soglie con stakeholder.
3. Automatizzare pipeline riproducibili (version-controlled).
4. Loggare tutte trasformazioni per auditabilità.
5. Misurare qualità pre/post (completezza, accuratezza, coerenza, tempestività, validità, unicità).
6. Stabilire monitoraggio continuo (data observability).
7. Documentare lineage e regole business.

Impatto business

• Miglior accuratezza modelli, affidabilità reportistica.
• Riduzione costi operativi (errori mailing, sanzioni compliance).
• Maggiore fiducia clienti (comunicazioni corrette, personalizzazione).
• Compliance normativa (GDPR, CCPA, BCBS 239).

Data cleansing non è task one-shot — è disciplina continua embedded nel ciclo vita dati.