Inspecione e limpe um conjunto de dados

Dados reais são bagunçados, e a limpeza muitas vezes ocupa a maior parte de um projeto. Procure:

• Valores ausentes - em branco, NA, -1, 999. Ausente não é zero: pode significar desconhecido, não registrado ou não aplicável.
• Duplicatas - a mesma observação registrada duas vezes.
• Categorias inconsistentes - Bus, bus, BUS, bicycle contra bike.
• Unidades e tipos - minutos misturados com segundos, números guardados como texto, datas em dois formatos.
• Valores impossíveis ou extremos - uma viagem de 9.000 minutos, uma idade negativa.

Para cada problema, escolha uma regra, aplique-a no código (nunca à mão numa planilha) e registre-a - as suas conclusões dependem dessas escolhas.

No pandas, as correções comuns ocupam uma linha cada:

1trips["minutes"] = trips["minutes"].replace(-1, pd.NA)        # sentinel → missing
2trips = trips.drop_duplicates(subset="trip_id")                # keep the first copy
3trips["mode"] = trips["mode"].str.strip().str.lower()          # " Bus" → "bus"
4trips["mode"] = trips["mode"].replace({"bicycle": "bike"})     # merge aliases
5trips["start"] = pd.to_datetime(trips["start"], format="mixed") # one date type

A regra de John Tukey sinaliza valores que ficam mais de 1,5 × IQR abaixo do primeiro quartil (Q1) ou acima do terceiro (Q3), em que o intervalo interquartil IQR = Q3 − Q1 é a dispersão da metade central dos dados. Um valor sinalizado é uma pergunta, não um veredito: pode ser um erro a corrigir, ou a observação mais interessante do conjunto de dados. Nunca apague outliers só para deixar os resultados mais bonitos.