数据处理 · 学习笔记

CSV 数据清洗的几个基本步骤

收到一份 CSV 表格后，先检查数据质量，再做统计。下面记录三个容易影响结果的地方。

先确认编码与列名

读取文件时明确指定编码；如果文件来自 Excel，也可以尝试 utf-8-sig。检查列名是否包含多余空格，避免后续按列名取值时出错。

import pandas as pd

df = pd.read_csv("input.csv", encoding="utf-8-sig")
df.columns = df.columns.str.strip()
print(df.head())
print(df.info())

处理缺失值和重复记录

先统计缺失情况，再根据业务含义决定删除、补齐还是保留。对重复行也是如此：相同内容可能是误导入，也可能是两笔真实交易。

print(df.isna().sum())
print("重复行数：", df.duplicated().sum())

# 仅在确认完全重复的记录没有业务意义时才删除
cleaned = df.drop_duplicates()

保存前记录原始行数与处理后行数，便于回头核对清洗造成了哪些变化。