文件读写操作

Pandas 结构化文件 I/O 读写精讲：read_csv、read_excel 与核心参数调优

小象实战讲义 · Python数据分析实战

在真实的数据分析流程中，数据很少直接硬编码在 Python 脚本中，而是以 CSV、TSV、Excel、JSON 或 SQL 数据库的形式持久化存储在磁盘或云端。Pandas 提供了极其完善的 I/O 读写 API。其中，pd.read_csv() 与 pd.read_excel() 是最高频使用的数据导入入口。熟练掌握分隔符指定、表头处理、日期自动解析、指定读取列以及中文乱码编码设置，是高效开展数据分析的前提。本节我们将全面拆解 Pandas 文件读写的核心参数与持久化导出技巧。

💡 核心导读

• CSV 核心读写 API：pd.read_csv() 与 df.to_csv()。
• 高频核心读取参数清单：
  • sep / delimiter：指定文本分隔符（如逗号 ,、制表符 \t、空格）；
  • header：指定表头所在行（header=0 或无表头 header=None）；
  • names：为没有表头的文件自定义列名列表；
  • index_col：指定某一列作为 DataFrame 的行索引；
  • usecols：按需仅加载指定的部分列（极大节约内存）；
  • encoding：字符编码（'utf-8'、'utf-8-sig'、'gbk' 解决中文乱码）。
• Excel 读写 API：pd.read_excel() 与 df.to_excel()（指定 sheet_name）。

1. CSV 文件读写与高级参数配置实战

CSV 是最通用的纯文本表格格式。通过合理配置 pd.read_csv 的参数，可以轻松应对各种不规则的原始数据：

┌─────────────────────────────────────────────────────────────┐
│                 pd.read_csv() 核心参数调优矩阵              │
├─────────────────┬───────────────────────────────────────────┤
│ 参数名          │ 功能与典型应用                            │
├─────────────────┼───────────────────────────────────────────┤
│ sep=','         │ 支持 '\t'、'\s+' (正则空白) 等自定义分隔符  │
│ usecols=['a','b']| 仅加载指定列，海量数据时降低 80% 内存占用 │
│ index_col='id'  │ 直接将主键列绑定为 DataFrame 行索引       │
│ encoding='utf-8'│ 中文 Windows 常见 'gbk' / 'utf-8-sig'      │
│ na_values=['NA']│ 将特定脏文本自动识别并转为 NaN            │
└─────────────────┴───────────────────────────────────────────┘

import pandas as pd
import os

# 1. 模拟生成一份带有业务元数据的 CSV 文件
csv_file = "sample_orders.csv"
raw_content = """order_id,cust_name,amount,city
ORD_101,张伟,299.5,北京
ORD_102,王芳,1580.0,上海
ORD_103,李明,89.0,广州
ORD_104,赵强,4500.0,深圳
"""

with open(csv_file, "w", encoding="utf-8") as f:
    f.write(raw_content.strip())

# 2. 读取 CSV 并配置核心参数
df_loaded = pd.read_csv(
    csv_file,
    sep=",",
    index_col="order_id",       # 将 order_id 作为行索引
    usecols=["order_id", "cust_name", "amount", "city"],
    encoding="utf-8"
)

print("=== 1. 成功读取并解析 CSV 文件 ===")
print(df_loaded)
print("\n数据概览 (dtypes):\n", df_loaded.dtypes)

2. 数据持久化导出与无索引保存

将清洗后的 DataFrame 导出到磁盘时，通常需要设置 index=False（如果不希望在文件中多出一列无意义的自增整数索引）并指定 encoding='utf-8-sig' 以便 Excel 正确打开中文。

# 1. 将数据处理后导出为新的 CSV 文件
out_csv = "cleaned_orders_export.csv"
df_loaded["is_large_order"] = df_loaded["amount"] >= 1000

# 关键：导出时指定 encoding='utf-8-sig' 确保 Excel 打开不乱码
df_loaded.to_csv(out_csv, index=True, encoding="utf-8-sig")
print(f"=== 2. 成功将数据导出至: {out_csv} ===")

# 2. 回读验证
df_verify = pd.read_csv(out_csv, index_col="order_id")
print("回读验证导出的文件:\n", df_verify)

# 清理临时文件
for f in [csv_file, out_csv]:
    if os.path.exists(f):
        os.remove(f)

📝 动手练一练

1. 场景分析题：当你使用 Excel 打开一个由 Python 导出的包含中文字符的 CSV 文件时，所有中文都显示为乱码。请问在 to_csv() 中应该指定什么编码参数来完美解决？

   👉 点击查看参考答案

   参考答案： 指定 encoding='utf-8-sig'。utf-8-sig 会在文件头部写入 UTF-8 的 BOM 签名（0xEF, 0xBB, 0xBF），从而使微软 Excel 自动将其识别为 UTF-8 编码而不是系统默认的 ANSI/GBK，彻底消除乱码。

2. 编程练习：给定一个非常庞大的 CSV 文件（有 100 列），如果你只需要其中的 'user_id' 和 'age' 两列，请写出最节省内存的 pd.read_csv 调用代码。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   df_subset = pd.read_csv('large_data.csv', usecols=['user_id', 'age'])
   print(df_subset.head())

本章小结

• 掌握了 pd.read_csv() 与 pd.read_excel() 的通用文件加载范式；
• 深入理解了 sep、header、index_col、usecols 与 encoding 等关键参数的作用；
• 掌握了使用 to_csv(..., encoding='utf-8-sig') 安全持久化结构化数据的标准流程。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《Pandas 数据排序操作：sort_values 与 sort_index》！

—— 小象教研组