实战：全球食品数据分析

第5章综合实战：全球食品安全与营养数据多维探索分析

小象实战讲义 · Python数据分析实战

在系统掌握了 Pandas 的核心数据结构（Series、DataFrame、Index）、多维切片与布尔索引、数据对齐运算、函数应用（map、apply）、文件 I/O 以及全套数据清洗与统计描述方法之后，本节我们将迎来第 5 章的压轴综合大实战——《全球公开食品营养与成分数据集多维探索分析》。我们将以真实的全球食品安全与营养成分数据为背景，完整演练从 TSV/CSV 数据集加载、内存占用与字段探查、缺失值与重复值清洗，到国家维度和产品类别的营养成分聚合统计全流程。

💡 核心导读

• 实战业务目标：探索全球不同国家与品牌食品的热量、糖分、脂肪与添加剂分布，产出结构化健康评估报告。
• 数据清洗与分析四步全流程：
  • 1. pd.read_csv() 高效读取制表符分隔数据并解析数据类型；
  • 2. 数据概览与脏数据诊断（info、isna().sum()、drop_duplicates）；
  • 3. 缺失值多策略填充与异常值过滤（fillna、布尔掩码截断）；
  • 4. 国家与品类维度聚合统计（mean、quantile、idxmax、sort_values）。
• 高内聚可直接执行的端到端代码实战。

1. 实战数据集构建与数据诊断

为了保证代码在本地环境 100% 可复现运行，我们首先模拟构建全球食品数据库样本：

┌─────────────────────────────────────────────────────────────┐
│                 全球食品数据集核心维度                      │
├─────────────────────────────────────────────────────────────┤
│ 1. product_name : 食品名称 (如 "全麦燕麦片", "有机黑巧")    │
│ 2. country      : 原产国 (如 "France", "USA", "China")      │
│ 3. energy_100g  : 每百克能量千卡 (kcal)                     │
│ 4. sugar_100g   : 每百克含糖量 (g)                          │
│ 5. fat_100g     : 每百克脂肪含量 (g)                        │
│ 6. nutriscore   : 营养健康等级 (A/B/C/D/E)                  │
└─────────────────────────────────────────────────────────────┘

import pandas as pd
import numpy as np
import os

# 1. 模拟生成 TSV 格式的全球食品数据集
mock_food_tsv = "world_food_facts_sample.tsv"
raw_tsv_data = """product_name\tcountry\tenergy_100g\tsugar_100g\tfat_100g\tnutriscore
全麦高纤燕麦片\tFrance\t365.0\t1.2\t6.5\tA
瑞士有机黑巧克力\tFrance\t540.0\t28.5\t35.0\tD
低脂酸奶\tUSA\t65.0\t8.0\t1.5\tB
纯天然椰子水\tUSA\t19.0\t3.5\t0.0\tA
浓香特级花生酱\tUSA\t588.0\t7.0\t50.0\tD
传统黑芝麻糊\tChina\t420.0\t18.0\t12.0\tC
云南纯普洱茶饼\tChina\t5.0\t0.0\t0.0\tA
高钙低脂牛奶\tChina\t48.0\t4.8\t1.5\tA
手工夹心黄油曲奇\tFrance\t510.0\t32.0\t26.0\tE
全麦高纤燕麦片\tFrance\t365.0\t1.2\t6.5\tA
"""

with open(mock_food_tsv, "w", encoding="utf-8") as f:
    f.write(raw_tsv_data.strip())

# 2. 读取 TSV 文件 (指定 sep='\t')
df_foods = pd.read_csv(mock_food_tsv, sep="\t")

print("=== 1. 数据集初步诊断 ===")
print("• 表格形状:", df_foods.shape)
print("• 前 3 行预览:\n", df_foods.head(3))
print("\n• 数据类型与非空统计:")
df_foods.info()

2. 数据清洗、去重与国家维度营养聚合分析

我们对重复行进行剔除，并基于国家和营养评级进行多维度统计与极值探寻。

# 1. 数据去重：移除完全重复的冗余行
df_clean = df_foods.drop_duplicates().reset_index(drop=True)
print(f"=== 2. 去重完成：从 {len(df_foods)} 行清洗为 {len(df_clean)} 行有效记录 ===")

# 2. 统计各原产国的食品数量及平均能量、含糖量
country_summary = df_clean.groupby("country")[["energy_100g", "sugar_100g", "fat_100g"]].mean().round(1)
print("\n=== 3. 各国家食品平均营养指标 ===")
print(country_summary)

# 3. 查找热量最高的食品 (使用 idxmax)
highest_energy_idx = df_clean["energy_100g"].idxmax()
top_energy_food = df_clean.loc[highest_energy_idx]
print(f"\n=== 4. 全球热量最高食品: 【{top_energy_food['product_name']}】 ({top_energy_food['energy_100g']} kcal/100g) ===")

# 4. 筛选出 Nutriscore 为 'A' 等级的健康食品清单
healthy_foods = df_clean[df_clean["nutriscore"] == "A"].sort_values(by="energy_100g")
print("\n=== 5. Nutriscore A 级优质健康食品排行 ===")
print(healthy_foods[["product_name", "country", "energy_100g", "sugar_100g"]])

# 清理临时文件
if os.path.exists(mock_food_tsv):
    os.remove(mock_food_tsv)

📝 动手练一练

1. 业务实战思考题：在分析全球食品数据时，如果发现某款食品的糖分 sugar_100g 填成了 150g（超过 100g 的物理极限），在数据清洗阶段应该如何使用 Pandas 优雅地过滤或修复这类逻辑异常值？

   👉 点击查看参考答案

   参考答案：

   • 方案一（直接过滤异常行）：df = df[(df['sugar_100g'] >= 0) & (df['sugar_100g'] <= 100)]；
   • 方案二（截断修复为上限 100 或置为 NaN）：df.loc[df['sugar_100g'] > 100, 'sugar_100g'] = np.nan。

2. 综合编程练习：请使用 Pandas 对 df_clean 按照 'nutriscore' 统计各个健康等级的食品数量分布。

   👉 点击查看参考答案

   参考答案：

   grade_counts = df_clean['nutriscore'].value_counts()
   print("各营养健康等级食品数量分布:")
   print(grade_counts)

本章小结

• 完整走通了从 TSV 文件读取、字段诊断、数据去重到类型转换的清洗闭环；
• 综合运用了 groupby、mean、idxmax 与布尔切片完成了多维业务探索；
• 具备了独立开展真实行业数据集探索性数据分析（EDA）的工程实战能力。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 复习第 5 章全部 19 节内容，准备进入第 6 章《数据分析工具 Pandas 高阶》！

—— 小象教研组