📑 查看全课大纲(第 36 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
数据结构-Index
约 7 分钟
Pandas 轴向标签基石:Index 对象的不可变性与集合代数运算
小象实战讲义 · Python数据分析实战
在 Pandas 架构中,无论是 Series 的轴向标签还是 DataFrame 的行与列标签,其底层都是由 Index 对象 承载的。Index 对象不仅负责存储各轴的标签信息,还担负着整个 Pandas 数据对齐、切片寻址与关系连接的重任。理解 Index 对象的不可变性(Immutability)以及其强大的集合代数能力,是掌握 Pandas 高阶数据规整的关键。本节我们将深入剖析 Index 的核心属性、不可变性安全设计与交并差集合运算。
💡 核心导读
- Index 对象的本质特性:兼具一维数组的顺序寻址能力与类似于 Set 集合的键值对齐功能。
- 不可变性(Immutability)的核心设计哲学:保护数据安全,确保多个 Series 或 DataFrame 能够安全共享同一个 Index 实例而不发生副作用。
- 四大常见 Index 子类型:
Index(通用标签)、RangeIndex(内存节约型整数步长)、DatetimeIndex(时间序列)与MultiIndex(多层级分层索引)。 - Index 集合运算 API:
union()(并集)、intersection()(交集)与difference()(差集)。
1. Index 对象的不可变性与安全性
Index 对象被特意设计为**不可变(Immutable)**数据结构:一旦创建,就不能像普通列表那样直接通过 index[0] = 'new_val' 修改其元素内容。这种设计确保了数据在跨对象传递与计算时不会意外被篡改。
┌─────────────────────────────────────────────────────────────┐
│ Index 对象的不可变共享模型 │
├─────────────────────────────────────────────────────────────┤
│ 共享 Index 实例: ['BJ', 'SH', 'GZ', 'SZ'] │
│ ▲ ▲ │
│ │ │ │
│ [ Series A: 人口数据 ] [ Series B: 消费数据 ] │
│ (直接复用 Index 指针,零内存拷贝开销,且任一方无法破坏标签) │
└─────────────────────────────────────────────────────────────┘# 示例 1:Index 对象的创建、属性与不可变安全验证
import pandas as pd
import numpy as np
# 1. 显式创建 Index 对象
idx_a = pd.Index(["北京", "上海", "广州", "深圳"], name="Tier1_Cities")
idx_b = pd.Index(["广州", "深圳", "杭州", "成都"], name="Target_Cities")
print("=== 1. Index 对象基础属性 ===")
print("Index A:", idx_a)
print("• 元素类型 (dtype):", idx_a.dtype)
print("• 元素数量 (size):", idx_a.size)
print("• 是否唯一 (is_unique):", idx_a.is_unique)
print("• 是否单调递增 (is_monotonic_increasing):", idx_a.is_monotonic_increasing)
# 2. 不可变性安全测试:尝试修改 Index 元素
try:
idx_a[0] = "天津"
except TypeError as e:
print("\n=== 2. 不可变性安全防护拦截 ===")
print(f"✅ 成功拦截非法原地修改操作: {e}")2. Index 的集合代数运算与自动对齐机制
Index 对象表现得类似于 Python 的 set 集合,支持在保持顺序的同时进行交集、并集和差集运算。在两个 DataFrame 进行合并或算术运算时,Pandas 底层正是通过这些集合运算来计算对齐后标签维度的。
# 示例 2:Index 集合运算与索引重构
# 1. 集合运算:并集、交集与差集
idx_union = idx_a.union(idx_b) # 并集
idx_intersection = idx_a.intersection(idx_b) # 交集
idx_diff = idx_a.difference(idx_b) # 差集 (在 A 中但不在 B 中)
print("=== 3. Index 集合运算 ===")
print("• 并集 (Union):", idx_union.tolist())
print("• 交集 (Intersection):", idx_intersection.tolist())
print("• A 与 B 的差集 (Difference):", idx_diff.tolist())
# 2. 使用 Index 构建并对齐两个不同维度的 Series
s1 = pd.Series([100, 200, 300, 400], index=idx_a)
s2 = pd.Series([30, 40, 50, 60], index=idx_b)
print("\n=== 4. 两个 Series 的数据 ===")
print("Series 1 (城市 A 组):\n", s1)
print("Series 2 (城市 B 组):\n", s2)
# 相加运算 (底层自动基于 Index 并集对齐,未重合部分为 NaN)
s_combined = s1 + s2
print("\n=== 5. 自动基于 Index 对齐相加 ===")
print(s_combined)📝 动手练一练
架构思考题:为什么 Pandas 团队要将 Index 设计为不可变类型?如果 Index 是可变的,会引发什么潜在的系统性缺陷?
👉 点击查看参考答案
参考答案: ① 防止数据污染与副作用:多个 DataFrame 或 Series 之间可以安全地共享同一个 Index 实例,而不用担心其中一个对象修改标签会污染其他对象; ② 哈希缓存与查找加速:不可变对象可以安全生成哈希映射表(Hash Table),使基于标签的检索(如
df.loc['key'])保持 $O(1)$ 的常数级查找性能。编程练习:给定两个包含学生学号的列表
group1 = ['S01', 'S02', 'S03']与group2 = ['S02', 'S03', 'S04'],请将它们转为 Index 对象,并找出同时参与了两个项目的学生学号(交集)。👉 点击查看参考答案
参考答案:
import pandas as pd idx1 = pd.Index(['S01', 'S02', 'S03']) idx2 = pd.Index(['S02', 'S03', 'S04']) common_students = idx1.intersection(idx2) print("两个项目共同参与的学生:", common_students.tolist())
本章小结
- 深入理解了 Index 对象在 Pandas 双轴体系中的标签索引与对齐功能;
- 掌握了 Index 的不可变性安全设计机制;
- 熟练运用
union、intersection与difference进行集合代数运算。
📋 行动清单
- 在本地执行示例代码,观察控制台输出并记录关键指标。
- 做好准备,进入下一小节学习《Series 的索引操作与切片技巧》!
—— 小象教研组
- 本节课件:数据结构-Index(PDF · 253KB)下载
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问