NumPy和SciPy介绍

科学计算基石：NumPy 与 SciPy 全景架构与 ndarray 核心属性精讲

小象实战讲义 · Python数据分析实战

在 Python 数据科学与人工智能技术栈中，NumPy（Numerical Python） 与 SciPy（Scientific Python） 占据着不可动摇的基石地位。几乎所有上层的高级数据分析与机器学习库（如 Pandas、Scikit-learn、Matplotlib、PyTorch、TensorFlow）都深度依赖 NumPy 的底层多维数组容器与高速数值计算内核。如果直接使用 Python 原生的 list 列表进行大规模数学运算，不仅会受到动态类型指针开销和解释器循环的严重拖累，内存占用也会呈倍数膨胀。本节我们将深入剖析 NumPy 与 SciPy 的定位、底层连续内存布局原理，以及核心数据结构 ndarray 的关键属性。

💡 核心导读

• 科学计算双子星定位对比：
  • NumPy：提供底层 $N$ 维数组对象（ndarray）、广播机制、矢量运算与线性代数基础；
  • SciPy：在 NumPy 基础上扩展了数值积分、常微分方程求解、优化算法、信号处理与统计检验等工程级算法包。
• ndarray 多维数组核心特性：同质数据类型（Homogeneous）、连续内存存储（C-contiguous / Fortran-contiguous）与矢量化并行加速。
• 三大核心元数据属性深度解构：
  • ndim：数组的维度轴数（如 1 维向量、2 维表格矩阵、3 维图像张量）；
  • shape：元组形式描述的各个轴向长度尺寸；
  • dtype：底层元素的数据类型（int32、int64、float32、float64、bool 等）。

1. 为什么需要 NumPy：原生 List 与 ndarray 内存对比

Python 原生列表（List）本质上是一个存放“对象指针”的动态数组。列表中的每个元素都可以是不同类型（整数、浮点、字符串），但这种灵活性带来了极高的内存开销与寻址延迟：

┌─────────────────────────────────────────────────────────────┐
│ 1. Python 原生 List 内存布局 (分散指针引用，缓存不命中)     │
│ [ List 指针数组 ] ──► [ PyObject: 1 ] [ PyObject: 2 ] ...   │
├─────────────────────────────────────────────────────────────┤
│ 2. NumPy ndarray 内存布局 (连续紧凑同质内存块，CPU 缓存友好) │
│ [ 连续内存缓冲区: | 0x01 | 0x02 | 0x03 | 0x04 | ... ]       │
└─────────────────────────────────────────────────────────────┘

NumPy 的 ndarray 在底层分配一块连续的内存缓冲区，所有元素必须拥有完全一致的数据类型（同质性），从而实现：

1. 内存占用极致紧凑：无需存储额外的对象头信息，比原生 List 节省 70%~80% 内存；
2. 硬件级缓存命中与 SIMD 指令加速：CPU 可以通过缓存行批量预读连续内存，利用向量化指令集一次并行计算多个数值。

2. Python 代码实战：ndarray 结构探索与核心属性读取

下面我们通过代码实操导入 NumPy，创建多维数组并深入剖析其内部结构属性：

# 示例 1：创建一维向量与二维矩阵并读取核心属性

import numpy as np

# 1. 常见别名导入规范
print(f"NumPy 版本: {np.__version__}")

# 2. 创建 1 维数组 (向量)
vec_1d = np.array([10, 20, 30, 40, 50], dtype=np.int32)
print("\n=== 1. 一维数组结构 ===")
print("数据内容:", vec_1d)
print("• 维度个数 (ndim):", vec_1d.ndim)
print("• 数组形状 (shape):", vec_1d.shape)
print("• 数据类型 (dtype):", vec_1d.dtype)
print("• 元素总数 (size):", vec_1d.size)
print("• 单元素字节数 (itemsize):", vec_1d.itemsize, "字节")

# 3. 创建 2 维数组 (矩阵: 2 行 3 列)
mat_2d = np.array([
    [1.5, 2.5, 3.5],
    [4.0, 5.0, 6.0]
], dtype=np.float64)

print("\n=== 2. 二维矩阵结构 ===")
print("矩阵内容:\n", mat_2d)
print("• 维度个数 (ndim):", mat_2d.ndim)
print("• 矩阵形状 (shape):", mat_2d.shape)
print("• 元素数据类型 (dtype):", mat_2d.dtype)
print("• 占用总字节数 (nbytes):", mat_2d.nbytes, "字节")

接下来，我们对比 Python 原生列表与 NumPy 数组在 100 万次元素累加计算中的性能表现：

# 示例 2：性能基准压测对比 (原生 List vs NumPy ndarray)

import time

size = 1_000_000

# 1. 原生 Python List 循环求和
py_list = list(range(size))
t0 = time.time()
py_sum = sum(py_list)
t1 = time.time()
py_time = (t1 - t0) * 1000

# 2. NumPy ndarray 向量化求和
np_arr = np.arange(size)
t2 = time.time()
np_sum = np.sum(np_arr)
t3 = time.time()
np_time = (t3 - t2) * 1000

print("\n=== 3. 100 万数据量求和性能测试 ===")
print(f"• 原生 Python sum() 耗时: {py_time:.2f} ms | 结果: {py_sum}")
print(f"• NumPy np.sum() 耗时: {np_time:.2f} ms | 结果: {np_sum}")
print(f"🚀 NumPy 运算速度相比原生 Python 提升约: {py_time / max(np_time, 0.001):.1f} 倍！")

📝 动手练一练

1. 概念思考题：如果将包含整数与浮点数的混合列表 [1, 2, 3.14] 传入 np.array() 创建数组，最终生成的 ndarray 的 dtype 会是什么？为什么？

   👉 点击查看参考答案

   参考答案： 会转换为 float64（浮点型）。因为 ndarray 要求底层内存中所有元素同质存储，当输入数据包含不同类型时，NumPy 会自动向上进行隐式类型提升（Upcasting），将整数全部安全转换为精度更高的浮点数。

2. 编程练习：创建一个形状为 (2, 2, 3) 的三维三阶张量（即包含 2 个二维矩阵，每个矩阵 2 行 3 列），打印其 ndim、shape、size 与所有元素。

   👉 点击查看参考答案

   参考答案：

   import numpy as np
   
   tensor_3d = np.array([
       [[1, 2, 3], [4, 5, 6]],
       [[7, 8, 9], [10, 11, 12]]
   ])
   
   print("张量内容:\n", tensor_3d)
   print("维度 (ndim):", tensor_3d.ndim)
   print("形状 (shape):", tensor_3d.shape)
   print("元素总数 (size):", tensor_3d.size)

本章小结

在本节中，我们建立了科学计算与多维数值分析的基础认知：

• 深刻理解了 NumPy 与 SciPy 的生态分工与协作定位；
• 剖析了 ndarray 连续内存存储与高性能矢量运算的底层原理；
• 掌握了 ndim、shape、dtype、size 等关键核心属性的读取与含义。

📋 行动清单

• 在本地运行性能基准测试代码，直观感受矢量化计算的加速效果。
• 做好准备，进入下一小节学习《多维数组的创建与数据类型转换》！

—— 小象教研组