← 返回《Python 数据分析实战》
📑 查看全课大纲(第 87 / 101 节)
  1. 1.数据分析基本概念
  2. 2.学习数据分析的一般路线
  3. 3.数据分析的流程
  4. 4.数据类型
  5. 5.环境部署(1)
  6. 6.环境部署(2)
  7. 7.课程介绍
  8. 8.TXT文件操作
  9. 9.JSON文件操作
  10. 10.CSV文件操作
  11. 11.Excel文件操作
  12. 12.数据库及SQL常用语法
  13. 13.数据库基本操作
  14. 14.数据库多表连接
  15. 15.实战:欧洲职业足球数据库分析
  16. 16.爬虫简介
  17. 17.URL管理模块
  18. 18.网页下载模块
  19. 19.网页解析模块(1)
  20. 20.网页解析模块(2)
  21. 21.Scrapy简介
  22. 22.Scrapy使用步骤(1)
  23. 23.Scrapy使用步骤(2)
  24. 24.Scrapy使用步骤(3)
  25. 25.Scrapy使用步骤(4)
  26. 26.实战:获取国内城市空气质量指数数据
  27. 27.NumPy和SciPy介绍
  28. 28.多维数组
  29. 29.多维数组操作
  30. 30.NumPy的常用方法
  31. 31.向量化介绍
  32. 32.向量化及通用函数
  33. 33.实战:2016美国大选分析
  34. 34.数据结构-Series
  35. 35.数据结构-DataFrame
  36. 36.数据结构-Index
  37. 37.Series的索引操作
  38. 38.DataFrame的索引操作
  39. 39.索引操作总结
  40. 40.运算与对齐
  41. 41.函数应用操作(1) -- map
  42. 42.函数应用操作 (2) -- apply applymap
  43. 43.文件读写操作
  44. 44.排序操作
  45. 45.数据清洗--处理缺失数据
  46. 46.数据清洗--处理重复数据
  47. 47.数据清洗--替换数据
  48. 48.常用统计方法(1) -- describe quantile
  49. 49.常用统计方法(2) -- sum mean median count
  50. 50.常用统计方法(3) -- max min idxmax idxmin
  51. 51.常用统计方法(4) -- mad var std cumsum
  52. 52.实战:全球食品数据分析
  53. 53.层级索引
  54. 54.分组与聚合介绍
  55. 55.分组操作(1) -- GroupBy对象及常用聚合操作
  56. 56.分组操作(2) -- 自定义分组及聚合操作
  57. 57.透视表介绍
  58. 58.透视表操作
  59. 59.数据规整(1) -- 数据合并concat
  60. 60.数据规整(2) -- 数据连接merge
  61. 61.数据重构(3) -- 数据重构stack unstack
  62. 62.实战:互联网电影资料库分析
  63. 63.探索性数据分析EDA介绍
  64. 64.EDA的目的
  65. 65.EDA常用工具
  66. 66.Matplotlib绘图基本介绍
  67. 67.Matplotlib画布
  68. 68.散点图和柱状图的绘制
  69. 69.直方图的绘制
  70. 70.矩阵绘图
  71. 71.子图的使用
  72. 72.Matplotlib颜色、标记、线型
  73. 73.Matplotlib坐标刻度、标签、图例、标题
  74. 74.Seaborn介绍
  75. 75.数据集分布可视化(1) -- 单变量分布、双变量分布
  76. 76.数据集分布可视化(2) -- 变量关系可视化
  77. 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
  78. 78.交互式数据可视化工具Bokeh介绍
  79. 79.Bokeh绘制散点图、柱状图、盒子图、弦图
  80. 80.Bokeh绘制常用图形元素
  81. 81.D绘图 -- mplot3d
  82. 82.D曲线可视化
  83. 83.D散点图可视化
  84. 84.D柱状图可视化
  85. 85.Pandas绘图
  86. 86.实战:Lending Club借贷数据探索性分析及可视化
  87. 87.机器学习介绍及应用场景
  88. 88.机器学习建模介绍 (1) -- 分类
  89. 89.机器学习建模介绍 (2) -- 回归
  90. 90.机器学习建模介绍 (3) -- 聚类
  91. 91.机器学习分类
  92. 92.机器学习工具scikit-learn
  93. 93.使用scikit-learn的流程
  94. 94.数据集准备及划分
  95. 95.模型选择
  96. 96.数据预处理及特征工程
  97. 97.过拟合与欠拟合
  98. 98.模型调参介绍
  99. 99.模型调参方法
  100. 100.模型测试及评价
  101. 101.实战:通过移动设备行为数据预测性别和年龄

机器学习介绍及应用场景

约 15 分钟

📺 正在播放小象官方高清录播(支持倍速与清晰度调节)

人工智能与数据科学引擎:机器学习核心概念、发展脉络与典型业务场景精讲

小象实战讲义 · Python数据分析实战

在完成了 Python 基础编程、NumPy 科学计算、Pandas 数据清洗与规整,以及 Matplotlib/Seaborn 探索性可视化之后,我们正式迈入数据科学最具生产力与智能化的阶段——机器学习(Machine Learning,简称 ML)。传统软件工程依赖程序员人工编写确定性的业务规则(if-else),而机器学习则彻底颠覆了这一范式:它通过统计与优化算法让计算机直接从历史海量数据中“学习”潜在的映射规律,从而对未来的未知样本进行高精度的预测、分类与决策。本节我们将深入剖析机器学习的定义、与传统规则系统的本质区别,以及各行各业的典型应用场景。

💡 核心导读

  • 机器学习的核心本质定义:利用数据训练算法模型,使计算机具备自动优化性能指标 $\mathcal{P}$ 的能力(Tom Mitchell 经典定义)。
  • 传统规则编程 vs 机器学习编程范式变革
    • 传统编程:数据 + 显式规则 ──► 产出答案
    • 机器学习:数据 + 历史答案 ──► 自动产出规则 (模型)
  • 现代工业级四大典型应用场景:计算机视觉(CV)、自然语言处理(NLP)、智能推荐系统(RecSys)与风控反欺诈。
  • 机器学习的标准工业落地闭环

1. 机器学习的范式变革与运作机制

机器学习改变了解决复杂业务问题的基本逻辑:

┌─────────────────────────────────────────────────────────────┐
│                 传统编程 vs 机器学习范式对比                │
├─────────────────────────────────────────────────────────────┤
│ 1. 传统规则编程 (无法应对高维复杂混沌系统):                 │
│    输入数据 ───┐                                            │
│                ├──► [ 人工编写的 if-else 规则 ] ──► 业务输出│
│    业务专家经验─┘                                            │
│                                                             │
│ 2. 现代机器学习 (自动从数据中归纳统计规律):                 │
│    历史特征数据 ─┐                                          │
│                  ├──► 【 机器学习算法训练 】 ──► 泛化模型预测 │
│    已知真实标签 ─┘                                          │
└─────────────────────────────────────────────────────────────┘
import numpy as np
import pandas as pd

# 演示从数据中自动学习规律:模拟真实房屋价格预测任务
np.random.seed(42)
n_samples = 100

# 特征:房屋面积 (平方米)
house_area = np.random.uniform(40, 180, n_samples)
# 真实规律 (底层物理映射): 价格 = 3.2 * 面积 + 25 + 随机噪声
true_price = 3.2 * house_area + 25 + np.random.normal(0, 15, n_samples)

df_house = pd.DataFrame({
    "area": house_area.round(1),
    "price_ten_thousand": true_price.round(1)
})

print("=== 1. 房屋历史样本数据前 5 行 ===")
print(df_house.head())

# 简单线性回归拟合:自动学习斜率 w 与截距 b (y = wx + b)
w_learned, b_learned = np.polyfit(df_house["area"], df_house["price_ten_thousand"], deg=1)
print(f"\n=== 2. 算法自动学习到的规律参数 ===")
print(f"• 学习到的单价斜率 w = {w_learned:.3f} (真实基准: 3.2)")
print(f"• 学习到的基础截距 b = {b_learned:.3f} (真实基准: 25.0)")

2. 模型预测未知样本与工业落地流

利用训练好的模型,我们可以对新录入的未知面积房屋进行价格预测。

# 3. 对 3 套未知新房进行价格预测
new_areas = np.array([65.0, 90.0, 130.0])
predicted_prices = w_learned * new_areas + b_learned

print("=== 3. 泛化预测未知样本 ===")
for area, pred in zip(new_areas, predicted_prices):
    print(f"• 面积: {area:>5.1f} ㎡ ──► 算法预测总价: {pred:>6.2f} 万元")

📝 动手练一练

  1. 概念思考题:在垃圾邮件过滤场景中,为什么传统的“关键词黑名单匹配规则”最终被“机器学习分类算法”全面取代?

    👉 点击查看参考答案

    参考答案

    • 黑名单规则维护成本极高,且容易被垃圾邮件发送者通过变体字、错别字或插入无意义符号轻松绕过(漏报);
    • 规则容易误伤正常邮件(误报);
    • 机器学习算法能够综合分析词频统计、词语共现上下文、发送特征等多维概率分布,具备强大的自适应与抗干扰能力。
  2. 编程练习:给定面积特征数组 x 与总价标签 y,请使用 np.polyfit 拟合线性模型并打印预测值。

    👉 点击查看参考答案

    参考答案

    import numpy as np
    x = np.array([50, 100, 150])
    y = np.array([150, 300, 450])
    w, b = np.polyfit(x, y, 1)
    print(f"拟合公式: y = {w:.1f}x + {b:.1f}")

本章小结

  • 深入理解了机器学习“从数据中自动归纳映射规律”的现代范式;
  • 厘清了传统规则编程与机器学习在灵活性、维护成本上的本质鸿沟;
  • 了解了机器学习在推荐、风控、预测等工业级场景下的标准应用流。

📋 行动清单

  • 在本地执行示例代码,观察控制台输出并记录关键指标。
  • 做好准备,进入下一小节学习《机器学习核心分类体系:监督、无监督与强化学习》!

—— 小象教研组

配套学习资源与课件
  • 本节课件:机器学习介绍及应用场景(PDF · 993KB)
    下载
  • 第8章配套代码包:机器学习示例与移动设备行为实战数据(ZIP · 274MB)
    下载
  • 全套课件打包(第1-5章)(ZIP · 12.8MB)
    下载
  • 全套课件打包(第6-8章)(ZIP · 15MB)
    下载
  • 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)
    下载
  • 实战数据集:女性服装电商分析(ZIP · 2.8MB)
    下载
  • Python 数据分析环境搭建指南(PDF · 2MB)
    下载
  • Scrapy 安装教程(PDF · 12.7MB)
    下载
  • 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)
    下载
  • 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)
    下载
  • 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)
    下载
  • 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)
    下载
🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

  • 完整 Python / 数据分析 Jupyter 实战源码
  • 大厂真实业务数据集与练习题
  • 微信扫码添加课程顾问,免费获取网盘下载链接
微信二维码:扫码添加课程顾问微信扫码添加顾问