《人工智能数学基础》是一门体系化的视频与讲义课程，共 12 章 93 节，每节配套视频、文字讲义与可运行的 Python 示例代码。
课程从集合与实数理论、序列极限、函数极限与连续、导数与微分、泰勒公式讲起，系统覆盖一元微积分的完整脉络，随后深入不定积分、定积分与多元微分学，并以线性代数（矩阵、向量空间、特征值、二次型）与最优化（梯度法、牛顿法、KKT 与对偶、凸优化）收束，为机器学习与深度学习打下坚实的数学地基。
学完本课程，你将能够读懂主流机器学习教材与论文中的数学推导，理解算法背后的优化原理，并具备继续学习深度学习理论的能力。
课程大纲
共 93 节，按建议顺序学习。
- 01
概论和集合的定义
约 13 分钟概论和集合的定义 小象实战讲义 · 人工智能数学基础 欢迎来到《人工智能数学基础》课程的开篇。本节作为课程的“概论和预备知识”，旨在为你搭建起学习后续高等数学、线性代数与最优化理论的共同语言基础。我们…
- 02
逼疯康托的实数集理论
约 35 分钟实数集：从区间、稠密性到无穷的尺度 小象实战讲义 · 人工智能数学基础 在人工智能的数学世界中，我们处理的数据和模型参数大多在实数范围内。本节将带你深入理解实数集这一基础舞台的核心性质。我们将从描述实…
- 03
常用不等式与映射
约 5 分钟常用不等式与映射 小象实战讲义 · 人工智能数学基础 在人工智能的数学世界中，我们不仅需要处理精确的数值，更需要掌握描述变量间关系的不等式工具，以及理解不同数学对象之间如何建立联系的映射概念。本节将系…
- 04
函数及特殊函数
约 26 分钟函数及特殊函数 小象实战讲义 · 人工智能数学基础 函数是数学分析乃至整个高等数学的基石，它描述了变量之间最核心的依赖关系。在人工智能领域，无论是构建模型、定义损失函数，还是描述数据的映射关系，都离不…
- 05
序列极限的定义
约 26 分钟序列极限的定义 小象实战讲义 · 人工智能数学基础 在人工智能的数学世界中，我们常常需要分析数据序列的长期行为，例如梯度下降法中迭代点的变化趋势、递归神经网络中隐藏状态的演化，或是蒙特卡洛模拟中样本均…
- 06
序列极限的性质与夹逼定理
约 22 分钟序列极限的性质与夹逼定理 小象实战讲义 · 人工智能数学基础 在掌握了序列极限的严格定义（ε-N 语言）之后，我们自然要追问：收敛的序列有哪些普遍的性质？这些性质如何帮助我们更高效地计算极限？本节将系…
- 07
重要极限
约 15 分钟两个重要极限 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了序列极限的定义与性质。本节我们将聚焦于两个在微积分和后续概率论、最优化等领域中至关重要的极限：自然常数 e e e 的极限定义，…
- 08
无穷小量，无穷大量和一组重要的阶的比较关系
约 22 分钟无穷小量，无穷大量和一组重要的阶的比较关系 小象实战讲义 · 人工智能数学基础 在掌握了序列极限的基本定义和性质后，我们常常需要处理那些趋向于零或趋向于无穷的序列。本节将系统性地引入“无穷小量”与“无…
- 09
聚点原理
约 13 分钟聚点原理与有界序列的收敛子列 小象实战讲义 · 人工智能数学基础 在序列极限的研究中，我们常常关心序列本身的收敛性。然而，许多重要的序列（如优化算法中的迭代序列）本身可能并不收敛。本节将引入一个深刻而…
- 10
函数极限及其性质
约 29 分钟函数极限及其性质 小象实战讲义 · 人工智能数学基础 在上一讲中，我们学习了序列的极限，它描述了当项数无限增大时，序列的变化趋势。然而，在人工智能领域，我们更多面对的是连续变化的函数。本讲将把极限的概…
- 11
重要极限与等价无穷小
约 25 分钟两个重要极限与等价无穷小 小象实战讲义 · 人工智能数学基础 在上一节我们学习了函数极限的定义与基本性质，掌握了分析函数变化趋势的基本工具。然而，面对复杂的函数形式，直接使用定义求极限往往非常繁琐。本…
- 12
连续函数
约 21 分钟连续函数 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了函数极限的概念与性质。本节将在此基础上，探讨函数连续性这一核心概念。连续性描述了函数图像“不断开”的直观特性，是微积分分析函数局部与…
- 13
导数的概念（那些年，扛起牛顿的胡克）
约 15 分钟导数的概念（那些年，扛起牛顿的胡克） 小象实战讲义 · 人工智能数学基础 在人工智能的建模与优化过程中，我们常常需要分析函数值如何随输入变化，这种“变化率”是理解模型行为、设计优化算法的核心。本节将从…
- 14
定义法求导
约 14 分钟定义法求导 小象实战讲义 · 人工智能数学基础 导数是微积分的核心概念，它描述了函数在某一点处变化的瞬时速率。本节我们将回归导数的本源定义，学习如何直接利用极限来求解各类基本初等函数的导数公式。掌握定…
- 15
函数四则运算的导数与反函数求导法则
约 9 分钟函数四则运算的导数与反函数求导法则 小象实战讲义 · 人工智能数学基础 在掌握了导数的定义与基本初等函数的导数公式后，我们面临一个现实问题：如何对由这些基本函数通过加、减、乘、除等运算组合而成的复杂函…
- 16
复合函数，隐函数，参数式求导
约 28 分钟复合函数、隐函数与参数式求导 小象实战讲义 · 人工智能数学基础 在掌握了基本初等函数的导数后，我们面对更复杂的函数时，常常需要将它们分解为基本函数的组合。本节将学习三大核心求导法则：链式法则、隐函数…
- 17
不定式求导之“洛必达与伯努利的师生情”
约 28 分钟不定式求导之“洛必达与伯努利的师生情” 小象实战讲义 · 人工智能数学基础 在掌握了导数的定义和基本求导法则后，我们面临一个现实问题：如何计算那些形式“怪异”的极限？例如，当分子分母都趋于0或无穷时，…
- 18
一阶微分
约 22 分钟一阶微分 小象实战讲义 · 人工智能数学基础 在上一章我们学习了导数，它描述了函数在某一点变化的瞬时速率。然而，在算法实现和数值计算中，我们更关心的是：当输入发生一个微小变化时，输出会如何近似地线性变…
- 19
高阶导数
约 21 分钟高阶导数 小象实战讲义 · 人工智能数学基础 在掌握了一阶导数这一瞬时变化率的工具后，我们很自然地会问：一个函数的变化率本身是如何变化的？高阶导数正是回答这个问题的数学语言。它不仅是导数概念的简单重复…
- 20
高阶微分
约 7 分钟高阶微分 小象实战讲义 · 人工智能数学基础 在上一节中，我们掌握了一阶微分与可导性的等价关系，以及一阶微分形式的不变性。本节我们将在此基础上进行推广，探讨高阶微分的定义与计算。理解高阶微分，不仅能深…
- 21
罗尔中值定理与拉格朗日中值定理
约 17 分钟微分中值定理 小象实战讲义 · 人工智能数学基础 在人工智能的模型构建与优化中，深刻理解函数的变化规律至关重要。本节将学习微分学的两大基石——罗尔中值定理与拉格朗日中值定理。它们不仅为函数在区间上的整…
- 22
柯西空降科学院遭排挤
约 24 分钟柯西中值定理 小象实战讲义 · 人工智能数学基础 在掌握了拉格朗日中值定理之后，我们将其推广至更一般的情形——柯西中值定理。本节将介绍柯西的生平轶事，并深入探讨该定理的几何意义、标准形式及其证明方法。…
- 23
泰勒公式与泰勒的克妻属性
约 39 分钟泰勒公式 小象实战讲义 · 人工智能数学基础 在人工智能的数学工具箱中，我们常常需要用一个简单的函数来近似一个复杂的函数，尤其是在局部区域内。本节将学习的泰勒公式，正是实现这一目标的强大工具。它将函数…
- 24
利用泰勒展开唯一性定理计算泰勒展开
约 32 分钟利用泰勒展开唯一性定理计算泰勒展开 小象实战讲义 · 人工智能数学基础 在上一节学习了泰勒公式的基本形式后，我们面临一个实际问题：如何高效地计算复杂函数的泰勒展开？直接求导往往计算量巨大。本节将介绍泰…
- 25
泰勒公式的余项估计
约 24 分钟带拉格朗日余项的泰勒公式 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了带佩亚诺余项的泰勒公式，它揭示了函数在展开点附近与多项式之间的等价无穷小关系。然而，当我们需要估计函数在远离展开点处…
- 26
极值问题与导数
约 15 分钟极值问题与导数 小象实战讲义 · 人工智能数学基础 在人工智能的许多核心算法中，如梯度下降优化、损失函数最小化等，其数学本质都是寻找函数的最优值（最大值或最小值）。本节将学习如何利用导数这一强大工具来…
- 27
函数凹凸性
约 35 分钟函数的凹凸性 小象实战讲义 · 人工智能数学基础 在数学分析中，函数的凹凸性是描述函数图像弯曲方向的重要性质。理解凹凸性不仅有助于我们直观把握函数图形的形状，更是后续学习最优化理论（如凸优化）的基石。…
- 28
无卵用的渐近线与函数作图
约 24 分钟渐近线与函数作图 小象实战讲义 · 人工智能数学基础 在掌握了利用导数分析函数局部性质（如单调性、极值、凹凸性）后，我们还需要理解函数在定义域边界或无穷远处的整体趋势。本节将介绍一个刻画这种“远方”行…
- 29
不定积分的定义
约 13 分钟不定积分的定义 小象实战讲义 · 人工智能数学基础 在学习了如何求一个函数的导数后，我们自然会思考其逆问题：给定一个导函数，能否找到原来的函数？本节将正式引入不定积分的概念，它正是微分的逆运算。掌握不…
- 30
第一换元法
约 21 分钟第一换元法 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了不定积分的概念和基于基本积分公式的直接积分法。然而，面对更复杂的被积函数，直接套用公式往往行不通。本节将介绍不定积分计算中最核心、…
- 31
第二换元法
约 19 分钟不定积分的第二换元法 小象实战讲义 · 人工智能数学基础 上一节我们学习了第一换元法（凑微分法），其核心在于“凑”出一个中间变量。本节课我们将学习另一种强有力的积分工具——第二换元法。它通过引入一个全…
- 32
分部积分法
约 16 分钟分部积分法 小象实战讲义 · 人工智能数学基础 在求解不定积分时，我们常常会遇到两个函数乘积的形式，例如 x e x x e^x x e x 、 x ln x x \ln x x ln x 等。直…
- 33
有理式积分
约 23 分钟有理式积分 小象实战讲义 · 人工智能数学基础 在学习了基本积分方法后，我们面临一个核心问题：哪些函数是“可积”的？即，其原函数能否用初等函数表示？本节将系统探讨一类重要的可积函数——有理函数。我们将…
- 34
三角替换
约 22 分钟三角替换 小象实战讲义 · 人工智能数学基础 在求解不定积分时，我们常常会遇到被积函数包含三角函数的情形。面对这类问题，直接积分往往困难重重。本节将系统介绍处理三角函数积分问题的核心策略——三角替换，…
- 35
定积分的概念
约 22 分钟定积分的概念 小象实战讲义 · 人工智能数学基础 在学习了导数和微分之后，我们掌握了如何分析函数在某一点处的瞬时变化率。然而，在科学和工程领域，我们常常需要处理“累积”或“总量”的问题，例如计算曲线下…
- 36
定积分的性质与积分中值定理
约 16 分钟定积分的性质与积分中值定理 小象实战讲义 · 人工智能数学基础 定积分是连接微分学与积分学的桥梁，它不仅能精确计算曲线下的面积，更是描述累积效应的核心工具。本节我们将系统学习定积分的一系列基本性质，这…
- 37
变上限定积分
约 11 分钟变上限定积分 小象实战讲义 · 人工智能数学基础 定积分的结果通常是一个确定的数值。但如果我们让积分的上限“动起来”，会发生什么？本节将引入一个强大的工具——变上限定积分。它不仅将定积分与函数联系起来…
- 38
微积分基本定理之“高斯教你如何优雅地装逼”
约 24 分钟微积分基本定理（牛顿-莱布尼茨公式） 小象实战讲义 · 人工智能数学基础 在掌握了定积分的定义与性质后，我们面临一个核心问题：如何高效地计算定积分？难道每次都要回到极限定义，用黎曼和去逼近吗？本节将揭…
- 39
定积分的换元法
约 17 分钟定积分的分部积分法与换元法 小象实战讲义 · 人工智能数学基础 在掌握了定积分的定义与基本性质后，我们面临的核心问题是如何高效、准确地计算定积分的值。本节将介绍两个强大的计算工具——分部积分法与换元法…
- 40
奇偶函数与周期函数的定积分
约 15 分钟奇偶函数与周期函数的定积分 小象实战讲义 · 人工智能数学基础 在求解定积分时，直接套用牛顿-莱布尼兹公式有时计算繁琐。许多函数本身具有对称性或周期性，利用这些性质可以极大地简化计算过程。本节将学习如…
- 41
曲线求长与不可求长曲线（海岸线居然算不出长度？）
约 28 分钟曲线求长与不可求长曲线 小象实战讲义 · 人工智能数学基础 定积分不仅是计算面积和体积的利器，它还能帮助我们解决一个直观而深刻的问题：如何精确度量一条曲线的长度？本节将系统学习光滑曲线弧长的计算公式，…
- 42
旋转体体积
约 15 分钟旋转体体积 小象实战讲义 · 人工智能数学基础 在掌握了定积分计算平面图形面积之后，我们将其思想推广到三维空间，学习如何计算旋转体的体积。旋转体是几何与工程中常见的形体，例如花瓶、车轮、容器等。本节将…
- 43
旋转体侧面积
约 9 分钟旋转体侧面积 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了如何计算旋转体的体积。然而，在工程与设计的许多场景中，例如计算一个花瓶表面需要多少釉料，或者一个机械零件需要多少涂层，我们不仅需…
- 44
极坐标下图形的面积（数学系常用表白曲线）
约 19 分钟极坐标下图形的面积（数学系常用表白曲线） 小象实战讲义 · 人工智能数学基础 在学习了直角坐标系下用定积分求面积后，本节我们将目光投向另一种强大的坐标系——极坐标系。许多在直角坐标系下表达复杂的曲线（…
- 45
欧式空间
约 19 分钟欧式空间 小象实战讲义 · 人工智能数学基础 在从一元微积分迈向多元微积分时，我们首先需要一个能够描述多维自变量的“舞台”。本节将系统构建这个舞台——欧式空间。我们将学习如何用集合 R n \math…
- 46
点列极限，开集与闭集
约 38 分钟点列极限，开集与闭集 小象实战讲义 · 人工智能数学基础 在上一节，我们定义了高维空间中的“邻域”，这为我们研究多元函数奠定了基础。本节我们将以此为核心工具，正式进入多元微分学的世界。首先，我们将把熟…
- 47
多元函数的定义
约 13 分钟多元函数的定义 小象实战讲义 · 人工智能数学基础 在人工智能领域，我们处理的输入数据往往是高维的，例如一张图片的像素矩阵、一个用户的特征向量或一个物理系统的状态参数。理解多元函数与映射，是将微积分工…
- 48
多元函数的极限
约 35 分钟多元函数的极限 小象实战讲义 · 人工智能数学基础 在定义了多元函数、距离和邻域等基本概念之后，我们终于可以探讨多元函数极限这一核心概念。本节将严格定义多元函数的极限，并深入分析其与一元函数极限的异同…
- 49
多元连续函数
约 21 分钟多元连续函数与闭区域 小象实战讲义 · 人工智能数学基础 在学习了多元函数的极限之后，我们自然要探讨其连续性。本节将严格定义多元函数（包括向量值函数）的连续性，并引入高维空间中“区间”的推广概念——区…
- 50
一阶偏导数
约 27 分钟偏导数与向量函数求导 小象实战讲义 · 人工智能数学基础 在人工智能领域，我们处理的函数往往依赖于多个变量。例如，神经网络的损失函数依赖于成千上万个权重参数。为了优化这些参数，我们需要知道当只改变其中…
- 51
高阶偏导数
约 22 分钟高阶偏导数 小象实战讲义 · 人工智能数学基础 在上一节，我们掌握了多元函数关于单个变量的变化率——偏导数。然而，要深入理解多元函数的局部形态，例如判断其极值点或进行二阶近似，仅有一阶信息是不够的。本…
- 52
全微分
约 12 分钟全微分 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了如何从多个方向考察二元函数的变化率，即偏导数。然而，偏导数只描述了沿坐标轴方向的局部变化。本节我们将引入一个更强大的工具——全微分，它…
- 53
方向导数与梯度
约 37 分钟方向导数与梯度 小象实战讲义 · 人工智能数学基础 在多元函数微积分中，我们学习了偏导数，它刻画了函数沿坐标轴方向的变化率。但在实际问题中，例如优化算法寻找函数最快下降方向，我们往往需要知道函数在任意…
- 54
链式法则
约 19 分钟链式法则 小象实战讲义 · 人工智能数学基础 在多元函数微积分中，链式法则是连接不同变量间导数关系的核心桥梁。本节我们将从一元链式法则出发，逐步推广到多元乃至向量函数的情形，揭示其“并联路径求和”的直…
- 55
一阶全微分形式的不变性与高阶微分
约 14 分钟一阶全微分形式的不变性与高阶微分 小象实战讲义 · 人工智能数学基础 在多元函数的微分学中，复合函数的求导（链式法则）是核心工具。本节将探讨链式法则在微分形式上的一个优美体现——一阶全微分形式的不变性…
- 56
多元函数的泰勒公式
约 33 分钟多元函数的泰勒公式 小象实战讲义 · 人工智能数学基础 在上一节，我们学习了多元函数的微分与梯度，它们描述了函数在一点附近的局部线性近似。然而，许多复杂的非线性现象仅用线性模型难以精确刻画。本节我们将…
- 57
隐函数存在定理与逆映射存在定理
约 36 分钟隐函数存在定理与逆映射存在定理 小象实战讲义 · 人工智能数学基础 在多元微分学中，我们常常遇到由方程或方程组确定的函数关系，而非显式给出的函数。本节将系统介绍隐函数存在定理，它为我们判断这种隐含的函…
- 58
多元函数的极值
约 11 分钟多元函数的极值 小象实战讲义 · 人工智能数学基础 在人工智能的许多核心算法中，如神经网络的梯度下降训练、支持向量机的优化问题，其本质都是在寻找某个多元函数（如损失函数、目标函数）的“最优”值点——即…
- 59
矩阵基础知识
约 18 分钟矩阵基础知识 小象实战讲义 · 人工智能数学基础 线性代数是人工智能领域的核心数学语言，而矩阵则是这门语言的“字母”。本节将系统介绍矩阵的基本定义、表示方法、特殊类型以及核心运算，为后续学习矩阵的乘法…
- 60
行列式的定义与特殊矩阵的行列式
约 29 分钟行列式的定义与特殊矩阵的行列式 小象实战讲义 · 人工智能数学基础 行列式是线性代数中一个核心且独特的运算，它仅对方阵有定义，其结果是一个数。本节将从二阶行列式的直观定义出发，通过拉普拉斯展开式递归地…
- 61
行列式的性质
约 47 分钟行列式的性质 小象实战讲义 · 人工智能数学基础 行列式是线性代数中一个核心且强大的工具，它不仅是判断矩阵可逆性的标尺，更在求解线性方程组、计算特征值、理解线性变换的伸缩率等方面扮演着关键角色。本节我…
- 62
行列式按k行展开
约 20 分钟行列式按k行展开 小象实战讲义 · 人工智能数学基础 行列式是线性代数中刻画方阵性质的核心工具。我们已经掌握了按一行（或一列）展开计算行列式的递归方法。本节将这一强大工具进行推广，学习按k行（或k列）…
- 63
线性方程组初步与高斯消元法
约 36 分钟线性方程组初步与高斯消元法 小象实战讲义 · 人工智能数学基础 线性方程组是连接线性代数理论与实际计算的桥梁，也是理解机器学习中优化问题、线性回归模型等核心算法的基础。本节我们将从最熟悉的“消元法”出…
- 64
齐次线性方程组与Cramer法则
约 13 分钟齐次线性方程组与Cramer法则 小象实战讲义 · 人工智能数学基础 在学习了线性方程组的一般解法（高斯消元法）后，我们常常会遇到一类特殊的方程组——常数项全为零的齐次线性方程组。它在人工智能的诸多领…
- 65
线性空间
约 15 分钟线性空间 小象实战讲义 · 人工智能数学基础 在上一节学习了线性方程组有解的判定条件后，本节我们将引入一个更基础、更抽象的概念——线性空间（或称向量空间）。这是线性代数的核心结构，它将我们从具体的数字…
- 66
线性相关与线性无关
约 35 分钟线性相关与线性无关 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了“线性表出”的概念，它为我们判断线性方程组是否有解提供了新的视角。本节我们将深入探讨向量组内部结构的关键概念——线性相关与…
- 67
向量组的秩
约 30 分钟向量组的秩 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了向量组的线性相关与线性无关，这帮助我们判断一个向量集合中是否存在“多余”的向量。本节我们将在此基础上，引入一个更深刻、更定量的概念…
- 68
矩阵的秩与线性方程组有解的充要条件
约 37 分钟矩阵的秩与线性方程组有解的充要条件 小象实战讲义 · 人工智能数学基础 本节我们将深入探讨矩阵秩的核心理论及其在线性方程组求解中的决定性作用。矩阵的秩是线性代数中衡量矩阵“信息含量”或“有效维度”的关…
- 69
齐次线性方程组的解集结构
约 21 分钟齐次线性方程组的解集结构 小象实战讲义 · 人工智能数学基础 在求解线性方程组时，我们不仅关心解是否存在，更希望清晰地描述所有解构成的集合。对于齐次线性方程组 A x = 0 A\mathbf{x} …
- 70
非齐次线性方程组解集结构
约 10 分钟非齐次线性方程组解集结构 小象实战讲义 · 人工智能数学基础 在上一节中，我们深入探讨了齐次线性方程组 A x = 0 A\mathbf{x} = \mathbf{0} A x = 0 的解空间结构，…
- 71
基与维数
约 35 分钟基与维数 小象实战讲义 · 人工智能数学基础 在上一节，我们通过“秩”的概念，深入剖析了线性方程组解的结构，并引入了“基础解系”这一工具来描述解空间。本节，我们将为“基础解系”这一特殊概念赋予更一般的…
- 72
矩阵的乘法
约 43 分钟矩阵的乘法 小象实战讲义 · 人工智能数学基础 在上一节学习了矩阵的加法和数乘后，我们掌握了矩阵线性运算的基础。然而，在人工智能领域，尤其是处理多层神经网络、主成分分析（PCA）等任务时，矩阵之间更核…
- 73
特殊矩阵
约 22 分钟特殊矩阵 小象实战讲义 · 人工智能数学基础 在矩阵运算中，某些具有特定结构的矩阵扮演着极其重要的角色。它们不仅是理论推导中的关键工具，更在算法实现中带来显著的效率提升。本节将系统介绍几种核心的特殊矩…
- 74
矩阵乘积的秩与行列式
约 17 分钟矩阵乘积的秩与行列式 小象实战讲义 · 人工智能数学基础 在人工智能的算法实现中，我们经常需要对多个矩阵进行复合运算，例如在神经网络的前向传播、主成分分析（PCA）的协方差矩阵计算中。这些复合运算结果…
- 75
矩阵的逆
约 38 分钟可逆矩阵 小象实战讲义 · 人工智能数学基础 在矩阵运算中，我们经常需要求解矩阵方程 A X = B AX = B A X = B 。当 A A A 是方阵时，一个自然的想法是能否“除以”矩阵 A A…
- 76
正交矩阵
约 36 分钟正交矩阵 小象实战讲义 · 人工智能数学基础 在人工智能的诸多算法中，例如主成分分析（PCA）和奇异值分解（SVD），我们常常需要处理一组“完美”的基向量：它们不仅线性无关，而且两两垂直且长度为1。这…
- 77
矩阵对角化与特征值特征向量
约 42 分钟矩阵对角化与特征值特征向量 小象实战讲义 · 人工智能数学基础 在矩阵理论中，寻找一个矩阵的“最简形式”是核心目标之一。本节我们将学习一种重要的等价关系——矩阵相似，并探讨如何将一个矩阵通过相似变换化…
- 78
实对称矩阵对角化
约 19 分钟实对称矩阵对角化 小象实战讲义 · 人工智能数学基础 在人工智能领域，尤其是主成分分析（PCA）、谱聚类等算法中，我们常常需要处理实对称矩阵。这类矩阵拥有极其优良的数学性质，其核心之一便是“一定可以正…
- 79
二次型与正定矩阵
约 34 分钟二次型与正定矩阵 小象实战讲义 · 人工智能数学基础 在多元函数极值分析中，我们曾提到海塞矩阵的正定性决定了函数的凹凸性。本节将系统学习这一关键概念背后的数学理论--二次型与正定矩阵。我们将从多元二次…
- 80
LU分解
约 20 分钟LU分解 小象实战讲义 · 人工智能数学基础 在线性代数的计算中，求解线性方程组是最核心的任务之一。高斯消元法是大家熟知的方法，但其计算过程缺乏“可复用性”。本节介绍的LU分解，本质上是将高斯消元法的…
- 81
Cholesky分解
约 18 分钟Cholesky 分解 小象实战讲义 · 人工智能数学基础 在求解线性方程组、矩阵求逆等核心线性代数运算中，算法的效率至关重要。当矩阵具有特殊的“正定性”时，我们可以利用其优良的数学性质，采用一种比通…
- 82
SVD分解
约 31 分钟SVD分解 小象实战讲义 · 人工智能数学基础 在机器学习和数据分析中，我们常常需要处理高维、大规模的矩阵数据。如何有效地压缩数据、去除噪声或提取核心特征，是实际应用中的关键问题。奇异值分解（Sing…
- 83
线搜索
约 21 分钟无约束优化与线搜索方法 小象实战讲义 · 人工智能数学基础 在人工智能与机器学习的核心算法中，无论是训练神经网络还是拟合模型参数，最终都归结为一个寻找函数最优解的问题。本节我们将正式进入最优化领域，从…
- 84
步长
约 25 分钟线搜索方法：精确与非精确 小象实战讲义 · 人工智能数学基础 在上一节确定了下降方向后，如何确定沿该方向前进的“步长”成为关键。本节将深入探讨“线搜索”这一核心优化技术，从理论上完美的“精确线搜索”到…
- 85
最速下降法和牛顿法
约 21 分钟最速下降法与牛顿法 小象实战讲义 · 人工智能数学基础 在求解无约束优化问题的道路上，我们已掌握了线搜索的基本框架。本节将介绍两种经典的线搜索算法：最速下降法与牛顿法。最速下降法以其思想朴素、实现简单…
- 86
共轭梯度法
约 26 分钟共轭梯度法 小象实战讲义 · 人工智能数学基础 在求解大规模线性方程组和优化问题时，传统的高斯消元或矩阵分解方法因立方级的计算复杂度而变得低效。本节介绍的共轭梯度法，作为一种迭代算法，为解决这类问题提…
- 87
拟牛顿法
约 15 分钟拟牛顿法 小象实战讲义 · 人工智能数学基础 在上一节中，我们学习了牛顿法这一强大的二阶优化算法，它利用目标函数的二阶信息（Hessian矩阵）实现了快速的收敛速度。然而，牛顿法在实际应用中面临两大挑…
- 88
无约束优化
约 27 分钟约束最优化：KKT条件与对偶问题 小象实战讲义 · 人工智能数学基础 在机器学习的模型训练中，我们常常需要在满足特定条件（如模型参数范围、数据分布假设）下寻找最优解，这就是约束最优化问题。本节将介绍处…
- 89
若干知识点补充（一）
约 39 分钟距离、范数、矩阵求导与广义逆 小象实战讲义 · 人工智能数学基础 在优化理论中，我们即将从无约束优化迈入有约束优化的领域。为了后续学习的顺利进行，本节将补充四个关键的数学工具：距离与范数、矩阵求导以及…
- 90
若干知识点补充（二）
约 23 分钟共轭函数、凸集与凸函数 小象实战讲义 · 人工智能数学基础 在优化理论与机器学习中，我们经常需要处理复杂的函数和集合。为了更有效地分析和求解最优化问题，数学家们引入了一些结构良好的数学对象。本节将介绍…
- 91
凸优化问题
约 23 分钟凸优化问题 小象实战讲义 · 人工智能数学基础 在人工智能模型的训练与求解过程中，优化问题无处不在。然而，并非所有优化问题都易于求解，其关键分水岭在于问题的"凸性"。本节将系统介绍凸优化问题的标准形式…
- 92
对偶问题（一）
约 39 分钟对偶问题（一）：从拉格朗日函数到对偶问题 小象实战讲义 · 人工智能数学基础 在优化理论中，我们常常面对带有约束的复杂优化问题。直接求解这些问题可能非常困难，尤其是在约束条件众多或问题非凸时。本节将引…
- 93
对偶问题（二）
约 32 分钟对偶问题与最优性条件 小象实战讲义 · 人工智能数学基础 在上一节中，我们建立了原优化问题与对偶问题之间的联系，并引入了强对偶性的概念。强对偶性告诉我们，在某些条件下，原问题的最优值和对偶问题的最优值…