机器学习的数学基础-（三、概率论和数理统计）
概率论和数理统计
随机事件和概率
1.事件的关系与运算
(1) 子事件： 
(2) 相等事件： 
(3) 和事件： 
(4) 差事件： 
(5) 积事件： 
(6) 互斥事件（互不相容）： 
(7) 互逆事件（对立事件）：
2.运算律
(1) 交换律： 
(2) 结合律： 
(3) 分配律：
3.德 
4.完全事件组
5.概率的基本公式
(1)条件概率:
(2)全概率公式：
(3) Bayes公式：
注：上述公式中事件 
(4)乘法公式：
6.事件的独立性
(1) 
(2) 
(3)
7.独立重复试验
将某试验独立重复 
8.重要公式与结论
(1)
(2)
(3)
(4) 
(5)条件概率 
(6)若 
(7)互斥、互逆与独立性之间的关系： 
(8)若 
随机变量及其概率分布
1.随机变量及概率分布
取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律
2.分布函数的概念与性质
定义：
性质：
(1)
(2) 
(3) 右连续
(4)
3.离散型随机变量的概率分布
4.连续型随机变量的概率密度
概率密度 
(1)
(2)
(3) 
5.常见分布
(1) 0-1分布:
(2) 二项分布: 
(3) Poisson分布: 
(4) 均匀分布 
(5) 正态分布: 
(6)指数分布:
(7)几何分布:
(8)超几何分布:
6.随机变量函数的概率分布
(1)离散型：
则:
(2)连续型：
则: 
7.重要公式与结论
(1) 
(2)
(3)
(4)
(5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。
(6) 存在既非离散也非连续型随机变量。
多维随机变量及其分布
1.二维随机变量及其联合分布
由两个随机变量构成的随机向量 
2.二维离散型随机变量的分布
(1) 联合概率分布律
(2) 边缘分布律
(3) 条件分布律 
3. 二维连续性随机变量的密度
(1) 联合概率密度 
1)
2)
(2) 分布函数：
(3) 边缘概率密度： 
(4) 条件概率密度： 
4.常见二维随机变量的联合分布
(1) 二维均匀分布： 
(2) 二维正态分布： 
5.随机变量的独立性和相关性
相关系数 
否则称
6.两个随机变量简单函数的概率分布
离散型： 
连续型： 
则：
7.重要公式与结论
(1) 边缘密度公式： 
(2)
(3) 若 
则有：
1)
2) 
3)
4) 
5) 
(4) 若 
则：
(5) 若 
随机变量的数字特征
1.数学期望
离散型： 
连续型：
性质：
(1)
(2)
(3) 若
(4)
2.方差：
3.标准差： 
4.离散型：
5.连续型：
性质：
(1)
(2)
(3)
(4) 一般有
(5)
(6)
6.随机变量函数的数学期望
(1) 对于函数
(2) 
7.协方差
8.相关系数
性质：
(1)
(2)
(3)
(4)
(5) 
，其中
9.重要公式与结论
(1)
(2)
(3) 
(4) 下面5个条件互为充要条件：
注：
数理统计的基本概念
1.基本概念
总体：研究对象的全体，它是一个随机变量，用
个体：组成总体的每个基本元素。
简单随机样本：来自总体 
统计量：设 
样本均值：
样本方差：
样本矩：样本
样本
2.分布
分位数：若 
3.正态总体的常用样本分布
(1) 设
1) 
2)
3)
4)
4.重要公式与结论
(1) 对于 
(2) 对于 
(3) 对于 
(4) 对于任意总体
