深度学习500问:AI工程师面试宝典
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.6 期望、方差、协方差、相关系数

1.6.1 期望

在概率论和统计学中,数学期望(简称期望或均值)等于试验中每次可能结果的概率乘以其结果的总和,用E表示。它反映随机变量平均取值的大小。

• 线性运算:

• 推广形式:

• 函数期望:设fx)为x的函数,则fx)的期望为

• 离散函数:

• 连续函数:

关于期望,请注意以下几点。

(1)函数的期望大于等于期望的函数(Jensen不等式),即

(2)一般情况下,乘积的期望不等于期望的乘积。

(3)如果xy相互独立,则

1.6.2 方差

在概率论中,方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。方差是一种特殊的期望,用Var表示,离散型随机变量x的方差定义为:

也可表示为:

方差的性质如下:

• 常数的方差为0。

• 方差不满足线性性质。

• 如果xy相互独立,则

1.6.3 协方差

协方差是衡量两个变量线性相关性程度及变量尺度,用Cov表示,两个随机变量xy的协方差定义为:

方差是一种特殊的协方差。当x=y时,

协方差的性质如下。

(1)独立变量的协方差为0。

(2)协方差的计算公式为:

(3)特殊情况下,利用方差及协方差的性质可证得:

1.6.4 相关系数

相关系数是研究变量之间线性相关程度的量,用Corr表示。两个随机变量xy的相关系数定义为:

相关系数的性质如下。

(1)有界性。相关系数的取值范围是[-1,1],可以看成无量纲的协方差。

(2)相关系数的值越接近1,说明两个变量正相关性(线性)越强;越接近-1,说明负相关性越强;当值为0时,表示两个变量没有相关性。