目录
矩阵的秩低秩矩阵概念作用
稀疏矩阵稀疏编码
矩阵的秩
矩阵的秩 = 最大的线性无关的行（或列）向量的个数。对于图像而言，秩可以表示图像中包含信息的丰富程度、冗余程度、噪声。
秩越小：
基的个数少数据冗余性大图像信息不丰富图像噪声少
低秩矩阵
概念
当矩阵的秩较低时（r << n, m），就可以视其为低秩矩阵。低秩矩阵意味着，此矩阵中有较多的行（或列）是线性相关的，即：信息冗余较大。
作用
利用低秩矩阵的冗余信息，可以对缺失数据进行恢复，此问题叫做 “低秩矩阵重构” ，即：“假设恢复出来的矩阵是低秩的，利用已有的矩阵元素，恢复出矩阵中的缺失元素”，可以应用在图像修复、协同过滤等领域。在深度学习中，卷积核的参数过多，往往存在较大的冗余，即：卷积核参数是低秩的。此时，可以对卷积核进行低秩分解，将
k
×
k
k \times k
k×k的卷积核分解为一个
k
×
1
k \times 1
k×1和一个
1
×
k
1 \times k
1×k的核，这样可以降低参数量、提高计算速度、防止过拟合。
稀疏矩阵
稀疏矩阵和低秩矩阵一样，也代表矩阵中存在较多的冗余信息。但二者不同的是，矩阵越稀疏，表示其包含更多的零元素、更少的非零元素；矩阵越“低秩”，表示其有更多的线性相关的行（或列）。
低秩矩阵不一定稀疏，如：全一矩阵（全一矩阵的秩为1） 稀疏矩阵不一定低秩，如：单位矩阵（n阶单位矩阵的秩为n）
稀疏编码
为什么要稀疏编码？ 首先，存在一个假设（也是事实，算是先验知识）——自然界的信号组成是稀疏的。进行稀疏编码后，可以达到降维，提高计算效率的作用。