ica独立成分分析是近年来出现的一种强有力的数据分析工具（hyvarinen a, karhunen j, oja e, 2001; roberts s j, everson r, 2001）。1994年由comon给出了ica的一个较为严格的数学定义，其思想最早是由heranlt和jutten于1986年提出来的。
ica从出现到现在虽然时间不长，然而无论从理论上还是应用上，它正受到越来越多的关注，成为国内外研究的一个热点。
ica独立成分分析是一种用来从多变量（多维）统计数据里找到隐含的因素或成分的方法，被认为是pca主成分分析(请参见人工智能（46）)和fa因子分析的一种扩展。对于盲源分离问题，ica是指在只知道混合信号，而不知道源信号、噪声以及混合机制的情况下，分离或近似地分离出源信号的一种分析过程。
ica（independentcomponent analysis） 独立成分分析是一门统计技术，用于发现存在于随机变量下的隐性因素。ica为给观测数据定义了一个生成模型。在这个模型中，其认为数据变量是由隐性变量，经一个混合系统线性混合而成，这个混合系统未知。并且假设潜在因素属于非高斯分布、并且相互独立，称之为可观测数据的独立成分。
ica与pca相关，但它在发现潜在因素方面效果良好。它可以应用在数字图像、档文数据库、经济指标、心里测量等。
ica是找出构成信号的相互独立部分(不需要正交)，对应高阶统计量分析。ica理论认为用来观测的混合数据阵x是由独立元s经过a线性加权获得。ica理论的目标就是通过x求得一个分离矩阵w，使得w作用在x上所获得的信号y是独立源s的最优逼近，该关系可以通过下式表示：
y = wx = was ， a = inv(w)
ica相比与pca更能刻画变量的随机统计特性，且能抑制高斯噪声。
从线性代数的角度去理解，pca和ica都是要找到一组基，这组基张成一个特征空间，数据的处理就都需要映射到新空间中去。
ica理论基础如下：
1）标准正交基
2）白化
3）梯度下降
ica的目标函数如下：
样本数据 x 经过参数矩阵 w 线性变换后的结果的l1范数，实际上也就是描述样本数据的特征。
加入标准正交性约束（orthonormality constraint）后，ica独立成分分析相当于求解如下优化问题：
这就是标准正交ica的目标函数。与深度学习中的通常情况一样，这个问题没有简单的解析解，因此需要使用梯度下降来求解，而由于标准正交性约束，又需要每次梯度下降迭代之后，将新的基映射回正交基空间中，以此保证正交性约束。
针对ica的目标函数和约束条件，可以使用梯度下降法，并在梯度下降的每一步中增加投影（projection ）步骤，以满足标准正交约束。过程如下：
已知信号为s，经混和矩阵变换后的信号为：x=as。对交叠信号x，求解混矩阵b，使y=wx各分量尽量相互独立。求解w的过程并不一定是近似a的逆矩阵，y也不是信号s的近似，而是为了使y分量之间相互独立。目的是从仅有的观测数据x出发寻找一个解混合矩阵。
常见的方法：infomax方法（用神经网络使信息最大化），fastica方法（固定点算法，寻求x分量在w上投影（w^t）*x）的非高斯最大化。
主要算法流程如下：
1、预处理部分：1）对x零均值处理
2）球化分解（白化）
乘球化矩阵s，使z=sx各行正交归一，即zz’=i
2、核心算法部分： 寻求解混矩阵u，使y=uz，y各道数据尽可能独立（独立判据函数g）。
1)、由于y独立，各行必正交。且通常取u保持y各行方差为1，故u是正交变换。
2)、所有算法预处理部分相同，以后都设输入的为球化数据z，寻找正交矩阵u，使y=uz独立。
由于独立判据函数g的不同，以及步骤不同，有不同的独立分量分析法。
3、fast ica算法思路：
思路：属于探查性投影追踪
目的：输入球化数据z，经过正交阵u处理，输出y=uz
1）输入球化数据z，经过正交阵某一行向量ui处理（投影），提取出某一独立分量yi。
2）将此分量除去，按次序依次提取下去，得到所有的yi ，以及ui。
3）得到独立的基向量u
u＝wx
fast ica算法程序如下：
function [out1, out2, out3] =fastica(mixedsig, varargin)
�stica(mixedsig) estimates theindependent components from given
% multidimensional signals. each row ofmatrix mixedsig is one
% observed signal.
% = fastica (mixedsig); the rows oficasig contain the
% estimated independent components.
% = fastica (mixedsig); outputs the estimatedseparating
% matrix w and the corresponding mixingmatrix a.
mixedsig为输入向量，icasig为求解的基向量。
a即为混合矩阵，可以验证mixedsig=a×icasig。
w即为解混矩阵，可以验证icasig=w×mixedsig。
1）收敛速度快。
2）并行和分布计算，要求内存小，易于使用。
3）能通过使用一个非线性函数g便能直接找出任何非高斯分布的独立分量。
4）能够通过选择一个适当的非线性函数g而使其达到最佳化。特别是能得到最小方差的算法。
5）仅需要估计几个（不是全部）独立分量，能极大地减小计算量。
1) 特征矩阵w的特征数量（即基向量数量）大于原始数据维度会产生优化方面的困难，并导致训练时间过长；
2) ica模型的目标函数是一个l1范数，在 0 点处不可微，影响了梯度方法的应用。
注：尽管可以通过其他非梯度下降方法避开缺点2），也可以通过使用近似值“平滑” l1 范数的方法来解决，即使用 ( x2 ε )1/2 代替 |x|，对l1范数进行平滑，其中 ε 是“平滑参数”（smoothing parameter）。
1） pca是将原始数据降维并提取出不相关的属性，而ica是将原始数据降维并提取出相互独立的属性。
2） pca目的是找到这样一组分量表示，使得重构误差最小，即最能代表原事物的特征。ica的目的是找到这样一组分量表示，使得每个分量最大化独立，能够发现一些隐藏因素。由此可见，ica的条件比pca更强些。
3） ica要求找到最大独立的方向，各个成分是独立的；pca要求找到最大方差的方向，各个成分是正交的。
4） ica认为观测信号是若干个统计独立的分量的线性组合，ica要做的是一个解混过程。而pca是一个信息提取的过程，将原始数据降维，现已成为ica将数据标准化的预处理步骤。
从应用角度看，ica应用领域与应用前景都是非常广阔的，目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。
ica是一种常用的数据分析方法，是盲信号分析领域的一个强有力方法，也是求非高斯分布数据隐含因子的方法。从样本-特征角度看，使用ica的前提条件是，认为样本数据由独立非高斯分布的隐含因子产生，隐含因子个数等于特征数，要求的是隐含因子。ica算法已经被广泛应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等领域。
『本文转载自网络,九游会j9的版权归原作者所有,如有侵权请联系删除』
app下载
热门文章