主要讲清楚4个傅里叶变换和它们之间的联系,让你明白为什么基于连续情况下设计的滤波公式,如何使用离散形式在计算机中实现,并且保证和连续的情形下是一致的,这部分我还举了例子,分别通过手动积分,对连续函数进行傅里叶变换,然后进行采样,并且断定采样的结果和离散傅里叶变换公式算出来的结果一定是一样的.
主要内容如下
其它思考
目前对勒贝格的积分的理解主要从几个方面来看:
- 1.首先在有限区间上,黎曼积分能求的那些函数的积分,勒贝格都能求,并且求出来数值一样的,黎曼积分不能求的,它还能求
- 2.第二点就是相关极限定理似乎对函数的性质要求不是很严,就是能把积分拆成一个个来求,然后函数列的积分的收敛也不需要一致收敛那种要求.背后的原因猜想应该是基于勒贝格这种测度定义的积分,区间拆解方式更加灵活,对于任何区间上积分求极限,在保证fn在这个区间上的性态一致后,才能交换求极限顺序,但是黎曼积分把形态不一致的部分死死绑定了,完全分割不开来,所以必须严格要求在区间上一致收敛,但是对于勒贝格积分,区间的划分方式非常灵活,哪个地方不满足,就可以直接把那个地方精准拆出来,即使是一个点也能拆出来,所以基于这种灵活的拆解,各部分的积分求解变得十分容易
- 3.第三点关于无穷区间上两中积分的计算,对于绝对可积,他俩可以互推,主要区别在条件收敛的黎曼积分,用黎曼能求,但是有的用勒贝格积分不能求,背后的原因在于划分方式(对比级数就是条件收敛级数,打乱顺序就能收敛到任意值,勒贝格就相当于打乱顺序求和)
- 4.然后对于有限区间上的傅里叶变换,使用勒贝格积分,建立的L2(a,b)里面包含的函数更多,能对更多的函数做傅里叶变换
- 5.对于无穷区间上的傅里叶变换,知道它不是通过建立Hilbert空间来建立理论的就行了,如果建立Hilbert空间,说实话,两个积分都办不到,三角波的基函数用这两个积分算范数,都发散,都不存在长度,所以问题就在这里,压根不是Hilbert空间上的变换
关于相关函数及其傅里叶变换:
- 1.相关函数定义的动机:是求向量模长,这里是求$x^2(t)$的模长,一旦涉及到求内积求模长,并且向量中包含基向量,以线性表示的形式给出,那么
计算公式化简后就会变成$e^T\Sigma e$的形式,中间是Grammer度量矩阵,也是PCA里面的协方差矩阵,这里就是自相关函数,形式也会由双线性函数的离散形式变成二重积分的连续形式
2.有了相关函数或Grammer度量矩阵后,内积计算或者能量计算就一目了然,相关函数的傅里叶变换对应的离散形式就是上面提到的$e^T\Sigma e$,在PCA中使用这个公式也能立刻计算出一根轴上的方差,求出所有轴上的方差,也就把方差(能量)分布求了出来
3.对于随机过程(多个轨道样本)或者多个样本,一般不是拿它们一个一个分析,而是去分析某个统计量,比如平均轨道函数,单独分析这一个函数,或者分析相关函数这一个轨道,对于相关函数这个统计量的研究,其目的就是计算能量分布,所以研究任何统计量,都必须首先明白其动机,搞清楚动机最直接的方式就是看后面拿这个统计量来做什么,在课本中给的顺序一般是先给出定义,再做一些无脑计算,背后的实质是反过来的,而是首先有个动机,想去计算一个东西,比如这些轨道的能量分布,然后通过计算,把计算过程中的某个东西提炼出来,这里就是协方差矩阵和相关函数,然后以后都是基于这个定义的东西进行快速计算,并且继续挖掘更深的结论.所以我们需要把反过来写的东西摸清楚,必须搞明白一个定义的动机,其关键就是这个定义是在计算什么过程中抽出来当成一个定义的
关于信息压缩编码表示
目前我所了解的无监督压缩变换分为两种，一个是基于单个向量模长或者能量的压缩，一个是基于总体数据方差或能量的压缩
基于单个向量的压缩比如傅里叶变换，就是空间中找到一组基向量，然后把向量投影到这组向量上去，相当于换个坐标系(频域)，然后根据黎曼勒贝格引理，可以只保留前面的坐标，后面的可以忽略不计，相当于三角形一条直角边特别长，和斜边差不多，另一条直角边特别短，可以忽略不计，模长就是能量。然后滤波就是去掉指定几个坐标分量。
基于整体数据的方差或者能量的压缩，比如PCA，把所有的点投影到待求向量上，求总体方差，化简得到$e\Sigma e^T = \sigma ^2$，然后求解最优化问题 $argmax_{e} \sigma^2$ ,就能知道协方差矩阵的特征向量能让这些数据投影过来方差最大，把特征向量组合在一起就是坐标变换矩阵。（也能证明尾巴可以丢掉，整体信息没丢多少）
对于相关函数，就是前面分析的多个离散样本变成连续的函数，每个函数或者说每个样本看成一个轨道，这时候也可以求这些函数投影到哪根轴上方差(能量，谱密度还是啥，忘了)，然后化简就能得到类似上面二次型一样的东西， 这个公式里面肯定出现了相关函数，然后求解最优化问题，得到特征向量恰好就是傅里叶变换选取的基向量，后面什么的记不清了，前面这里讲的细节不一定准确，但是要做什么事情实际上是非常相似的。
注意，上面的变换的细节就是一个个基向量的转置乘以x（内积）,就是变换后的坐标。这个被变换的样本x如果是行向量，变换矩阵在右边，xA，如果x是列向量，则变换矩阵在坐标Ax，注意程序实现的时候怎么相乘的
从方程解耦角度理解变换
不同问题需要从不同角度理解变换，这里还有一个角度，就是方程解耦角度
基于注意力机制
有时候可以把左边的矩阵看成注意力矩阵A，右边的矩阵V看成多行的样本，左边第一行乘以右边V，就以不同的注意力组合了V的每一行，得到了第一行的新编码表示。
基于结构力学
左边的矩阵每一行代表一个节点的(x,y,z)三个方向的运动，假设特征就这3个，然后邻接矩阵就是刚度矩阵K，
刚度矩阵K乘以每一列特征，就能得到位移后的特征。这种按特征不按样本进行变换分析的比较少见。