1.由函数到向量

首先函数是可以被看做向量的，例如定义在上的函数，如果取为间隔得到点，那么就可以把函数变为一个向量，如果趋向于0那么显然可以把该函数作为一个无穷维向量看待。同理当为向量时该结论也成立。

这样我们就可以定义函数内积

注意到这里跟向量内积相比多加了项，其原因在于对于向量来说，其维数是离散的，而对于函数来说是连续的，因此多加了来标准化。感觉也可以理解为在半径的邻域上函数,取值相同。

2.向量基到函数基

线性空间中所有向量都能由其基的线性组合表示，设维线性空间上的一组基为，则对任意向量都有，由，.

同理如果取得一组函数基，则对任意函数都有

.

下面介绍傅里叶例子。

引入一组基函数，定义域为，其中为整数，这组基构成一个函数空间，且任意定义在上的函数可以由其线性表示

.

易证基正交性

. 

注意到这里因为是复领域，函数内积定义有所变化。

基的大小

.

故

.

3.核函数

定义函数，若满足：

，为任意函数

则称其为核函数。

（条件2另一种表述为对应的Gram矩阵为半正定的。）

可以把核函数看成是一个二维无穷大矩阵，类比于矩阵的特征分解，可以找到一组特征值及其对应的特征函数，这些特征函数作为一组正交基可以构成一个函数空间。

设为一特征值，为其对应的特征方程，则有如下关系成立

对于任意特征值及其对应的特征函数有

故

.

其正交性得证.

与矩阵特征分解类似地有

.

这里注意下代表的是第几个基函数，应被看作函数转化的无穷向量，代表的是该函数在处的取值,

这叫做Mercer理论. 这无穷个正交的特征函数可以作为一组基构成一个函数空间.

4.再生核希尔伯特空间

上面介绍的一组基可以构成一个再生核希尔伯特空间，这个空间需要注意的是一个完备的定义了内积的线性空间，并且它的核具有再生性。下面主要介绍核的再生性。

以作为一组正交基构成一个希尔伯特空间。那么对空间中的任意函数都有

因此可以表示为向量.

由上面3中的式子有

右边在空间中可以照上面的表示一样表示为一个向量

.

因此有

.

这就是核的再生性。

5.它的作用

如果我们定义一种映射.

那么有.

由这个结果可以看出我们并不需要清楚地知道这个映射和特征空间的基，对于一个对称半正定函数，必定存在一种映射和特征空间使得如上式子成立，这也叫做kernel-trick.

对于分类问题来说非线性问题需要进行高维转换，优化过程中对偶表示产生了内积，这种情况下就可以运用此法.

6.补充

上面介绍的是由核函数推出相应的再生核希尔伯特空间.

实际上标准定义为

设有一集合及一希尔伯特空间，它的元素是上的函数. 我们称为再生核希尔伯特空间：若存在一函数满足:

.

且

.

上面推导并不严密，关于Merce理论方面还得再看看更具体的数学推导。

参考及推荐

[1]http://songcy.net/posts/story-of-basis-and-kernel-part-1/

[2]http://songcy.net/posts/story-of-basis-and-kernel-part-2/

[3]https://qddmj.cn/rkhs.htm

[4]https://zhuanlan.zhihu.com/p/63979860

[5]https://blog.csdn.net/ChangHengyi/article/details/80577318