卷积补充知识
补充材料1：卷积与图像去噪
图像去噪与卷积
噪声图像
噪声的一般表达：这个点的像素比其他点的像素值都大，而且可能还大好多；
图像去噪
可以使用加权求和的方法达到去噪的目的。
边界填充
如果不考虑边界填充，那么卷出来至少少一圈；
填充的层数与模板的大小有关；
一般采取0填充；
除了0填充，还有拉伸填充(将四周边缘像素拉伸)和镜像填充；
卷积平移
原图
向左右平移
平均卷积核
平滑
锐化
原图-平滑=边缘图；
原图+边缘图=锐化；
高斯卷积核
平均卷积核存在的问题
卷积后的图像产生了一些水平和竖直方向的条状(振铃);
解决方法
根据邻域像素与中心的远近程度分配权重，即高斯卷积核；
高斯卷积核
高斯卷积核的性质就是使中心位置权重大边缘位置权重小；
高斯卷积核的作用：去除图像中的高频成分（因为高斯卷积核也是一个平均操作，把高的地方给磨皮，即去除高频成分，另外也可以理解让低频的像素通过，即又称低通滤波器）；
高斯卷积核是一个线性卷积核；
高斯卷积核各个位置的权值的求法：以中心位置为(0,0),把x，y代入求解，则(0,0)左边为(-1,0)代入求解，以此类推；
对权重值进行归一化处理：不做归一化会出现两个问题(若总和小于1，比如相加之和为0.1，在一个白色图像上，卷完就成25.5，对原图像进行了衰减；若大于1，那么像素值就有可能大于255)
高斯卷积核参数
根据高斯函数的计算公式，在(0,0)处方差越大，G(0,0)的值越小即权重越小，受周围像素的影响较大，即平滑能力强；同理方差越小，平滑能力越弱；
当相同方差时，G(0,0)处的值，大窗口进行归一化后值小，小窗口值大；
G(0,0)越大，平滑能力越强；
图像经过1,2两个卷积核卷积后，和图像经过1,2两个卷积核的标准差平方和再开方后的结果是相同的；可以推广到多个；
一个二维的高斯卷积核可以分解为两个一维的高斯卷积核。
图像噪声与中值滤波器
图像噪声
- 椒盐噪声: 黑色像素和白色像 素随机出现；
- 脉冲噪声: 白色像素随机出现；
- 高斯噪声: 噪声强度变化服从高斯分布（正态分布）
高斯去噪
高斯卷积核可以去除高斯噪声，并且噪声方差越大，卷积核也应越大；
椒盐噪声和脉冲噪声不能使用高斯卷积核达到去噪的效果；
中值滤波器
它是一个空的3 3或5 5…的模板套在数据集上，然后把所有像素值进行排序，找到中位数，用中位数去替换模板中间位置的数。
好处：它的值一定是图像上某一点的值；
补充材料2：卷积和边缘提取
边缘提取
边缘
图像中亮度明显而急剧变化的点；
为什么要研究边缘
- 编码图像中的语义和图像信息
- 想对于像素表示，边缘表示显得更加紧凑
边缘的种类
表面法向不连续：两个面交界的地方会形成边；
深度不连续：不是真实存在的，比如拍照时照不到形成的边；
表面颜色不连续：物品上的细节，例如字等；
光照不连续：阴影；
边缘检测
图像中亮度明显而急剧变化的地方称为边缘，从而可知边缘处相邻处像素相差较大，即一阶导数的绝对值较大；
图像求导
可以根据图像求导找出图像的边缘，边缘处的导数最大；
在计算图像求导时，ε=1，则经过化简可得，某一像素点处的导数等于它右边的像素减去它自己的像素；
并且可以通过卷积核实现对x,y的求导；
图像梯度
梯度指向灰度变化最快的方向；
信号方向与梯度方向垂直，所以通过梯度方向还可以知道信号大概的方向；
图像梯度通常由暗的地方指向亮的地方；
梯度的值越大，表明是边缘的可能性就越大；
高斯一阶偏导卷积核
噪声的影响
对于含有噪声的图像是不能直接求导求边缘的，需要先平滑，如果直接求导将很难判断边缘；
注：这的噪声一般都是指高斯噪声；
平滑去噪再求导
先用高斯卷积核去噪以后再对去噪后的图像进行求导；
高斯一阶偏导
高斯一阶偏导是先对高斯卷积核求偏导，因为卷积操作满足交换律和结合律；
对高斯卷积核求导后的结果称为高斯一阶偏导；
高斯一阶偏导卷积核
高斯一阶偏导卷积核只有一个参数，就是方差；
方差越小，获取的图像边缘越清晰；方差越大，获取的图像边缘越粗糙；
方差小关注细颗粒度，方差大关注粗颗粒度；
高斯核 VS 高斯一阶偏导核
高斯一阶偏导卷结合总和是0是可以证明的，它表名了在一个没有像素变化图像的图像上，梯度恒为0；
边缘目标检测
非极大值抑制
利用高斯偏导卷积核求出的图像可能会出现较粗的边，这是由于某处它附近的梯度值都很大的缘故，此时需要用到非极大值抑制；
p点的梯度强度需要与它正梯度方向和反梯度方向的点去进行比较，如果比这两个梯度都强保留，否则删去；
Canny边缘检测器
用一个高门限把高阈值留下来，然后这些低阈值就会产生很多边，把那些跟高阈值有连接的边留下来；
补充材料3：纹理表示
纹理
纹理可以区分不同物品，它表示了一些材质或则属性；
纹理分为规则纹理和随机纹理；
基于卷积核组的纹理表示方法
利用卷积核组提取图像中的纹理基；
利用基元的统计信息来 表示图像中的纹理；
卷积核组
卷积核组是有多个卷积核组成的，每个卷积核表示着不同的特征；
比如：第一个卷积核检测水平方向的边，最后一个卷积核检测圆形或斑状物体；
基于卷积核组的图像表示
把每个卷积核得到的特征响应图打平组合成一个向量；
ri的个数等于卷积核组中卷积核的个数；
纹理分类任务
忽略基元位置；
关注出现了哪种基元对应的纹理以及基元出现的频率；
基于卷积核组的图像表示
该方式采用的每个响应特征的均值，可以减少计算量；
小游戏
可见在纹理A中第四个颜色最白表明含有第四个卷积核的特征，即垂直的线条，因为为图像2；
卷积核组设计
设计重点：
- 卷积核类型（边缘、条形以及点状）
- 卷积核尺度（3-6个尺度）
- 卷积核方向（6个角度）
卷积核尺度，大尺度提取粗粒度的边，小尺度提取细粒度的边；
总结
- 设计卷积核组；
- 利用卷积核组对图像进行卷积操作获得对应的特征响应图组;
- 利用特征响应图的某种统计信息来表示图像中的纹理。
图像——>卷积核模板——>特征响应图——>ri特征向量的均值