在我很多期博客中，如、、，都有涉及到图像梯度的概念，因为梯度确实是一种具有高信息熵且易于提取的信息，在图像处理、计算机视觉、机器视觉领域研究中应用广泛，我在很多完全不同的图像研究方向的文献中见到过图像梯度的身影。可以说，绝大多数图像相关的研究都可以利用图像的梯度去实现特定效果的优化，只是一些情况下该优化的作用很小。但是，这并不影响图像梯度的价值。而图像边缘、图像几何特征更是当前计算机视觉、模式识别研究的重点关注对象，图像边缘信息对行人检测、人脸识别等人工智能主流研究方向有着不可替代的作用。

• 图像几何检测原理及其实现

       "图像梯度是指图像强度或颜色的方向变化。图像梯度是图像处理的基础框架之一。例如，Canny边缘检测器使用图像梯度进行边缘检测。在用于数字图像编辑的图形软件中，梯度或颜色梯度一词也用于表示颜色的逐渐混合，可以认为是从低到高值的均匀渐变，如下图中从白色到黑色所使用的渐变。数学上，一个双变量函数(这里是图像强度函数)在每个图像点处的梯度是一个二维向量，其分量由水平和垂直方向上的导数给出。在每个图像点上，梯度向量指向可能最大强度增加的方向，梯度向量的长度对应于该方向的变化率。"

       上述内容非常严谨地定义了图像和视觉中的图像梯度，但是仍然需要指出，蓝字部分的内容存在一些难以理解的部分，如颜色的逐渐混合，其实这里指的是Photoshop（或其他的图形编辑软件）中渐变的效果，当然，这些渐变也属于梯度。

       维基百科用了较通俗的语言去描述图像梯度，相比之下，百度百科对图像梯度的解释就显得更专业，更容易理解，如下：

其中，为灰度图像在第行第个像素上的像素值。

       我更喜欢百度百科更接近本质的解释，简单来说，图像梯度就是图像在不同方向上的变化趋势，可以将图像视为只存在水平和垂直两方向存在梯度变化，进行临近像素的梯度提取。当然，这么做会存在一定的问题，那就是这样求解得到的梯度信息对噪声敏感，即对噪声鲁棒性差。

       说起图像梯度，其实我们得好好谈一谈图像边缘，从许多曾经的视觉研究实验中，我们可以发现，边缘是很特殊的一种信息，因为人眼识别物体，靠的正是边缘，而非颜色、纹理。在绘画中我们可以通过线条去绘制任何一样物体，但若该手绘物体缺失了部分边缘，我们就难以识别。但相反的，我们对缺失了纹理、色彩的物体，却依然具备强大的辨别能力。

       Walther等人在2011年进行了这样一个视觉研究，让视觉受试者观看海滩、城市街道、森林、高速公路、山脉和办公室的照片和线条图时收集功能磁共振成像数据。尽管在场景统计数据上有明显的差异，但研究者们还是能够通过PPA(the parahippocampal place area,海马旁区和RSC(the ret-rosplenial cortex,脾叶皮层)解码初级视觉皮层中线条图的fMRI(Functional magnetic resonance imaging,功能磁共振成像)数据和彩色照片的活动数据的场景类别。更值得注意的是，在PPA和RSC中，从线条图识别的错误模式与从彩色照片识别的错误模式非常相似。这些数据表明，在这些区域，用于区分场景类别的信息对于线条图和照片来说是相似的。

       而我们在谈论图像梯度的时候，很多情况下关注的是图像边缘。因此，图像的边缘检测的目的，即为确定图像突变(不连续)的地方

• 显然，图像内高信息熵信息隐藏在边缘信息当中
• 边缘传递的信息多余像素点本身

       已经介绍完梯度与边缘，我们现在就先来看看梯度的计算方式。在先前度娘百科(百度百科)对于图像梯度已经有了一个数理上的定义，当然，对于图像梯度的表示和计算方式有很多，对于一幅给定的数字图像，我们将其视作二维离散函数，那么常见的梯度表征和计算方式有：

       而在实际编程运算时，我们通常采用算子通过卷积获得一幅图像的梯度信息，如果不明白何为图像中的卷积运算，可以看看下图。

       实际上，上图中的原图像大小为（左侧），而卷积核为（中间），因此得到的卷积结果是的（右侧）。原图像大小为(m为奇数)的图像，经过(k为奇数)的卷积核卷积后，得到的卷积结果图像大小为。

       不难发现，在梯度图像中，值越高的部分，越接近人眼视觉所观察到的边缘。因此，我们可以用梯度更直接的解释边缘：边缘是图像能量急剧变化的地方，是图像梯度高的地方。

       但这也存在一个问题，图像的梯度是对邻域像素值变化敏感的，而图像内的噪声则会导致部分非边缘区域同样具有较高的梯度，这会导致边缘检测的噪声鲁棒性差。

       为了提高噪声鲁棒性，Canny在1986年提出了一种边缘检测算法，该算法是边缘检测中最经典，最具影响力的方法，至今还有非常广泛的应用，是计算机视觉领域的基础框架组成之一，论文被引超20000余次。

       对于噪声抑制和梯度及梯度方向的计算，Canny边缘检测算法并没有进行创新，只是做了单纯的高斯核卷积平滑，以此进行噪声抑制，并通过差分运算得到梯度及梯度方向。Canny边缘检测突破性的创新是集中在后三步上的。

       非极大值抑制的思想在于：当图像的梯度到达局部(特定大小的邻域)最大值的时候，我们认为它是边缘；对于非极大值的点，即使它超过了我们所定义的“边缘梯度阈值”，仍不认为它是边缘。并且，预定义了八个可能的方向（左上、上、右上、右、右下、下、左下、左），对于该方向上的梯度值，将非极大值归零。

       具体操作：1.筛选幅值大于阈值的像素点，设为待验证点；2.遍历待验证点，若为局部最大值，保留，反之去归零；3.保留下来的点就是非极大值抑制后的边缘点。

       显而易见，采用单一阈值会有两种问题随之产生：1.阈值过高，会导致部分梯度较低的边缘被当成噪声剔除，导致边缘不连续；2.阈值过低，会有过多不应该作为边缘的梯度信息被误判为边缘而包含进边缘图。

       而双阈值解决了单阈值的上述问题。双阈值定义了两种阈值，低阈值与高阈值：若梯度小于低阈值，则不是边缘；若梯度大于高阈值，则为强边缘；若梯度在高低阈值间，则为弱边缘。

       至此，就是双阈值检测的部分，乍一看仿佛与单一阈值没有区别，只要高于低阈值就能作为弱边缘，那这么一来好像跟单阈值就没什么区别了。诚然，如果缺少了“边缘连接”这下一步骤，双阈值和单阈值的本质确实是一样的。

       在开始解释“边缘连接”这一步骤前，我们不妨来仔细观察一下“单阈值”与“双阈值”的图像，这对于“边缘连接”原理的理解非常有帮助。

       在单阈值图像中，存在部分“离群”的线条，其中有一部分其实并非真实的边缘，而是被误判的高梯度位置；其中也有一部分不连通的真实边缘，这又导致了边缘的不连续。

       而在双阈值图像中，较亮的线条为强边缘，稍暗一些的线条为弱边缘。不难发现，一条不与强边缘相连的弱边缘，基本都是被误判为边缘的区域。相反，与强边缘相连的弱边缘，则囊括了绝大多数单阈值所没有判定包含的“真实边缘”。

       那么现在，我们可以明白边缘连接的原理了：利用高阈值来确定主要边缘轮廓（强边缘），并利用与强边缘连接的低阈值所得弱边缘来填补缺失边缘，并防止引入噪声（不与强边缘相连的弱边缘就归零）。

 """卷积的一个实现.
 对于任意一个像素点，该本版采用了点积运算以及 np.sum()来进行快速的加权求和
 
 
 
 
 
 """ 生成高斯卷积核.
 该函数按照高斯核的公式，生成了一个卷积核矩阵。
 sigma: 一个float，对应于高斯公式中的sigma，用来控制权重的分配.
 
 
 
 """ 计算输入图像水平方向的偏导.
 - 你可以利用你在前面完成的conv函数.
 out: 水平方向的梯度图像
 
 
 
 """ 计算输入图像竖直方向的偏导.
 - 你可以利用你在前面完成的conv函数/或者用前面刚开发的partial_x函数.
 out: 竖直方向的梯度图像
 
 
 """ 计算输入图像的梯度大小和方向.
 G: 输入图像的梯度值图像。它的每个像素点值都是该像素点的梯度值.
 
 
 
 """ 实现非极大值抑制
 对于任意一个像素点，该函数都完成了在梯度方向上(theta)的非极大值抑制
 out: 非极大值抑制以后的图像。如果像素点不是局部极大值点，则置0，否则保留原梯度幅值.
 
 
 
 
 
 
 img: 非极大值抑制以后的梯度幅值图像.
 强边缘指的是梯度的幅值大于高阈值的像素点
 弱边缘: 布尔类型的数组，代表弱边缘。
 强边缘指的是梯度的幅值小于或者等于高阈值，并且大于低阈值的像素点。
 
 
 
 对于一幅尺寸为(H, W)的图像，返回像素点 (y, x) 的邻居的所有有效索引.
 一个有效的索引 (i, j) 应该满足:
 """ 找出与真实的边缘相连接的弱边缘，并将它们连接到一起.
 
 对于每个强边缘点，它们都是真实的边缘。
 我们需要遍历每个真实的边缘点，然后在弱边缘中找出与之相邻的像素点，并把他们连接起来。
 在这里，我们认为如果像素点(a, b)与像素点(c, d)相连，只要(a, b)位于(c, d)的八邻域内。
 
 
 弱边缘一旦与强边缘相连，那它就是真实的边缘，与强边缘的地位一样。
 这句话的意思是，一旦一个弱边缘像素点被检测成为了一个真实的边缘点，所有与它相连的其它弱边缘也应该被归为真实的边缘。
 所以在编程的时候，你只遍历一遍强边缘是不够的，因为此时可能有新的弱边缘点被标记为真实的边缘点。
 
 
 
 
 
 
 
 
 
 
 """ 将上面所完成的函数组合到一起，完成canny边缘检测器.
 high: 为强边缘而设的高阈值.
 low: 为弱边缘而设的低阈值.
 edge: 输出的边缘图像
 
 
 
 
 
 

 


 

 

 的高斯滤波器，该滤波器可以由以下方程给出
 


 

 

 
 
 

 
 
 

        若减小，会使高斯滤波核中心权重占比变大，中心位置临域的权重占比都减小，若sigma趋于0，则高斯滤波基本没有效果；若增大，会使高斯滤波核的中心位置权重占比减小，中心位置领域的权重占比增大，若sigma趋于无穷，则高斯滤波等于均值滤波。
 
 

 
 
 

 
 

 
 

# 计算平滑后的图像的差分
 

 


 

 

        可以发现，找出来的梯度图像比较粗大并且模糊，并不适合直接用来表示的边缘。 此时我们可以利用非极大值抑制的方法来找出“尖锐”的边缘。简单来说，这可以通过保留（梯度）图像中的局部极大值点并且抛弃其他点来进行。
 
 
 

 
 

 

        在经过非极大值抑制后，仍然存在许多像素点。这些像素点有些是边缘，但有些是由噪声或者颜色变化（例如粗糙的表面）所导致的。要消除这部分影响，最简单的方式是增加一个阈值判定，只允许相应强度大于阈值的点被标记成边缘。Canny边缘检测算法采用了双阈值算法。大于高阈值的像素点被标记为强边缘，小于低阈值的像素点可以认为是非边缘并且被移除，而在高低阈值之间的点被标记为弱边缘。
 
 

 

 而弱边缘则需要进一步判断。如果弱边缘点与边缘相连接，则认为该像素点是边缘。这背后的逻辑是这样的：噪声或者颜色变化点不太可能产生强边缘（如果设定好恰当对的阈值范围），因此强边缘只能由源图像中的边缘产生。而弱边缘可由边缘产生，也可以由噪声和颜色变化产生。而由噪声和颜色变化产生的弱边缘点，一般来说都均有分布在整幅图片上，只有一小部分是与强边缘相连接的，大部分与强边缘相连接的点都是真实的边缘像素点。
 
 

 
 

 
 

        图像的特征主要有图像的颜色特征、纹理特征、几何特征和空间关系特征。其中，几何特征也称形状特征。在物体识别、检测领域有非常重要的作用。Hough变换是其中非常经典的方法。
 
 
 

        Hough变换是在1962年由Hough所发明，随后在1972年Duda第一次用它检测图像中的直线。该变换的目的是为了寻找图像中的直线结构，但需要注意的是，Hough变换同样可以检测圆等其他几何结构，只要其参数方程是已知的。
 
 
 

• 被遮挡的图形仍具备几何检测的交过
• 对于有参数的几何特征均有效

• 对于参数较多的图形，计算复杂度高
• 每次只能检测一种几何特征
• 以直线检测为例，不能确定线段的长度与位置，不能区分两段共线的线段

 
 

        假设我们现在已经通过边缘检测算法得到了图像完整的边缘结构，可以发现，某些像素点构成了图像的几何结构。
 
 

 

 
 

        那么这是一条在空间，由和作为参数的直线，因此，一个在空间的点给定了一条在空间的直线；而另一个点将会给出空间的另一条直线。若和是共线的，那么它们在空间的直线一定相交，交点坐标就是直线的参数
 
 

• 将参数空间离散取值，分为一个个单元，该单元被称为累积单元(accumulator cells)
• 计算直线与单元相交次数

 

        由此，完整地解释了Hough变换在直线检测中的原理，在其中若对参数方程进行修改，就可以实现对其他几何形状的检测。
 
 
 

 利用下面的参数化方程:
 
 
 
 
 
 
 
 
 
 
 
 

        通常而言，车道都是细长的直线，并且具有较高的亮度。这种条件保证了它能被我们的算法较好地检测出来。运行下面代码，载入图片并检测图片中的边缘。
 


# 利用Canny检测器进行边缘检测
 

 

        可以发现，Canny算法能够找出图片中的道路。但是，我们也可以看到这里面出现了很多我们不需要的物体的边缘。考虑到所抓取的图片的空间位置，我们清楚道路总是在图片的下半部分，因此可以利用这一点消除一部分不希望得到的边缘。下面的代码定义了一个二值化的模板(mask)，用来抓取ROI(Region of
 
 

 

        尽管我们利用了mask把边缘限制在了ROI区域，但是所找出的边缘仍旧是一团像素点，而不是连在一起的直线。一般的，我们习惯于用参数方程来表示直线。它的斜率是而截距是。在这里，我们利用Hough变换来寻找这条直线。
 
 

        通常，直线 可以表示成参数空间的一个点。但它不能表示竖直方向的直线，所以我们采用了类似于极坐标的参数表达形式和表示直线:
 
 

 

        利用极坐标的表示方法，我们就将空间转到了空间(或者说Hough空间)。带入不同边缘像素点的坐标，我们就可以得到θρθρ-空间的一系列曲线，曲线的交点就是我们所求的参数。这样，我们就求得了参数坐标下直线的方程，也可以进一步地将其转成空间的直线方程。
 
 

        在求取曲线的交点的过程中，我们可以避免直接对交点进行求取，而是某个点被多少条曲线经过。例如，曲线1经过了点,曲线2经过了点,那么点的计数值就是2，而点的计数值就是1，这样通过比较计数值，我们可以确定点就是曲线的交点。
 
 
 
 
 
 

 

 
 
 

 
 
 

 
 
 

 
 
 

 
 
 
 

 创作不易，卑微求赞，您的点赞能让更多人看到这篇文章~