卷积层是卷积神经网络的基本层。虽然它在计算机视觉和深度学习中得到了广泛的应用，但也存在一些不足。例如，对于某些输入特征图，核权值是固定的，不能 适应局部特征的变化，因此需要更多的核来建模复杂的特征图幅，这是多余的，效率不高。体积膨胀，由于输出转换的接受野始终是矩形的，作为层叠卷积的累积 效应，接受野会越来越大，接受野中会包含一些与输出转换无关的背景。不相关的背景会给输出位移的训练带来噪声。

为了克服上述问题，你想对传统的卷积层做一个小小的改变：内核可以适应局部特征的变化，接受场可以收敛到与输出对应的语义背景。虽然这些想法看起来很复杂，但是幸运的是，它已经被实现 了，这个改进的卷积层叫做可变形卷积层。

在这篇文章中，我将介绍以下主题：

可变形卷积

使用可变形卷积增强关键点估计的性能

使用可变形卷积增强实例分割的性能

可变形卷积

可变形卷积是一个卷积层加上偏移量学习。 如上所示，对于卷积核的每个足迹，都学习了2D偏移量，以便将足迹引导到最适合训练的位置。 偏移量学习部分也是卷积层，其输出通道数是输入通道数的两倍，因为每个像素都有两个偏移量坐标。 基于这种方法，内核可以适应局部特征变化，这对于语义特征学习是有效的。

这是补偿学习的例证。 a是传统的卷积，其中内核足迹完全不动。 b，c和d说明了足迹移动。

在可变形的卷积中，深像素的接收场集中到相应的物体。 如上所示，在中，深蓝色像素（上方）属于大绵羊。 但是，其矩形接受区域（底部）在左底部包含小绵羊，这可能会给诸如实例分割之类的任务带来歧义。 在b中，感受野变形并集中在大羊身上，避免了歧义。

了解可变形卷积中的偏移

如上所述，偏移量有利于局部特征的核适应和接受场的集中。顾名思义，偏移量用于使内核足迹局部变形，从而最终使接收场整体变形。

大林上位机机器视觉，_常州电工培训_常州PLC培训_常州机器视觉培训_常州上位机培训_常州工业机器人培训，最适合电工及plc编程人员学习的上位机机器视觉课程 大林老师：15861139266（微信同号）

现在棘手的部分来了：由于可以学习偏移以适应当前图片中的对象，因此我们可以将当前图片中的对象适应到另一张图片中的对象，并在它们之间提供偏移吗？

让我们具体说吧。假设我们有一个视频，其中每个帧都与其相邻帧相似。然后我们稀疏地选择一些帧，并在像素级别上对其进行标记，例如语义分割或关键点等。由于这些像素级别的标注会需要昂贵成本，是否可以使用未标记的相邻帧来提高泛化的准确性？具体地说，通过一种使未标记帧的特征图变形为其相邻标记帧的方法，以补偿标记帧α中的丢失信息。

学习稀疏标记视频的时间姿态估计

这项研究是对上面讨论的一个很好的解决方案。由于标注成本很昂贵，因此视频中仅标记了少量帧。然而，标记帧图像中的固有问题（如遮挡，模糊等）阻碍了模型训练的准确性和效率。为了解决这个问题，作者使用可变形卷积将未标记帧的特征图变形为其相邻标记帧的特征图，以修补上述固有问题。偏移量就是带标记的帧和未带标记的相邻帧之间优化后的特征差。利用多分辨率特征金字塔构造可变形部分，并采用不同的扩张方法。该方法的优点在于，我们可以利用相邻的未标记帧来增强已标记帧的特征学习，因为相邻帧相似，我们无需对视频的每一帧进行标记。这种可变形的方法，也被作者称为“扭曲”方法，比其他一些视频学习方法，如光流或3D卷积等，更便宜和更有效。

如上所示，在训练过程中，未标记帧B的特征图会扭曲为其相邻的标记帧A的特征图。在推理过程中，可以使用训练后的翘曲模型传播帧A的正确的标注值（ground truth），以获取A的关键点估计。 此外，可以合并更多相邻帧，并合并其特征图，以提高关键点估计的准确性。

具有遮罩传播的视频实例分割

还通过在现有的Mask-RCNN模型中附加一个掩码传播头来提出用于实例分割的掩码传播，其中可以将时间t的预测实例分割传播到其相邻帧t +δ。

该网络结构类似于上面讨论的姿势估计网络，但有点复杂。 它包括三个部分：1）帧t的实例分割预测； 2）帧t与t +δ之间的偏移优化和分割变形； 3）特征图聚合，用于最终预测帧t +δ处的实例分割。 在这里，作者还使用乘法层来滤除噪声，仅关注对象实例存在的特征。 通过相邻帧的特征聚合，可以缓解遮挡，模糊的问题。

结论

将可变形卷积引入到具有给定偏移量的视频学习任务中，通过实现标签传播和特征聚合来提高模型性能。与传统的一帧一标记学习方法相比，提出了利用相邻帧的特征映射来增强表示学习的多帧一标记学习方法。这样，模型就可以通过训练看到被相邻帧的其他眼睛遮挡或模糊的部分。

一、课程目标

本公司本着为工控事业培育和输出从电工基础到机器视觉的人才理念，着力于让小白成为工控业专家为目标。

大林上位机视觉软件培训专家特开设从电工基础、PLC、运动控制、上位机、工业机器人、机器视觉培训课程，为实现工业4.0事业而不懈努力。

机构课程全程真实教学、实干为主，不装逼，不扯淡，只唠干货，能做项目！！

二、老师介绍

大林老师

是专业从事上位机视觉软件的开发与培训，多年从事上位机机器视觉相关项目开发，对电气人员学习C#开发视觉软件有独到的见解，即使您是零基础或只要从事过电气自动化相关工作的学员都能够轻松快速学会。

三、校区介绍

大林上位机机器视觉培训机构，分为两个校区，苏州校区（苏州木渎），常州校区（常州新北）

四、硬件设施

校区提供2000多平方的实训基地，完美的设备硬件配套，可以做到边学习边操作，鉴于本机构隶属于某自动化公司，学员可以配合边学习边配合公司开发人员完成项目，这样学习起来事半功倍

五、毕业服务

学业完成后本公司可以择优录取，在我们自动化公司的实习，解决您的后顾之忧

六、课程对象

1.零基础无任何相关知识

2.有电气及PLC编程基础的更容易入手

3.需要系统性提升整体能力

4.跨行业转型

5.想拥有一份体面高收入

6.对自己前途迷茫

7.学历低英语不好

七、课程特色

为您量身提供零基础快速成为上位机及机器视觉软件开发专家的学习方案

承接企事业单位定制个性化学员集体培训。

八、课程内容

小白亦可通过学习成为工业软件开发专家，从电气图，到梯形图，到高级语言SCL，再到C#，突破高级语言难的瓶颈，轻松掌握。

从零开始，从电气基本元件入手，跟随课程递进学习，PLC，工业机器人，数据库，运动控制器，上位机，机器视觉，统统一网打尽。

欢迎亲临现场咨询，老师私人定制课程 ，学习更清晰！

九、授课方式

1、线下现场授课更直观，知识点更易吸收，现场互动更易理解和运用。

      1，赠送老师录制课程随时随地轻松学习

      2，赠送配套书籍不限环境随意学习

      3，课间和课后答疑知识掌握更牢固

      4，现场设备随意使用，人机结合熟练运用，加深知识理解。

      5，老师指导完善简历，轻松上岗。

2、线上视频录播课程-整套

      1，赠送配套书籍不限环境随意学习

      2，售后答疑轻松解答

      3，福利：线下报名课程原价抵扣

3、 线上视频课程+现场设备实操

      1，赠送配套书籍不限环境随意学习

      2，售后答疑轻松解答

      3，现场和课后答疑知识掌握更牢固

      4，现场设备随意使用，人机结合熟练运用，加深知识理解

      5，福利：线下报名课程原价抵扣