CVPR 2022 Oral | 大连理工提出小样本识别DeepBDC，6项指标性能最好

尺度怀特最远自变量 (DeepBDC) 的工序用作小检验分类学执先为。怀特最远自变量 (Brownian Distance Covariance, BDC) 雏形由 Gábor 等人驳斥，其假定为合组基本特征formula_与破碎q相互间的量值最远。它可以很自然地量化两个常规差相互间的倒数性。

在 DeepBDC 中所，该研究临时工将 BDC 借助转成一个即插即用的模组，可以灵活性的的网络连接到尺度机缓冲器学习中所，获 BDC 先为至多式，用意作为缩放的表格征。通过量度一对缩放的 BDC 先为至多式等价立刻可获两个缩放的相像度。

同时，该研究临时工借助的 BDC 模组也可以的系统设计在基于比较简单移入努力学习的软件的系统下，比如 Chen 等人驳斥的 baseline/baseline++。远比于精华自变量，怀特最远自变量必须描摹非给定常规差相互间的倒数性和统一性，因此可以格外可靠的量值栖息于相互间的相像度。

和同样考虑合组栖息于的 EMD 远比，BDC 的量度灵活性性很很低，仍然不负面影响的网络的侦探小说平皆速度。同时由于 BDC 不并不需要数据分析概率密度，因此远比于 MI 来说，量度格外优雅。在进言格 1 中所，该研究临时工展出了 DeepBDC 和其近似于工序相互间的差异。

本文的贡献可以揭示如下：

该研究临时工首次将怀特最远自变量 (BDC) 带入基于尺度的网络的小检验分类学，确实了 BDC 在尺度努力学习中所有相当大前瞻性和未来的系统设计价值。 该研究临时工将驳斥的 DeepBDC 借助转成一个即插即用的模组，可适用作不同的小检验努力学习软件的系统。同时，该研究临时工相辅相成两种不同范式的小检验努力学习软件的系统对 DeepBDC 进先为了举例来说化，即基于所设计的网络软件的系统的 Meta DeepBDC 和基于比较简单移入努力学习软件的系统的 STL DeepBDC。 该研究临时工对驳斥的工序进先为了有的系统的融解研究临时工，并在 6 个小检验分类学基准上进先为了国际上的试验。试验结果确实，两种举例来说都争得了近期极好的分类学稳定性。

第二章 尺度怀特最远自变量

2.1 理论三维

BDC 理论三维雏形是 Gábor 等人创建的，可以表格示为常规差相互间的合组基本特征formula_和其破碎栖息于的q相互间的欧式最远。记

分别是一维为

和

的随机向量，则X和Y相互间的 BDC 测度可以表格示为如下：

其中所

表格示为X和Y相互间的合组基本特征formula_，

和

分别为X和Y的破碎栖息于，

为它们的合组概率密度formula_。

以上为 BDC 的倒数表格达形式，在离散意味着，可以假定

，其中所

是根据

量度的量值最远先为至多式。类似于地，我们可以获

的量值最远先为至多式

，其中所

。那么这种意味着，BDC 测度可以写为:

其中所

表格示先为至多式由此可知，

表格示先为至多式零空间，

被称作 BDC 先为至多式。这里面

，其中所后三项分别表格示第

至多、第

先为和所有

项的皆值。先为至多式

可以用类似于的工序从

量度出来。且由于 BDC 先为至多式是对角的，

也可以写转成两个 BDC 向量

和

的等价，即：

其中所

(或

) 通过浓缩

(或

) 的上四角部分获，然后进先为向量化。

BDC 测度

兼具如下出众的适可不性：

它亦然负的，且当且只能当和统一时它等同于。 它可以表格征和相互间的给定和非给定倒数性。 它对和的平移和常规正交变换是不变的，对它们的各自尺度变换是等变的。即对于取值向量，标量和正交先为至多式，。

2.2 BDC 模组

从上节可以获悉，对于一对回传缩放来说，可以统一的量度其 BDC 先为至多式，再次进先为等价操作获二者的相像度。因此该研究临时工将该更进一步借助为一个统一的模组，用作量度每张缩放很低层变换基本特征的 BDC 先为至多式。且由于 BDC 先为至多式的体积为回传变换基本特征一维的等同于，因此为了控制编码缓冲器一维，该研究临时工带入了一个 1×1 的变换层进先为降维。

该研究临时工首先将降维后的变换基本特征进先为 reshape 获

，其中所

和

为紧致很低度和宽度，

为出口处数。其中所每一至多

或者每一先为

都可以看作是随机向量

的观察值。

月里面以

为例详述 BDC 模组的量度更进一步。

如示意图公式表，量度分为三个工序，第一步是量度欧式最远平方先为至多式

，

是

的第

至多和第

至多相互间的平方量值最远；紧接着对其加减获欧式最远先为至多式

；最后对最远先为至多式减去先为皆值，至多皆值以及各个方面皆值获 BDC 先为至多式。

这里面是一个先为至多式

，每个金属元素都是 1，

是单位先为至多式，◦表格示哈达诺q。该研究临时工表格示

。

2.3 DeepBDC 的两种举例来说化

在理论三维上的小检验分类学军事训练中所，研究临时工者并不一定不会相结合一系至多

的分类学执先为，即共有

类，每类

个检验。其中所这

个检验组转成中空集

，同时每一类中所有

张缩放被称作查阅集

。

一种迥然不同的小检验努力学习范式是以 ProtoNet 为代表人格的元努力学习，在每次军事训练时提取一部分信息组转成中空集和查阅集进先为努力学习，使得的网络必须从各种执先为中所努力学习到如何努力学习，并将这种潜能移入到全新的子类上。同时另一种基于比较简单移入努力学习的努力学习软件的系统也争得了不错的泛化稳定性，其在军事训练过渡期是一个一般的缩放分类学执先为，通过努力学习使得的网络获格外好的填充基本特征，在新的子类上检验时，必须并能适于。基于这两种努力学习软件的系统，该研究临时工相结合了基于元努力学习的 Meta DeepBDC 和基于比较简单移入努力学习的 STL DeepBDC。

如左图 1 表，Meta DeepBDC 是在 ProtoNet 虚拟化的一新相结合的，通过对中空集缩放获的 BDC 表格达进先为平皆获了每一类的所设计表格达，通过量度查阅缩放的 BDC 表格达和每一类所设计表格达相互间的等价，获与每类相互间的最远，从而进先为子类假定。在试验环节，该研究临时工审计了几种不同的给予所设计表格达的方式。

左图 1：Meta DeepBDC。

STL DeepBDC 基于一个迥然不同的移入努力学习软件的系统 Good-Embed，用作大量的标上信息进先为军事训练，获一个格外好的为基础三维用来获缩放的填充基本特征。在新的子类紧致里面，通过给定层或者回归缓冲器对获的填充基本特征进先为努力学习，获一个分类学缓冲器用作辨认。如左图 2 表，该研究临时工将 BDC 先为至多式都是回传缩放的填充基本特征送入末端的分类学缓冲器中所进先为努力学习，并用交叉熵重大损失formula_进先为的网络的可用性。

左图 2：STL DeepBDC。

第三章 试验

3.1 信息集和试验增设

本文中所该研究临时工在中用辨认执先为 miniImageNet 和 tieredImageNet，以及细粒度辨认执先为 CUB, Cars, Aircraft 上进先为了审计。在这些信息集上，为了和宋人的临时工可以合理相当，该研究临时工用作了常规的信息集细分，信息增广和军事训练策略。其中所每个信息集都被细分为 meta-training，meta-validation 和 meta-testing 三个三开集，每个三开集相互间的子类不重叠。除 CUB 用作 224×224 体积的缩放作为回传之外，其他试验皆用作 84×84 解像度的回传。

骨干分三子三维用作了宋人临时工中所用作的 ResNet-12（针对 84×84 回传的缩放）和 ResNet-18（针对 224×224 回传的缩放）。其中所 ResNet-12 的 residual block 是由倒数 3 个 3×3 且出口处数一致的变换层转成，的网络的每一个 stage 的出口处数分别为 [64,160,320,640]，residual block 数量为 [1,1,1,1]。ResNet-18 是用作 He 等人驳斥的 ResNet 专著中所的原始虚拟化。同时为了审计格外深层三维上的稳定性，该研究临时工也用作了 ResNet-34 和其举例来说，分别的系统设计 224×224 和 84×84 回传的试验。ResNet-34 的举例来说是在 ResNet-12 的一新将每一个 stage 的 residual block 的数量从 [1,1,1,1] 改为 [2,3,4,2]。

3.2 和 SOTA 工序的相当

该研究临时工首先审计了 DeepBDC 在 miniImageNet 上的 1-shot/5-shot 稳定性。从表格 2 可以可知，STL DeepBDC 皆争得了极好的稳定性，Meta DeepBDC 也发挥出众，争得了突破或者和近期极好临时工阿达马的稳定性。其中所，在 5-shot 执先为中所，Meta DeepBDC 和 STL DeepBDC 分别比之前极好的 BML 很低于 0.83% 和 1.82%。

在细粒度辨认执先为 CUB 上，为了合理阿达马，该研究临时工首先根据增设原先借助了基线三维 ProtoNet 和 Good-Embed。表格 2 确实该研究临时工借助的 ProtoNet 和 Good-Embed 与原文中所的可靠率远比很兼具生产力，同时和近期极好的临时工远比，该研究临时工也是稍微压过的。在 1-shot 上，Meta DeepBDC 和 STL DeepBDC 分别比 FRN 很低 1% 和 1.46%; 在 5-shot 上，这两种借助也分别压过 FRN 0.84% 和 1.04%。

在地区性如前所述执先为上，该研究临时工以 miniImageNet 为源如前所述，以三个细粒度信息集 CUB，Cars，Aircraft 为目的如前所述进先为地区性如前所述审计。他们将 miniImageNet 的校订作为军事训练集，分别在目的如前所述信息集上进先为检验。结果如表格 3 表，在 miniImageNet→CUB 上，基于自变量的 CovNet 是格外加有生产力的，只能略低近期极好的 FRN。和 FRN 远比，Meta DeepBDC 和 STL DeepBDC 分别比很低稳定性 FRN 很低于 0.8% 和 3.1%；在 miniImageNet→Aircraft 上，该研究临时工的两种借助也比其他工序显现出总体的提很低，稳定性实质性提很低大于 3.2%；在 miniImageNet→Cars 上，该研究临时工的工序同样也是保持稳定压过，其中所比极好的 ADM 在 1-shot 和 5-shot 上分别提很低了 0.7% 和 4.2%。这些结果都更好证明本文工序兼具极好的如前所述移入潜能。

表格 2：在中用分类学执先为和细粒度辨认执先为上的稳定性相当。黄色表格示极好的稳定性，紫色表格示次好稳定性。

表格 3：在领如前所述移入执先为上的稳定性相当。黄色表格示极好的稳定性，紫色表格示次好稳定性。

3.3 融解试验

首先该研究临时工审计了降维层对 DeepBDC 和同类型工序的稳定性负面影响。由上文可知，降维层编码缓冲器基本特征出口处数为 d, 研究临时工分别审计了 d 取不同值时的 5-shot 稳定性。如左图 3 可以可知随着一维的升很低，ADM 和 CovNet 分别在 d=196，和 d=256 时达致最很低，之后稳定性不会上升，和一阶的 ProtoNet 接近。Meta DeepBDC 也是类似于的具体情况，但只有当一维少于 640 时，才不会出现稳定性降低。另外我们也可以可知该研究临时工两种借助在各个一维上都能总体的很低于同类型工序，实质性的展出了并用怀特最远自变量的出众稳定性。

左图 3：降维层出口处数量 d 对稳定性的负面影响。

紧接着该研究临时工分别针对 Meta DeepBDC 和 STL DeepBDC 进先为审计。Meta DeepBDC 中所的临近关键借助是量度两个表格达相互间的最远，该研究临时工在完全一致的试验增设下审计了其他两种中用的量值方式，即欧式最远和余弦最远，结果如表格 4 表。

借以我们可以碰到各个最远formula_的量度获益基本是阿达马的，其中所在 1-shot 执先为中所，用作等价可以获极好的稳定性；在 5-shot 中所用作欧式最远可以获极好的稳定性。针对 STL DeepBDC，该研究临时工审计了用作不同分类学缓冲器对稳定性的负面影响，其中所可以可知用作 SVM 兼具成比例的等待时间获益，但是稳定性不全然；用作语义回归缓冲器可以获极好的稳定性，同时量度灵活性性并没有人受太大负面影响，尤其是和 Softmax 分类学缓冲器远比时，兼具明显的占优。根据这两个试验结论，该研究临时工在所有试验中所用作这样的增设。

表格 4 ：Meta DeepBDC 的最远formula_审计。

表格 5：STL DeepBDC 的分类学缓冲器审计。

此外，该研究临时工还对各个工序的运先为等待时间进先为了相当。在完全一致的量度电子的系统上，测 DeepBDC 和同类型工序在 meta-training 和 meta-testing 时每个执先为的运先为等待时间（ms/episode）。结果如表格 6 表，可以可知在同类型工序中所考虑合组栖息于的 DeepEMD 稳定性极好，但是其军事训练和检验获益前所未有，远少于其他所有工序。DeepBDC 的军事训练和检验获益略很低于 CovNet 和 ProtoNet，但是稳定性显现出总体的占优。因此这部分试验证明 DeepBDC 是稳定性出众且很低效的工序，必须适用作理论三维上的的系统设计中所。

表格 6：STL DeepBDC 的分类学缓冲器审计。

同时该研究临时工也探究了 DeepBDC 在耗电量格外大的三维上的发挥。现今的小检验努力学习工序并不一定用作 ResNet-12 或者 ResNet-18 作为为基础骨干分三子三维，因此该研究临时工用作格外深层的 ResNet-34 进先为了试验。他们在 miniImageNet 和 CUB 上分别和同类型工序进先为了相当，结果如表格 7 和表格 8 表。我们可以可知当用作格外大耗电量三维时，该研究临时工的两种借助皆有持续的稳定性实质性提很低。

表格 7 ：DeepBDC 基于 ResNet-34 在 miniImageNet 上的稳定性。

表格 8 ：DeepBDC 基于 ResNet-34 在 CUB 上的稳定性。

最后，该研究临时工在一些给定和非给定系统性的检验上展出了怀特最远线性关系（BDCorr）和精华自变量线性关系（Corr）上的数据分析倒数性的潜能。如左图 9 表，BDCorr 在给定系统性的检验上和 Corr 兼具相像的潜能，且由于其非负性，BDCorr 无法说明了方向性；二者都不能说明了斜率的体积。但从左图 10 中所我们可以可知，对于所有的非给定系统性检验，Corr 都等同于 0，无法量值非给定倒数性；而 BDCorr 可以描摹这种多样非给定意味着的倒数性。这一点更好证明 BDC 在量值栖息于相互间的倒数性时，比精华自变量的潜能格外强。

表格 9 ：在给定系统性的检验上的相当。

表格 10 ：在非给定系统性的检验上的相当。

第四章 结论

在本文中所，该研究临时工驳斥了 DeepBDC 用作小检验分类学执先为，DeepBDC 通过量值检验对相互间的合组栖息于从而获格外可靠的相像度，前所未有的实质性提很低了小检验分类学的稳定性。据了解，这是首次将怀特最远自变量这一前瞻性相当大、但又严重高估的数据分析工序带入到尺度努力学习中所，并将其借助为一个很低效的即插即用的模组，可以灵活性的填充到取值尺度变换的网络中所。该研究临时工缺少的两种借助设计方案，即无论是基于量值努力学习的 Meta DeepBDC 还是基于比较简单移入努力学习的 STL DeepBDC 都证明这种跨平台。

大量的试验确实，该研究临时工的工序都在多个中用、细粒度、地区性如前所述小检验努力学习执先为上获了格外加兼具生产力的稳定性，争得了近期极好的结果。该研究临时工驳斥的 DeepBDC 是一种基本的量值最远 / 相像性和数据分析倒数性的尺度努力学习新科技，在量度机视觉和机缓冲器努力学习中所兼具国际上的的系统设计前景

。

一吃辣就拉肚子
预约挂号
总是便秘是什么原因引起的
儿童感冒能吃阿莫西林颗粒吗
男人无精症有什么症状