如果我告诉您想象一下马与鸟之间的某种事物（例如，飞马），您是否需要看一个具体的例子？这样的生物不存在，但是没有什么能阻止我们利用我们的想象力创造一个这种生物：飞马。

人的思维具有各种机制，可以通过结合现实世界中的抽象知识和具体知识来创建新概念。我们可以想象到我们可能从未见过的现有事物（一头长脖子的马-长颈鹿），以及在现实生活中不存在的事物（一条长着翅膀的大蛇，吐着火的龙）。这种认知上的灵活性使我们学习新事物的机会很少，有时甚至没有新的例子。

相反，众所周知，机器学习和深度学习（当前的人工智能领先领域）需要许多示例来学习新任务，即使它们与他们已经知道的事物相关。

克服这一挑战导致了机器学习方面的大量研究工作和创新。尽管我们离创造可以复制大脑理解能力的人工智能还很遥远，但是该领域的进步是惊人的。

例如，转移学习是一种技术，它使开发人员可以为新任务微调人工神经网络，而无需许多培训示例。一次学习和一次学习就可以使通过一个任务训练的机器学习模型能够执行一个或几个新示例来执行相关任务。例如，如果您拥有训练有素的图像分类器来检测排球和足球，则可以使用一次性学习将篮球添加到它可以检测到的类别列表中。

AI科学家最近开发了一种称为“少于一次射击学习”（或LO-shot学习）的新技术，它将一次射击学习提高到了一个新的水平。LO-shot学习背后的想法是，要训练一种机器学习模型来检测M个类别，每个类别需要少于一个样本。该技术在arXiv预处理器中发表的一篇论文中介绍，目前仍处于早期阶段，但显示出了该方向的前景，并且可以在没有足够数据或太多类的各种情况下使用。

k-NN分类器

k-NN机器学习算法通过查找最接近的实例对数据进行分类。

研究人员提出的LO-shot学习技术适用于“ k近邻”机器学习算法。K-NN可用于分类（确定输入的类别）或回归（预测输入的结果）任务。但是为了进行讨论，我们仍将分类。

顾名思义，k-NN通过将输入数据与其k个最近的邻居进行比较来对输入数据进行分类（k是可调整的参数）。假设您想创建一个k-NN机器学习模型来对手写数字进行分类。首先，为它提供一组带有标签的数字图像。然后，当您为模型提供新的，未标记的图像时，它将通过查看其最近的邻居来确定其类别。

例如，如果将k设置为5，则机器学习模型将为每个新输入找到五张最相似的数字照片。假设其中三个属于“ 7”类，它将把图像分类为数字七。

k-NN是一种“基于实例的”机器学习算法。当您为每个类提供更多带标签的示例时，它的准确性会提高，但性能会下降，因为每个新样本都会添加新的比较操作。

在他们的LO-shot学习论文中，研究人员表明，使用k-NN可以获得准确的结果，同时提供的示例要少于课堂。人工智能研究人员写道：“我们提出'少于一个'一次性学习（LO-shot学习），即在这种情况下，模型必须仅给出M<N个示例，每个类少于一个示例，才能学习N个新类。” “乍看之下，这似乎是不可能完成的任务，但我们在理论和经验上都证明了可行性。”

机器学习每班少于一个示例

经典的k-NN算法提供“硬标签”，这意味着对于每个输入，它都提供了它所属的一个类。另一方面，软标签提供了输入属于每个输出类别的可能性（例如，有20％的可能性是“ 2”，有70％的可能性是“ 5”，有10％的可能性是“ 5”）。

滑铁卢大学的AI研究人员在工作中探索了是否可以使用软标签来概括k-NN算法的功能。LO-shot学习的命题是，软标签原型应允许机器学习模型对少于N个标记实例的N个类进行分类。

该技术建立在研究人员先前在软标签和数据蒸馏方面所做的工作的基础上。该论文的合著者Ilia Sucholutsky对TechTalks表示： “数据集蒸馏是一种生成小型合成数据集的过程，该数据集可以对模型进行训练，使其具有与在完整训练集上进行训练相同的精度。“在使用软标签之前，数据集提炼能够使用每类一个示例来表示像MNIST这样的数据集。我意识到，添加软标签意味着我实际上可以在每个班级使用少于一个示例来代表MNIST。”

MNIST是经常在训练和测试机器学习模型中使用的手写数字图像的数据库。Sucholutsky和他的同事Matthias Schonlau仅用卷积神经网络LeNet上的五个合成示例就设法在MNIST上实现了90％以上的准确性。

Sucholutsky说：“这个结果让我感到非常惊讶，这就是让我对这种LO镜头学习环境进行更广泛思考的原因。”

基本上，LO-shot使用软标签通过在现有类之间划分空间来创建新类。

LO-shot学习使用软标签在现有类之间划分空间。

在上面的示例中，有两个实例可以调整机器学习模型（用黑点显示）。经典的k-NN算法会在两个类别之间的两个点之间划分空间。但是，所谓的“软标签原型k-NN”（SLaPkNN）算法（称为OL-shot学习模型）在两个类（绿色区域）之间创建了一个新空间，它代表了一个新标签（想像带翅膀的马） ）。在这里，我们用N-1个样本实现了N类。

在论文中，研究人员表明，LO-shot学习可以扩展到使用N个标签甚至更多标签来检测3N-2类。

LO-shot学习可以扩展为每个实例获取多个类。左：从四个实例获得10个类。右：从五个实例获得13个类。

Sucholutsky和Schonlau在他们的实验中发现，使用正确的软标签配置，LO-shot机器学习即使在有嘈杂数据的情况下也可以提供可靠的结果。

Sucholutsky表示：“我认为LO-shot学习也可以从其他信息源中进行工作-类似于多少次零学习方法，但是软标签是最直接的方法。”可以找到适合LO-shot机器学习的正确软标签的方法。

尽管本文展示了使用k-NN分类器进行LO射击学习的强大功能，但Sucholutsky表示，该技术也适用于其他机器学习算法。Sucholutsky说：“论文中的分析专门针对k-NN，因为它更易于分析，但它适用于可以使用软标签的任何分类模型。” 研究人员将很快发布更全面的论文，展示LO-shot学习在深度学习模型中的应用。

机器学习研究的新场所

“对于像k-NN这样的基于实例的算法，LO-shot学习的效率提高非常大，尤其是对于具有大量类的数据集，” Susholutsky说。“更广泛地说，LO-shot学习在将分类算法应用于具有大量类的数据集的任何类型的环境中都是有用的，尤其是对于某些类而言，只有很少或没有示例可用时，尤其如此。基本上，在大多数情况下使用零镜头学习或少镜头学习的设置，LO镜头学习也可能有用。”

例如，必须从图像和视频帧中识别成千上万个对象的计算机视觉系统可以从这种机器学习技术中受益，特别是如果对于某些对象没有可用的示例。另一个应用是用于自然具有软标签信息的任务，例如执行情感分析的自然语言处理系统（例如，一个句子可能同时表达悲伤和愤怒）。

研究人员在论文中将“少于一次”的学习描述为“机器学习研究中可行的新方向”。

他们写道：“我们相信，创建专门针对LO-shot学习优化原型的软标签原型生成算法是下一步探索这一领域的重要一步。”

“以前，已经在几种设置中探索了软标签。Susholutsky说：“这里的新内容是我们探索它们的极端环境。” “我认为，在单发和零发学习之间隐藏着另一种制度并不是直接显而易见的想法。”