2025-02-26 行业资讯 0
在2018年底，FAIR的研究人员发布了一篇名为《Rethinking ImageNet Pre-training》的论文，这项工作随后在ICCV2019上发表。该论文提出了关于预训练的一些非常有趣的结论。在最近，一篇由谷歌大脑团队撰写的新论文《Rethinking Pre-training and Self-training》进一步扩展了这个概念，不仅讨论了预训练，还探讨了自训练，并比较了在相同任务中自训练与监督预训练和自监督预训練之间的差异。这篇文章可以在arXiv上找到。
通过实验，作者得出以下结论：
如果预训练任务与目标任务存在差异，那么包括监督和自监督在内的任何形式的预训练可能会损害目标任务的性能。
自训練适用于不同规模和增强程度不同的数据集。
自训練可以看作是对预先模型能力的一种补充，结合使用两者通常能够带来更大的性能提升。
机器学习工程师Aakash Nain对这篇论文进行了解读，并将其发表于Medium平台。AI科技评论对文章进行编译。在深入探讨之前，我们需要理解一些基本术语。例如，在计算机视觉领域，我们经常使用迁移学习和微调技术来利用ImageNet等数据集上的模型初始化另一个数据集上的模型。此外，自我培训尝试利用未标记数据中的信息改善模型性能，比如使用ImageNet改进COCO目标检测模型。
研究动机主要围绕以下几个问题：1) 预先知识对于提高结果质量有多重要？2) 在什么情况下使用前期知识是不恰当或无效？3) 与前期知识相比，可以通过自我培训获得类似的或更好的效果吗？4) 如果假设自我培训优于前期知识，它们之间存在多大的差距？
为了回答这些问题，作者设计了一系列实验，其中包括目标检测、语义分割等多个方面。他们还采用了四种不同强度水平（从标准翻转裁剪到RandAugment）的增强策略，以评估它们如何影响各种环境下的性能。此外，他们还用EfficientNet-B7作为主干网络，以及Noisy Student方法对检查点进行Fine-tuning以实现最佳效果。
实验结果显示，即使是在高级别增强策略的情况下，对于许多环境，都并没有观察到任何显著提升，而往往表现不佳。这种现象被认为可能是由于过拟合造成，使得大量标签化图像变得无关紧要，从而降低了依赖于这些图像进行额外调整时所需的大量资源效益。此外，由于缺乏足够数量标注图片，当我们拥有大量未标记图片时，与传统方法相比，从头开始也不会导致太差的情形发生。这一发现支持FAIR团队早前的观点，即随着可用的标注数据增加，其价值减少，同时提出替代方案，如混合式学习策略，有助于最大化资源配置以及最小化成本负担。
总之，这份报告提供了一系列关于是否应该继续依赖传统方式去做事，以及如果不这样做能否取得一样好甚至更好的结果。如果你正在寻找一种既节省时间又能保证高效率的人工智能解决方案，这份报告值得一读，因为它展示了一种新的可能性——即让人工智能自己帮助自己成长，而不是完全依赖人类输入或指导。
