Interpreting CLIP: Insights on the Robustness to ImageNet Distribution Shifts
稳健模型和非稳健模型的区别是什么？虽然对于 ImageNet 分布变化，已经表明这种稳健性差异可以主要追溯到训练数据的差异，但到目前为止，尚不清楚这在模型学习方面意味着什么。在这项工作中，我们通过探测具有各种主干（ResNets 和 ViTs）和预训练集（OpenAI、LAION-400M、LAION-2B、YFCC15M、CC12M 和 DataComp）的 16 个稳健零样本 CLIP 视觉编码器的表示空间，并将它们与较少的表示空间进行比较来弥合这一差距……
这篇文章探讨了如何使用 TensorFlow 和 R 训练大型数据集。具体来说，我们介绍了如何下载和重新分区 ImageNet，然后使用 TensorFlow 和 Apache Spark 在分布式环境中跨多个 GPU 训练 ImageNet。
Beyond Benchmarks: Why AI Evaluation Needs a Reality Check
，如果您如今一直关注AI，您可能已经看到头条新闻，报告了AI模型实现基准记录的突破性成就。从ImageNet图像识别任务到在翻译和医学图像诊断方面的超人分数，长期以来，基准一直是测量AI性能的金标准。但是，像这些数字一样令人印象深刻[…]超越基准的帖子：为什么AI评估需要现实检查首先出现在unite.ai上。
Image Data Collection for Climate Change Analysis
初学者指南埃特纳火山的卫星图像。来源：美国地质调查局 (USGS) 在 Unsplash 上的照片。I. 简介深度学习在地球观测中成功传播。它的成就导致了更复杂的架构和方法。然而，在这个过程中，我们忽略了一些重要的东西。拥有更多优质数据比拥有更好的模型更好。不幸的是，EO 数据集的开发一直很混乱。如今，它们有数百个。尽管我们努力编译数据集，但可以说它们散布在各处。此外，EO 数据已经激增以满足非常具体的需求。矛盾的是，这正是我们应该用它们前进的相反方向，特别是如果我们希望我们的深度学习模型更好地工作的话。例如，ImageNet 编译了数千张图像以更好地训练计算机视觉模型。然而，EO 数据比 I
Understanding Deep Learning Algorithms that Leverage Unlabeled Data, Part 1: Self-training
深度模型需要大量的训练样本，但标记数据很难获得。这激发了利用未标记数据的重要研究方向，而未标记数据通常更容易获得。例如，可以通过爬取网络获取大量未标记的图像数据，而 ImageNet 等标记数据集则需要昂贵的标记程序。在最近的实证发展中，使用未标记数据训练的模型已开始接近全监督性能（例如 Chen 等人，2020 年，Sohn 等人，2020 年）。本系列博客文章将讨论我们的理论工作，该工作旨在分析使用未标记数据的最新实证方法。在第一篇文章中，我们将分析自我训练，这是一种非常有影响力的半监督学习和领域自适应算法范式。在第 2 部分中，我们将使用相关理论思想来分析自监督对比学习算法，这种算法对于
Understanding Deep Learning Algorithms that Leverage Unlabeled Data, Part 1: Self-training
深度模型需要大量的训练样本，但标记数据很难获得。这激发了利用未标记数据的重要研究方向，而未标记数据通常更容易获得。例如，可以通过爬取网络获取大量未标记的图像数据，而 ImageNet 等标记数据集则需要昂贵的标记程序。在最近的实证发展中，使用未标记数据训练的模型已开始接近全监督性能（例如 Chen 等人，2020 年，Sohn 等人，2020 年）。本系列博客文章将讨论我们的理论工作，该工作旨在分析使用未标记数据的最新实证方法。在第一篇文章中，我们将分析自我训练，这是一种非常有影响力的半监督学习和领域自适应算法范式。在第 2 部分中，我们将使用相关理论思想来分析自监督对比学习算法，这种算法对于
#94 – Ilya Sutskever: Deep Learning
Ilya Sutskever 是 OpenAI 的联合创始人，是历史上被引用次数最多的计算机科学家之一，引用次数超过 165,000 次，对我来说，他是深度学习领域有史以来最聪明、最有洞察力的人之一。在这个世界上，很少有人比 Ilya 更愿意与我谈论深度学习、智能和生活，无论是在话筒上还是话筒下。通过注册以下赞助商来支持此播客：– Cash App – 使用代码“LexPodcast”并下载：– Cash App（App Store）：https://apple.co/2sPrUHe– Cash App（Google Play）：https://bit.ly/2MlvP5w 剧集链接：Ilya
计算机视觉中 GAN 的第四篇文章系列 - 我们探索使用多尺度 GAN 方法的 2K 图像生成、具有时间一致性的视频合成以及 ImageNet 中的大规模类条件图像生成。
