XiaoMi-AI文件搜索系统
World File Search SystemSVHN
尖峰还是不钉？ SNN和CNN FPGA实现的定量比较
卷积神经网络（CNN）被广泛用于解决各种问题，例如图像分类。由于其计算和数据密集型性质，CNN加速器已被开发为ASIC或FPGA。应用程序的复杂性增加导致这些加速器的资源成本和能源需求增长。尖峰神经网络（SNN）是CNN实施的新兴替代品，有望提高资源和能源效率。本文解决的主要研究问题是，与CNN等效物相比，SNN加速器是否真正满足了能源需求减少的期望。为此，我们分析了多个SNN硬件加速器的FPGA，以涉及性能和能源效率。我们提出了一种新颖的尖峰事件队列编码方案和一种新型的记忆组织技术，以进一步提高SNN能源效率。这两种技术都已经融入了最先进的SNN体系结构，并对MNIST，SVHN和CIFAR-10数据集进行了评估，以及两个不同尺寸的现代FPGA平台上的相应网络体系结构。对于小型基准（例如MNEST），SNN设计与相应的CNN实施相比，没有相当或很少的延迟和能源效率优势。对于更复杂的基准测试，例如SVHN和CIFAR-10，趋势逆转。
如何在小型数据集上训练视觉变压器？
Vision Transformer（VIT），与卷积神经网络的根本不同的架构具有多种优势，包括设计简单，鲁棒性和在许多视觉任务上的表现。然而，与卷积的旋转网络相反，视觉变压器缺乏固有的感应偏见。因此，对此类模型的成功培训主要归因于在大规模数据集上的预训练，例如具有1.2m的Imagenet或具有300m图像的JFT。这阻碍了小规模数据集的Vi-Sion变压器的直接适应。在这项工作中，我们表明可以直接从小规模数据集中学习自我监督的偏见，并作为微调的有效权重初始化方案。这允许在没有大规模预训练的情况下训练这些模型，更改模型体系结构或损失功能。我们提出了在五个小型数据集上成功训练整体石器和非孔子视觉转换器的thor outh实验，包括CIFAR10/100，CINIC10，SVHN，SVHN，Tiny-ImageNet和两个细粒度的数据集：飞机和汽车。我们的方法始终如一地提高视觉变压器的性能，同时保持其特性，例如关注显着区域和更高的鲁棒性。我们的代码和预培训模型可在以下网址获得：https：//github.com/hananshafi/vits-for-small-scale-datasets。
使用拓扑数据分析预测神经网络中的概括差异
了解神经网络在看不见的数据上如何概括对于设计更多的易萧条和可靠的模型至关重要。在本文中，我们使用拓扑数据分析的方法研究了神经网络的概括差距。为此，我们计算训练阶段后神经元激活相关性构建的加权图的同源持久图，旨在捕获与网络的通用能力相关的模式。我们比较了持久图的不同数值摘要的有用性，并表明其中一些可以准确预测并部分解释生成间隙而无需测试集。对两项计算机视觉识别任务（CIFAR10和SVHN）的评估显示，与最新方法相比，竞争性的泛化差距预测。
使用拓扑数据分析预测神经网络中的概括差异
了解神经网络在看不见的数据上如何概括对于设计更健壮和可靠的模型至关重要。在本文中，我们使用拓扑数据分析的方法研究了神经网络的概括差距。为此，我们计算训练阶段后神经元激活相关性构建的加权图的同源持久图，旨在捕获与网络的通用能力相关的模式。我们比较了持久图的不同数值摘要的有用性，并表明其中一些可以准确预测并部分解释概括差距而无需测试集。对两项计算机视觉识别任务（CIFAR10和SVHN）的评估显示，与最新方法相比，竞争性的泛化差距预测。
卷积神经生成编码
在这项工作中，我们开发了卷积神经生成代码（Conv-NGC），这是对基于卷积/反卷积计算的情况进行预测性编码的概括。特定的是，我们具体地实现了一种灵活的神经生物学动机算法，该算法逐渐重新填充了潜在的状态图，以便动态地形成更准确的内部表示/重构自然图像模型。在复杂数据集（例如Color-Mnist，CIFAR-10和SVHN）等复杂数据集上进行了评估。我们研究了我们的大脑启发模型对重建和图像降解任务的有效性，并发现它具有卷积自动编码系统的竞争力，该系统通过误差的反向传播培训，并超过了它们，并超越了它们在造成的分发重构方面的表现（包括完整的90K ininic-10测试集）。关键字：预测编码；受脑为灵感的学习； compoter视觉，神经形态硬件，卷积
第二期简讯 – 2021 年 9 月 - CLARIFY 项目
由于隐私保护，将所有数据上传到中心位置的传统机器学习方法变得不可行。联邦学习是一种保护隐私的分布式机器学习范式，已被提出作为满足隐私要求的解决方案。通过使多个客户端协作学习共享的全局模型，模型参数而不是本地私有数据将在隐私限制下交换。然而，与集中式方法相比，联邦学习在对参与者之间非独立且同分布 (non-iid) 的数据进行训练时性能会下降。在实践中，机器学习总是会遇到类别不平衡问题，这会导致对少数类的预测不佳。在这项工作中，我们提出了 FedBGVS，通过采用平衡的全局验证集来减轻类别偏差的严重程度。使用平衡全局验证分数 (BGVS) 改进了模型聚合算法。我们通过对经典基准数据集 MNIST、SVHN 和 CIFAR-10 以及公共临床数据集 ISIC-2019 进行的实验来评估我们的方法。实证结果表明，我们提出的方法在标签分布偏差和类别不平衡设置中优于最先进的联邦学习算法。
第二期简讯 – 2021 年 9 月 - CLARIFY 项目
由于隐私保护，将所有数据上传到中心位置的传统机器学习方法变得不太可行。联邦学习是一种保护隐私的分布式机器学习范式，已被提出作为符合隐私要求的解决方案。通过使多个客户端协作学习共享的全局模型，将在隐私限制下交换模型参数而不是本地私有数据。但是，与集中式方法相比，联邦学习在对参与者之间的非独立同分布 (non-i.i.d.)数据进行训练时性能会下降。在实践中，机器学习中总是会遇到类别不平衡问题，这会导致对少数类别的预测不佳。在这项工作中，我们提出 FedBGVS 通过使用平衡的全局验证集来减轻类别偏差的严重程度。使用平衡全局验证分数 (BGVS) 改进了模型聚合算法。我们通过对经典基准数据集 MNIST、SVHN 和 CIFAR-10 以及公共临床数据集 ISIC-2019 进行的实验来评估我们的方法。实证结果表明，我们提出的方法在标签分布偏差和类别不平衡设置中优于最先进的联邦学习算法。
从大内核卷积的角度来解释和提高注意力
摘要 - 注意机制通过有效捕获全球环境具有显着高级的视觉模型。但是，它们对大规模数据集和实质性计算资源的依赖构成了数据筛查和资源约束方案的挑战。此外，传统的自我发作的机械主义缺乏固有的空间归纳偏见，这使它们成为对涉及较小数据集至关重要的任务至关重要的局部特征进行建模的。在这项工作中，我们引入了大型内核卷积（LKCA），这是一种新型的表述，将注意力重新诠释为单一的大内核卷积。这种设计统一了卷积体系结构的优势 - 本地性和跨性别不变性，具有自我注意力的全球背景建模能力。通过将这些属性嵌入计算高效的框架中，LKCA解决了传统注意机制的关键局限性。所提出的LKCA在各种视觉任务中实现竞争性能，尤其是在数据约束的设置中。对CIFAR-10，CIFAR-100，SVHN和TININE-IMAGENET的实验结果证明了其在图像分类中出色的能力，在紧凑型模型设置中表现出色，表现优于常规的强度机制和视觉变压器。这些发现突出了LKCA在桥接本地和全球功能建模中的有效性，为具有有限的数据和资源的现实世界应用提供了实用且强大的解决方案。
姑息治疗资金承诺——2024 年 1 月 25 日。......
尊敬的理查兹先生，我指的是议会秘书布朗特先生于 2024 年 1 月 16 日发送的电子邮件，其中告知已任命尊敬的基思·梅森 AC KC 为独立法律仲裁员，以评估就姑息治疗资金承诺恢复秩序而提出的特权要求的有效性。梅森先生要求向新南威尔士州卫生部提供达米安·图德霍普议员于 2024 年 1 月 12 日写的一封信，并提供机会在七天内提交任何其他意见。梅森先生还要求注意他于 2023 年 11 月提交的关于地方和社区补助金的报告。图德霍普先生的信对新南威尔士州卫生部声称的公共利益豁免权提出异议，并提到文件 45-80。但是，我注意到只有文件索引上的文件 45-72 和 79-80 属于公共利益豁免权的范畴。因此，为了回复 Blunt 先生的电子邮件，我们仅考虑了文件 45-72 和 79-80。如果这个假设不正确，请告诉我。新南威尔士州卫生部仔细考虑了 Tudehope 先生的信，以及 Masons 先生关于地方和社区补助金的报告。在仔细考虑了 Tudehope 先生的信和 Masons 先生之前的报告后，新南威尔士州卫生部撤回了对标有 45-72 的文件的公共利益豁免权主张。新南威尔士州卫生部进一步考虑了文件 79 和 80，并坚持其对这两份文件的公共利益豁免权主张。新南威尔士州卫生部还希望接受 Mason 女士的邀请，就这些文件提交一份简短的补充意见，如下所示。新南威尔士州卫生部注意到电子邮件（文件 80）及其附件（文件 79）是最近的文件——电子邮件的日期是 2023 年 11 月。电子邮件和附件是内部通信，旨在仅与新南威尔士州卫生部内的相关官员分享工作信息和项目更新。电子邮件和附件中包含的信息尚未获准在卫生部以外进行传播。文件 79 中的电子表格标题为“表 1：（修订版）WCEOLC 各地区和 SVHN 经常性资金明细（2022-23 财年至 2026-27 财年）”。该表列出了五个财政年度（2022-23 财年至 2026-27 财年）的姑息治疗服务资金，按新南威尔士州卫生实体细分。每个财政年度的“状态”行中的描述如下：