How Tiny Neural Networks Represent Basic Functions
通过简单的算法示例对机械可解释性进行简单介绍简介本文展示了小型人工神经网络 (NN) 如何表示基本功能。目标是提供有关 NN 工作原理的基本直觉,并作为机械可解释性的简单介绍——该领域旨在对 NN 进行逆向工程。我提供了三个基本函数的示例,使用简单的算法描述了每个函数,并展示了如何将算法“编码”到神经网络的权重中。然后,我探索网络是否可以使用反向传播来学习算法。我鼓励读者将每个示例视为一个谜语,并在阅读解决方案之前花一点时间。机器学习拓扑本文尝试将 NN 分解为离散操作并将其描述为算法。另一种方法可能更常见、更自然,即研究不同层中线性变换的连续拓扑解释。以下是一些有助于增强拓扑直觉的优秀资源:
Perception-Inspired Graph Convolution for Music Understanding Tasks
本文讨论了 MusGConv,一种用于符号音乐应用的感知启发式图卷积块。简介在音乐信息研究 (MIR) 领域,理解和处理乐谱的挑战不断被引入新方法和新途径。最近,许多基于图的技术已被提出,作为针对音乐理解任务的一种方式,例如语音分离、节奏检测、作曲家分类和罗马数字分析。这篇博文涵盖了我最近的一篇论文,其中我介绍了一种名为 MusGConv 的新图卷积块,专门用于处理乐谱数据。MusGConv 利用音乐感知原理来提高应用于音乐理解任务的图神经网络中图卷积的效率和性能。理解问题 MIR 中的传统方法通常依赖于音乐的音频或符号表示。虽然音频可以捕捉随时间变化的声波强度,但 MIDI 文件或乐谱等符号
Poropuntius anlaoensis Hoàng, Phạm & Trần,in Hoang, Pham, Tran, Durand, Wu, Pfeiffer, Chen et Page, 2024. DOI:10.3897/zookeys.1204.120873摘要来自包含 22 个 Poropuntius 名义种的样本的分子数据表明,该属的物种水平多样性被大大高估,可能是由于分类单元和地理采样不足以及依赖于种内变化的形态特征。后者包括与种群内替代喂养策略(生态形态)相关的离散口形态。描述了一个新物种,Poropuntius anlaoensis Hoàng, Phạm & T
Build a conversational chatbot using different LLMs within single interface – Part 1
随着生成人工智能 (AI) 的出现,基础模型 (FM) 可以生成内容,例如回答问题、总结文本和提供源文档中的亮点。但是,对于模型选择,有多种模型提供商可供选择,例如 Amazon、Anthropic、AI21 Labs、Cohere 和 Meta,再加上 PDF 中的离散真实世界数据格式,[…]
Behavioral Responses to Wealth Taxation: Evidence from Colombia
作者:Juliana Londoño-Vélez,加州大学洛杉矶分校Javier Avila-Mahecha,哥伦比亚税收和海关目录 摘要:我们研究了哥伦比亚对个人财富税的行为反应。我们利用 1993 年至 2016 年与泄露的巴拿马文件相关的税务微观数据来调查该国主要避税天堂的离岸外包情况。我们利用离散跳跃的变化[…]对财富税的行为反应:来自哥伦比亚的证据首先出现在公平增长上。
Analog vs. Digital Electronics
我们可以用两种不同的方式来看待电子产品,它们都有不同的用途,即模拟电子产品和数字电子产品。简而言之,模拟电子学处理连续、平滑变化的信号,而数字电子学处理离散信号(要么是开,要么是关,换句话说,是 1 或 0)。模拟电子学 […]
Flipping the Model for the Modern Classroom with Kareem Farah
Kareem Farah 是现代教室项目的首席执行官兼联合创始人。他与主持人 Mike Palmer 一起探讨了创新的教学方法。您可以在此处详细了解他们的方法。Kareem 解释了他是如何从金融行业起步,但后来转行成为一名数学老师的。在传统教学几年后,他意识到这种教学方式无法满足学生的需求。这促使他和一位联合创始人设计了一种新的混合式、基于掌握和自定进度的教学模式,即现代教室项目。他们开始在华盛顿特区自己的教室中测试它,并于 2018 年成立了一个非营利组织,以更广泛地传播这种方法。Farah 分享了该模型如何让学生更多地掌握学习过程,同时让教师腾出时间专注于个人和小组支持。我们讨论了辅导、教
NIST Releases Latest Software for Modeling Manufacturing Systems
NIST 发布了 SimPROCESD 的最新软件版本,即用于支持决策的操作和条件评估的模拟生产资源。 SimPROCESD 对离散制造系统进行建模,例如生产和装配
IEEE Transactions on Fuzzy Systems, Volume 32, Issue 6, June 2024
1) 以人为本的模糊最佳最差群体决策过程综述作者:Yanlin Li, Yung Po Tsang, Carman Ka Man Lee, Zhen-Song Chen页数:3302 - 33182) 具有停留时间的互联切换非线性系统的自适应模糊最优控制作者:Licheng Zheng, Junhe Liu, C. L. Philip Chen, Yun Zhang, Ci Chen, Zongze Wu, Zhi Liu页数:3319 - 33283) 分层演化模糊系统:一种多维混沌时间序列在线预测方法作者:Lei Hu, Xinghan Xu, Weijie Ren, Min Han页数:
On the Stepwise Nature of Self-Supervised Learning
图 1:自监督学习中的逐步行为。在训练常见的 SSL 算法时,我们发现损失以逐步方式下降(左上),而学习到的嵌入则以迭代方式增加维度(左下)。嵌入的直接可视化(右图;显示了前三个 PCA 方向)证实了嵌入最初会折叠到一个点,然后扩展到 1D 流形、2D 流形,并随着损失的步骤而扩展。人们普遍认为,深度学习的惊人成功部分归功于它能够发现和提取复杂数据的有用表示。自监督学习 (SSL) 已成为一种领先的框架,用于直接从未标记数据中学习图像的这些表示,类似于 LLM 直接从网络抓取的文本中学习语言的表示。然而,尽管 SSL 在 CLIP 和 MidJourney 等最先进的模型中发挥着关键作用,但诸
Inquiry vs. Direct Instruction: A Case of Conflating Events with Systems?
在辩论直接教学和基于探究的学习的优点/缺点时,我遇到的一个问题是,教育工作者倾向于以不同的方式定义它们。这种混淆源于基于探究的学习和直接教学都可以被视为 1) 离散的教学事件或 2) 整个教学系统/方法。经常听到老师……继续阅读探究与直接教学:将事件与系统混为一谈的案例?
Instrumental Variables in Practical Application
我一直对 Alwyn Young 的论文《无推理的一致性:工具变量在实际应用中》很感兴趣。在线附录。很高兴看到它现在发表在《欧洲经济评论》上。请注意非白色干扰的关键作用。引言:经济学界正处于一场“可信度革命”(Angrist 和 Pischke 2010)中,其中精心的研究设计已牢固确立为应用工作的必要特征。这场革命的一个关键要素是使用工具来识别因果关系,而不受内生普通最小二乘回归量的潜在偏差的影响。然而,对研究设计的日益重视并没有与对推理质量的同等要求齐头并进。尽管 Eicker (1963)-Hinkley (1977)-White (1980) 异方差稳健协方差估计及其聚类扩展被广泛使用
摘要:尺度或空间分辨率在解释遥感图像或其他地理空间相关数据的空间结构中起着关键作用。这些数据是在不同的空间尺度上提供的。确定最佳样本或像素大小可以有利于需要不同分辨率的多个数据集的信息提取的地理空间模型和环境算法。为了解决这个问题,对空间分辨率的多个比例因子进行了分析,以确定地理空间数据集的最佳样本大小。在 ERDC-GRL 的 NET-CMO 项目下,开发并实施了一种新方法,用于确定具有不同和异构空间结构的图像的最佳像素大小。局部空间色散的应用被研究为在重采样图像空间中优化的三维函数。图像被重新采样到逐渐变粗的空间分辨率并堆叠以创建一个图像空间,在该图像空间内映射像素级色散最大值。计算与局部
为了庆祝国际家庭日,我们特邀 Dr.玛丽-克莱尔·金 (Mary-Claire Kings) 开创性地开发了线粒体 DNA 测序技术来识别生物联系,这使得 20 世纪 70 年代中期和 80 年代阿根廷离散的 100 多个家庭得以团聚。
Primer on the math of Machine Learning
1.向量的点积(内积或标量积)2个向量a和b的点积定义为:aT . b ,也可以表示为bT 。 a两个向量 a = [a1, a2, …, an] 和 b = [b1, b2, …, bn] 的点积定义为:{\displaystyle \mathbf {\color {red}a} \cdot \mathbf {\color {blue}b} =\sum _{i=1}^{n}{\color {red}a}_{i}{\color {blue}b}_{i}={\color {red}a}_{1}{\color {blue}b}_{1}+{\color {red}a}_{2}{\color {blu
Recursions for the Moments of Some Continuous Distributions
这篇文章是我最近发表的文章《某些离散分布矩的递归》的延续。我假设您已经阅读了上一篇文章,因此这篇文章会更短一些。我将在这里讨论一些有用的递归公式,用于计算计量经济学中广泛使用的多个连续分布的矩。无论如何,覆盖范围不会详尽无遗。我在上一篇文章中提供了一些查看此类公式的动机,因此我不会在这里重复。当我们处理下面的正态分布时,我们将明确使用 Stein 引理。其他几个结果是通过使用非常类似的方法(在幕后)得出的。那么,让我们从陈述这个引理开始。斯坦引理(Stein,1973):“如果 X ~ N[θ , σ2],并且如果 g(.) 是一个可微函数,使得 E|g'(X)| 是有限的,则 E[g(X)(
Soldiers in Iraq unite with families through reading
伊拉克塔吉营地,2008 年 8 月 14 日 Aca,!" 由于第 4 步兵师的士兵和家属的部署保持一致,分离已经很常见。为了帮助巩固离散家庭 Aca,!a,, c 关系,t...
クラメル・ラオの不等式の活用-たまには学問の理論を振り返ってみよう
统计领域之一是“推论统计”。这涉及根据有限的样本推断被调查的整个人群的特征。 例如,这适用于电视收视率调查和工厂产品抽样检验。各种媒体经常进行的民意调查通常也是推测性的统计数据。 推论统计包括“估计”和“检验”,“估计”用于估计表征总体的参数(均值、方差等),“检验”用于统计确定有关样本统计的假设是否正确。 这次,我们将通过一个例子来了解“点估计”,这是一种根据单个值精确估计参数的方法。首先,我们举一个具体的例子。 (估计硬币正面朝上的概率)现在我手里有一枚普通的硬币。假设您想知道抛掷这枚硬币时出现正面的概率。通过抛硬币最多 10 次来预测正面朝上的概率的最佳方法是什么?硬币突然出现了,但是说