An Off-Beat Approach to Train-Test-Validation Split Your Dataset
确保小数据集分割的分布完整性使用 Microsoft Designer 生成我们都需要对总体进行抽样,以进行统计分析并获得见解。当我们这样做时,目的是确保样本的分布与总体的分布紧密匹配。为此,我们有各种方法:简单随机抽样(其中每个总体成员都有相同的被选中的机会)、分层抽样(包括将总体划分为子组并从每个子组中抽样)、聚类抽样(其中将总体划分为簇并随机选择整个簇)、系统抽样(包括选择总体的每第 n 个成员)等。每种方法都有其优势,并根据研究的特定需求和特点进行选择。在本文中,我们不会关注抽样方法本身,而是关注使用这些概念将用于机器学习方法的数据集拆分为训练-测试-验证集。这些方法适用于所有类型的表
通读全文,了解导致我们首先关闭它们的网站行为的解释。同时,我们将在下一个常规周一博客中深入探讨我们对读者意见的完全不科学的抽样结果,但目前意见分歧很大。 […] 文章《评论恢复》首先出现在 AVweb 上。
How Pew Research Center Uses Its National Public Opinion Reference Survey (NPORS)
2020 年,皮尤研究中心启动了一项名为“全国公众舆论参考调查 (NPORS)”的新项目。NPORS 是一项针对美国成年人的年度横断面调查。受访者可以通过纸质或在线方式回答,他们是使用美国邮政局计算机化投递序列文件中的地址抽样选出的。文章《皮尤研究中心如何使用其全国公众舆论参考调查 (NPORS)》首先出现在皮尤研究中心。
美国政府问责署发现国防部 (DOD) 通过 TRICARE 为 900 多万受益人(包括服役人员、退休人员及其符合条件的家庭成员)提供医疗保健。所提供的医疗保健包括行为健康护理,包括精神健康状况和物质使用障碍的治疗。TRICARE 受益人可以在国防部设施或通过 TRICARE 东部和西部地区的民间医疗服务提供者网络接受护理。管理这些网络的承包商在每个地区提供在线医疗服务提供者目录,以帮助受益人从网络医疗服务提供者处获得护理。这些承包商必须确保目录中 100 多万家医疗服务提供者列表的准确性,并通过专有方法每月对所有医疗服务提供者列表样本进行审核来做到这一点。国防部则监控这些审核的结果,以确保网
U.S. Territories: Coordinated Federal Approach Needed to Better Address Data Gaps
美国政府问责局发现联邦统计产品中,美国领土美属萨摩亚、北马里亚纳群岛联邦 (CNMI)、关岛、波多黎各联邦和美属维尔京群岛 (USVI) 的数据经常存在缺口。例如,美国国家农业统计局向美国政府问责局报告的 52 份统计产品中,只有一份——农业普查——包括这些领土。美国劳工统计局报告的 21 份产品中,没有一份包括美属萨摩亚或北马里亚纳群岛联邦,而波多黎各则被列入最多的一份——有 4 份。美国政府问责局还发现,即使领土被列入联邦统计产品,与美国其他地区相比,领土数据的及时性和质量衡量标准也可能存在差异。多种因素导致数据缺口。与机构授权法规、数据收集成本和领土地理相关的因素也会导致数据缺口。下图说
Tax Gap: IRS Should Take Steps to Ensure Continued Improvement in Estimates
美国政府问责署的发现根据美国国税局 (IRS) 最新的税收缺口估计,纳税人自愿及时缴纳了 2014-2016 纳税年度应缴纳税款的 85% 左右。IRS 最近预测,到 2021 纳税年度,税收缺口将扩大到 6880 亿美元。但是,相对于整体经济来衡量,税收缺口仍然相对稳定。美国国税局 2014-2016 纳税年度年度平均税收缺口估计在制定估计值时,IRS 将统计技术应用于国家研究计划 (NRP) 审计数据,以解释审查人员在审计中未发现的不合规行为。应用这种技术几乎使个人少报税收缺口估计值翻了一番,从 1450 亿美元增加到 2780 亿美元。IRS 尚未进行分析以了解这种未发现不合规行为估计的
GAO 的发现能源部 (DOE) 在 2018 财年至 2023 财年的 654 个研发项目中拨款近 14 亿美元,用于支持碳捕获、利用和储存以及直接空气捕获技术。DOE 化石能源和碳办公室管理层 (FECM) 管理着 9.5 亿美元(69%)的资金和 410 个项目(63%)。 2018 至 2023 财年,能源部按办公室和项目类型划分的碳捕集项目义务 基于对能源部文件的审查通过对 40 个项目进行不可概括的抽样,GAO 确定了能源部办公室用来管理风险的几种做法,例如风险审查。然而,FECM(负责大多数项目,包括 GAO 抽样的 40 个项目中的 25 个)采用了如下所述的可能会降低项目成功
本报告中的分析基于 2023 年 9 月 26 日至 10 月 23 日进行的一项自我管理的网络调查,样本包括 1,453 个二人组,每个二人组(或一对)由一名 13 岁的美国青少年组成到 17 岁,每个青少年需要一位家长。整个样本的抽样误差幅度[…]后方法论首先出现在皮尤研究中心。
U.S. Territories: Coordinated Federal Approach Needed to Better Address Data Gaps
GAO 的发现联邦统计产品中美属萨摩亚、北马里亚纳群岛联邦 (CNMI)、关岛、波多黎各联邦和美属维尔京群岛 (USVI) 的数据经常存在缺口。例如,在国家农业统计局向政府问责局报告的 52 种统计产品中,只有农业普查包括领土。在美国劳工统计局报告的 21 种产品中,没有一个产品包含美属萨摩亚或北马里亚纳群岛联邦,而波多黎各则包含在其中最多的产品中——有 4 种。美国政府问责局还发现,即使领土被纳入联邦统计产品,与美国其他地区相比,领土数据的及时性和质量衡量也可能存在差异。造成数据差距的因素有几个。下图说明了这样一个因素,即基于较小司法管辖区抽样的统计产品必须对更高比例的人口进行抽样,才能达到
Economic Development: Additional Training Could Help Small Lenders Implement Technology
GAO 的发现社区发展金融机构 (CDFI) 是向服务不足的社区提供金融产品和服务的贷款机构,而可被认证为 CDFI 的少数族裔存款机构 (MDI) 通常是主要由少数族裔个人拥有的银行或信用合作社或服务少数群体。根据政府问责局对 CDFI 和 MDI 的调查,许多小型 CDFI 和 MDI 报告称,他们缺乏提供在线服务或承保贷款、管理运营和更有效地开展外展所需的技术。一些小型机构的政府问责局官员表示,他们的技术有限,例如缺乏提供移动银行服务的能力,限制了他们为服务不足的社区提供服务的能力。 GAO 的一项调查显示,技术成本和员工能力有限是 CDFI 和 MDI 无法获得所需技术的最常见原因。这
Assistant Secretaries of the Navy Visit Maine Defense Industry, Establish New Industry Group
美国海军研究实验室(NRL)研究员Saikat Dey博士,被任命为美国航空和宇航学研究所(AIAA),为航空航天专业的重要和持久贡献。 缅因州桑福德 - 尼克拉斯·盖尔汀(Nickolas Guertin)的海军研究,发展和收购助理部长(ASN -RDA)参加了缅因州国防工业联盟(MDIA)的启动,他在那里发表了言论并从媒体上提出了疑问。 夏威夷的珍珠港 - 珍珠联合基地 - 海军将自愿继续对联合基地珍珠港 - 希卡姆供水系统进行大规模抽样,以额外的一年。 地中海 - 𝐍𝐚𝐯𝐚𝐥𝐍𝐚𝐯𝐚𝐥𝐅𝐨𝐫𝐜𝐞𝐬𝐚𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫𝐨𝐟(𝐓𝐎𝐀),𝐚𝐬𝐬𝐮𝐦𝐢𝐧𝐠𝐚𝐬𝐬𝐮𝐦𝐢𝐧𝐠𝐚𝐬𝐬𝐮𝐦𝐢𝐧𝐠𝐜𝐨
SECNAV Del Toro Stresses DON’s Support of Small Businesses During National 8(a) Conference
夏威夷的珍珠港 - 珍珠联合基地 - 海军将自愿继续对联合基地珍珠港 - 希卡姆供水系统进行大规模抽样,以额外的一年。
Grants Management: Action Needed to Ensure Consistency and Usefulness of New Data Standards
GAO 的发现管理和预算办公室 (OMB) 和卫生与公共服务部 (HHS) 已部分满足《2019 年拨款报告效率和协议透明度法案》(GREAT 法案)中与以下相关的三个已过截止日期之一:数据标准。 OMB 和 HHS 在 2021 年 6 月确定和定义了 540 个拨款数据元素,部分满足了建立政府范围数据标准的最后期限。这一最后期限已部分满足,因为其中 501 个元素不完全可操作的数据标准,因为它们不包括重要的技术规范图:截至 2023 年 12 月,OMB 和 HHS 满足 2019 年《拨款报告效率和协议透明度法案》中部分法定要求的程度a 该要求的满足应不迟于颁布后一年或数据标准建立后。酒
美国政府问责局的发现退伍军人上诉委员会 (Board) 有一个质量保证 (QA) 流程和相关的决策准确性衡量标准。具体来说,其 QA 流程包括:1) 每月通过案件审查流程检查随机抽样的决策草案是否存在委员会定义的某些类型的错误;2) 监控进一步上诉至美国退伍军人索赔上诉法院 (CAVC) 的委员会决策结果。委员会利用这些活动的结果提供各种干预措施,例如向退伍军人法官 (VLJ) 提供个人反馈或培训。委员会还计算并发布代表无错误裁决的准确率。但是,美国政府问责局发现委员会计算此指标的过程存在不足。与联邦内部控制标准相反,GAO 发现委员会没有:(1) 制定计算其准确率或管理案例审查错误数据的书面
美国政府问责署的发现基于统计抽样和归因技术,美国政府问责署估计,COVID-19 疫情期间失业保险 (UI) 计划的欺诈金额可能在 1000 亿美元至 1350 亿美元之间。这分别约占疫情期间支付的 UI 福利总额的 11% 和 15%。美国政府问责署的估计时间范围为 2020 年 4 月(所有 UI 计划支付的第一个完整月份)至 2023 年 5 月(公共卫生紧急事件结束)。该估计涵盖了参与常规和临时 UI 计划的所有 53 个州。疫情期间 UI 欺诈的全部范围可能永远无法确定。在评论本报告的草稿时,美国劳工部 (DOL) 对美国政府问责署的欺诈估计方法表示担忧,并表示最终的估计可能被夸大了
Tax Gap: Modest Reductions in the Gap Could Yield Large Fiscal Benefits
总体情况美国国税局 (IRS) 估计,2014-2016 纳税年度的税收缺口(即纳税人应缴纳的税额与他们实际自愿按时缴纳的税额之间的差额)为每年 4960 亿美元。税收缺口是一个复杂的问题,需要多方面解决。缺口的轻微缩小可能会给联邦政府带来巨大的财政利益。IRS 2014-2016 纳税年度年度平均税收缺口估计值 IRS 使用几种方法来估计税收缺口的不同组成部分,但这些方法都有局限性。估计值可能存在测量和抽样误差,并且可用信息的质量也可能会有所不同。此外,估计值并不能完全反映税收制度的所有领域。例如,由于数据不可靠或不可用,外国或非法活动、数字资产和一些公司所得税并未完全包括在内。尽管存在这些
Stanford AI Lab Papers and Talks at AAAI 2022
第 36 届 AAAI 人工智能会议 (AAAI 2022) 将于 2 月 22 日至 3 月 1 日以线上方式举办。我们很高兴与大家分享 SAIL 展示的所有成果,您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者,了解更多有关斯坦福大学正在进行的工作的信息。已接受论文列表去中心化合作匪徒团队中的合作伙伴感知算法作者:Erdem Bıyık、Anusha Lalitha、Rajarshi Saha、Andrea Goldsmith、Dorsa Sadigh联系人:ebiyik@stanford.edu链接:论文 | 视频 | 第二段视频 |网站关键词:bandits、多智能体系统、协作
Stanford AI Lab Papers and Talks at AAAI 2022
第 36 届 AAAI 人工智能会议 (AAAI 2022) 将于 2 月 22 日至 3 月 1 日以线上方式举办。我们很高兴与大家分享 SAIL 展示的所有成果,您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者,了解更多有关斯坦福大学正在进行的工作的信息。已接受论文列表去中心化合作匪徒团队中的合作伙伴感知算法作者:Erdem Bıyık、Anusha Lalitha、Rajarshi Saha、Andrea Goldsmith、Dorsa Sadigh联系人:ebiyik@stanford.edu链接:论文 | 视频 | 第二段视频 |网站关键词:bandits、多智能体系统、协作