XiaoMi-AI文件搜索系统
World File Search System通信量
嘉宾专栏：决策树与通信之间的计算模型 1
通信复杂性研究计算一个函数所需的通信量，该函数的值取决于分布在多个实体之间的信息。姚期智 [Yao79] 于 40 多年前发起了通信复杂性研究，如今它已成为理论计算机科学的核心领域，在数据结构、流算法、属性测试、近似算法、编码理论和机器学习等不同领域都有广泛应用。教科书 [KN06,RY20] 对该理论及其应用进行了出色的概述。在通信复杂性的基本版本中，两个玩家，分别称为 Alice 和 Bob，希望计算一个函数 F : X × Y →{ 0 , 1 }，其中 X 和 Y 是一些有限集。Alice 持有一个输入 x ∈ X，Bob 持有一个输入 y ∈ Y，他们希望通过按照某种协议来回发送消息来计算 F(x, y)。重要的是，Alice 和 Bob 具有任意的计算能力，因为我们只关心计算该函数需要交换多少信息。目标是设计低成本协议，以 Alice 和 Bob 交换的位数来衡量（在最坏情况下），理想情况下，我们会显示感兴趣的通信问题的通信复杂度的严格上限和下限。让 D cc ( F ) 表示确定性协议在所有输入上正确计算 F 的最低可实现成本。
可重构大规模神经形态系统的分层网络连接和分区
我们提出了一种高效且可扩展的分区方法，用于将具有局部密集和全局稀疏连接的大规模神经网络模型映射到可重构的神经形态硬件上。计算效率的可扩展性，即实际计算所花费的时间，在超大型网络中仍然是一个巨大的挑战。大多数分区算法还难以解决网络工作负载的可扩展性问题，即寻找全局最优分区并有效地映射到硬件上。由于通信被视为此类分布式处理中最耗能和最耗时的部分，因此分区框架针对计算平衡、内存高效的并行处理进行了优化，目标是低延迟执行和密集的突触存储，并尽量减少跨各个计算核心的路由。我们展示了高度可扩展且高效的分区，用于连接感知和分层地址事件路由资源优化的映射，与随机平衡分配相比，递归地显着减少了总通信量。我们展示了我们在具有不同稀疏度和扇出度的合成网络、小世界网络、前馈网络和果蝇大脑半脑连接组重建方面的成果。我们的方法和实际结果的结合表明，这是一条有希望扩展到超大规模网络和可扩展硬件感知分区的途径。