XiaoMi-AI文件搜索系统
World File Search System视频流
视频流的测试时间培训
先前的工作已建立了测试时间培训（TTT）作为一般框架，以进一步改善训练有素的模型。在对每个测试实例进行预测之前，模型首先是在同一实例上使用自我监督的任务（例如重建）进行训练。我们将TTT扩展到流设置，其中多个测试实例（我们的情况下的视频帧）以时间顺序到达。我们的扩展名是在线ttt：当前模型是从上一个模型初始化的，然后在当前框架和一个小框架上进行了训练。在线TTT在三个现实世界数据集上显着优于四个任务的固定模型基线。改进超过2.2×和1.5倍，例如全盘分段。令人惊讶的是，在线TTT还胜过其offline变体，该变体严格访问更多信息，对整个测试视频中的所有帧进行培训，而不管时间顺序如何。此发现，使用合成视频挑战了先前的工作中的挑战。我们将当地的概念形式化为在线优于offl ttt的优势，并通过消融和基于偏见 - 差异交易的理论分析其作用。
卫星：交付视频流的未来
全球大流行导致了利用流媒体平台，深入电视盒子和最新电影的人数的前所未有的增长。此外，随着我们在室内大大移民生活时，国家锁定也影响了我们的工作和社会生活。这没有放缓的迹象，因为预计到2024年，在西欧订阅了视频服务用户将增长到1.63亿。服务提供商必须竭尽全力利用并利用新技术，以便为其订户带来收益。超越了提供不断且可靠的宽带连接的传统方法至关重要，尤其是在地面基础设施不可用或昂贵的领域。卫星宽带，传统上不被认为是基于Internet的视频流的选项，已经将最偏远的位置连接到内容，这是有充分理由的。
一项有关视频流的能耗和环境影响的调查
气候变化挑战需要在技术领域的全球温室气体（GHG）排放量显着减少。数字技术，尤其是视频流，计算大多数互联网流量，也不例外。视频流需求随着远程工作，多媒体通信服务而增加（例如，WhatsApp，Skype），视频流内容（例如，YouTube，Netflix），视频分辨率（4K/8K，50 fps/60 fps）和多视频视频，使能耗和环境足迹至关重要。这项调查通过为研究人员，开发人员和工程师，服务提供商，托管平台和消费者提供有关最先进和潜在的未来方向的见解，从而有助于更好地了解可持续和高效的视频流技术。我们扩大了这项调查的关注内容，基于观察到的观察，即视频流下的连续活动的网络设备消耗了与传输数据类型无关的大量能量。我们提出了影响视频流中能源消耗的因素的分类法，例如编码方案，资源需求，存储，内容检索，解码和显示。我们确定了需要进一步研究以提高能源效率的视频流中的显着弱点：（1）HTTP实时流中的固定比特率梯子； （2）现有视频播放器的无效硬件利用； （3）缺乏涵盖可再现研究的各种设备类型和编码参数的全面开放能量测量数据集。
HTTP 视频流：质量 - 可靠性 - 延迟三角
摘要 — 如今，IP 视频流量占据了互联网上全球 IP 流量的绝大部分，这一趋势不仅受到个人电脑使用的影响，还受到移动设备和智能电视作为用户主要娱乐消费设备的日益普及的影响。截至 2018 年，主要的交付范例是基于 HTTP 的自适应流式传输，该技术通过 HTTP/TCP 数据包传输预编码的视频片段。虽然人们为实现令人满意的视觉体验付出了很多努力，但所有著名的 HAS 协议仍然没有解决一个关键问题：交付延迟。术语“延迟”表示从视频被捕获到显示在用户设备上的时间，这是观看体育或事件等现场活动的一个关键方面。在本白皮书中，我们将评估一些创新方法和技术进步，这些方法和技术进步可以重新平衡视觉质量、网络可靠性和占用率与传输延迟之间的三角关系，首先检查导致 HAS 协议延迟增加的原因，然后研究该领域一些最有前景的提案。
屏幕背后的外观：检查社交媒体和视频流服务的数据实践
今天，委员会正在批准发布一份开创性报告，阐明了这些强大的公司的运作方式。它显示了科技行业的个人数据货币化如何为商业监视创造了一个市场，尤其是通过社交媒体和视频流服务，并且护栏不足以保护消费者。该报告发现，这些公司从事用户的大规模数据收集，在某些情况下 - 非用户。它表明，许多公司未能实施足够的保护措施，以抵御隐私风险。它阐明了公司如何使用我们的个人数据，从提供超颗粒的目标广告到为塑造我们看到的内容的算法的动力，通常是要让我们迷上使用该服务。发现这些做法对儿童和青少年构成了独特的风险，这些公司对政策制定者，心理学家和父母对年轻人的身心健康的有效关注做出了有效的反应。
burtlink：用于传统和虚拟现实系统的节能视频显示技术
传统的平面视频流是移动系统中最流行的应用。360◦视频内容和虚拟现实（VR）设备的快速增长正在加速VR视频流的采用。不幸的是，由于视频流过程中涉及的主要系统组件（例如，DRAM，显示界面和显示面板）的高功耗（例如DRAM，显示界面和显示面板），视频流消耗了大量的系统能量。例如，在召开平面视频流中，视频解码器（在处理器中）解码视频帧，并将它们存储在DRAM主内存中，然后在显示控制器（在处理器中）将解码的帧从DRAM传输到显示面板。此系统体系结构导致大量数据移动到DRAM以及高DRAM带宽使用情况。因此，DRAM本身消耗了超过30％的视频流能量。我们提出了burstlink，这是一种新型的系统级技术，它证明了平面和VR视频流的能源效率。burtlink基于两个关键想法。首先，burtlink直接从视频解码器或GPU传输了一个解码的视频框架到显示面板，完全绕过主机DRAM。到此目的，我们使用双重远程帧缓冲区（DRFB）而不是DRAM的双帧缓冲区扩展了显示面板，以便系统可以使用新框架直接更新DRFB，同时使用DRFB中存储的当前帧更新显示面板的像素。第二，使用现代显示界面的最大带宽将完整的解码框架以单个爆发的形式传输到显示面板。与传统的系统不同，帧传输速率由显示面板的像素上的吞吐量限制，burtlink始终可以通过将帧传输从drfb启用的像素更新中解除帧传输来充分利用现代显示器接口的高带宽。这种直接和突发的框架转移链接链接的这种直接和爆发的框架转移可显着降低视频显示的能量消耗1）通过1）减少对DRAM的访问，2）增加怠速功率状态的系统的居留性，3）在快速传输后，启用了几个系统组件的时间功率传输 - 每个系统组件将每个帧转移到DRFB中。
在...
摘要 - 随着对高质量视频内容交付的需求不断上升，自适应视频流的重要性已变得至关重要。通过机器学习算法促进的实时适应，通过基于网络条件和设备功能动态调整视频质量，站在增强用户体验的最前沿。本评论论文全面探讨了与自适应视频流中实时机器学习算法相关的挑战和机会。我们深入研究了延迟，计算要求和可扩展性的复杂性，以解决视频流协议不断发展的景观。论文调查了使用机器学习模型进行比特率适应的使用，并在考虑计算效率的同时检查了它们在最小化延迟中的作用。此外，我们探索了在实时机器学习系统中优化计算要求和可扩展性的策略。通过对案例研究和实施的彻底分析，我们展示了从部署实时自适应流媒体解决方案中学到的实际应用和经验教训。最后，我们提出了未来的方向和机会进行进一步研究，阐明了在自适应视频流中实时适应和机器学习的交集。本综述旨在全面了解该领域的现状，并激发这个快速发展的领域的未来进步。关键字 - 实时自适应流，机器学习算法，延迟优化，可伸缩性挑战，个性化用户体验。
系统工程师对视频能源效率的看法...
摘要 — 近年来，全球范围内的在线视频服务使用量迅速增长。如今，视频流、视频会议、直播和社交网络等多种应用都利用了这项技术。最近的一项研究发现，这些服务的发展和成功导致如今全球超过 1% 的温室气体排放与在线视频有关，年增长率接近 10%。本文从系统工程师的角度回顾了有关在线视频能耗的最新发现，其中系统工程师是典型在线视频服务的设计者和运营商。我们讨论了所有相关的能源消耗，强调了与服务质量变量以及视频属性的依赖关系，回顾了文献中不同设备的能耗模型，并将这些现有模型汇总为通用在线视频服务总体能耗的全局模型。通过分析该模型及其含义，我们发现终端用户设备和视频编码具有最大的节能潜力。最后，我们概述了视频流能源效率改进的最新进展，并提出了节能视频流服务的未来研究方向。
