XiaoMi-AI文件搜索系统
World File Search System身临其境
元宇宙中最先进的人机交互
摘要 随着元宇宙概念的不断深入，人类在智能技术进步中迈上了新的高度。本文对当前元宇宙中人机交互的研究进行了文献综述，以“元宇宙”、“人机交互”、“虚拟空间”、“虚拟技术”、“三维重建”、“平行宇宙”、“独立身份”、“兴趣获取”、“区块链”等关键词在 Scopus、Web of Science、Google Academic 等数据库的文献中查找相关文章，从 2018 年至 2023 年的 20 000 多篇文献中筛选出近 100 篇关于元宇宙的前沿研究。最后，运用 PRISMA 原则探索和描述元宇宙底层技术的当前应用状态，这些技术包括第五代通信、人机交互、虚拟技术、区块链、3D 重建等。此外，还对人机交互在元宇宙的未来发展做出了预测。评论认为，5G连接的快速推进使元宇宙的概念成为可能，区块链确保了元宇宙虚拟空间中货币交易的安全。人与计算机在虚拟世界中的交互方式将走向“隐形”，换言之，人机交互在数字领域对用户来说是透明的，人与计算机将以自然、平等的方式相处。在交互中，可穿戴设备可以让交互获得身临其境的体验，但它们限制了参与者的行动和感知自由。更人性化的体感连接将在未来获得关注，让人们更接近元宇宙。
探索生成AI在原型XR应用中的潜力
涵盖虚拟现实（VR），增强现实（AR）和混合现实（MR）[1]的扩展现实（XR）的领域，近年来已经显着上升，尤其是在引入诸如Apple Vision Pro [2]和Meta Quest 3 [3]之类的现代耳机的引入中。这些设备使XR更容易获得，并为各种领域的身临其境的体验开辟了新的可能性，包括游戏，教育，医疗保健等。但是，XR应用程序的开发仍然很复杂且具有挑战性。创建沉浸式和互动体验需要技术专业知识，这是一个耗时的过程。鉴于所涉及的复杂性，原型制作在缓解这些挑战方面起着至关重要的作用。原型制作使开发人员可以快速迭代设计概念，并在开发周期的早期收集用户反馈[4]。这个迭代过程不仅有助于完善设计，而且还减少了与XR应用程序开发相关的总体工作和成本。通过原型XR应用程序，设计师和开发人员可以更好地了解用户体验，确定潜在问题并做出明智的决策，最终导致更加抛光和成功的XR体验。我们目睹了生成人工智能的利用率显着上升，尤其是在引入大语言模型[5]（例如Chatgpt [6]）之后。今天，有各种生成的AI模型可以合成新文本[6,7,8]，图像[9，10]，音乐[11]甚至视频[12]。此功能已导致
Spark：自我监督的个性化实时单眼捕获**补充材料**
3D面部绩效捕获是几种应用中的关键组成部分，包括AR或VR中的身临其境的触觉以及娱乐行业的视觉效果。生产高质量的恢复通常需要大量的财务，时间和资源投资。这不仅涉及昂贵的3D捕获设备[Beeler等。2010; Debevec等。2000]，基于精确的标记跟踪系统[Bennett and Carter 2014]或头部安装式分配[Brito and Mitchell 2019]，但也从演员那里进行了大量的捕捉时间。无标记的捕获设置是简化该管道的有希望的解决方案，但是高质量的结果仍然依赖于复杂的钻机[Helman等。2020]或大型个性化培训数据集[Laine等。2017; Wu等。2018]。在频谱的另一端是3D重建方法，可以在负担得起的消费者等级硬件中使用图像或视频操作。主要思想是使用3D面的统计模型 - 所谓的3D形态模型（3DMMS），它们使用基于优化的[Andrus等人都拟合到RGB图像或2D地标。2020; Zielonka等。2022]或基于学习的方法[Danecek等。2022;冯等人。2021; Retsinas等。2024]。统计模型的先验知识有助于克服问题的不良性质，而基于学习的技术的发展使姿势，照明和闭塞的前所未有的鲁棒性。但是，这是以较低的几何质量为代价的，仅提供了形状和表达的粗略近似，而该形状和表达却差不多。
计算机在人类行为中的应用报告
虚拟现实 (VR) 技术越来越多地应用于一系列研究领域，例如社会互动研究（Pan & Hamilton, 2018）和情景记忆（Smith, 2019）或精神障碍治疗（Freeman et al., 2017）。在行为研究中，让参与者或患者沉浸在虚拟世界中的典型动机是为了提高生态效度，而传统的实验室设置通常被发现只能提供对现实世界情况的有限概括性（例如，与计算机显示器上相应的刺激相比，对现实生活体验的不同处理（Laidlaw et al., 2011; Rubo, Lynn, & Gamer, 2020）和大脑对现实生活体验的不同反应（Cabeza et al., 2004; Chow et al., 2018; Pônkôanen et al., 2010））。与日常生活中的体验类似，VR 允许用户自由地环顾四周并使用双目视觉检查物体，通常会在虚拟世界中引发存在感或身临其境感（Sanchez-Vives & Slater，2005；Skarbez 等人，2017），并允许大脑按照类似于现实生活中的预测性具体模拟采取行动（Riva 等人，2019）。同时，VR 保留了与其他实验技术相同的实验控制水平。来自各个研究领域的研究结果现在都支持这样一种观点，即 VR 中的体验可能在某些关键维度上与现实生活中的体验相对接近。例如，使用 VR 进行的暴露疗法治疗特定恐惧症被发现可以很好地推广到现实世界的情况（Freeman 等人，2017；Morina 等人，2015），这表明恐惧反应可能无法区分习惯化
年度报告2023
战略转型：RWS 2.0我们的旗舰综合度假胜地，Resorts World Sentosa（RWS）正在启动其下一章，并具有一项有远见的计划，可以转变为具有全新游客体验的优质可持续旅游目的地。被称为RWS 2.0，该转型计划将提供新的且高度提升的顶级景点，酒店客房和套房，以及娱乐和生活方式的产品，从2025年初开始逐步。新加坡环球影城将设有一个新的，身临其境的主题区域，即照明的奴才土地。S.E.A.水族馆的规模将增加两倍，并将其更名为新加坡大洋洲，那里将在很大程度上未开发的深海和新加坡沿海生态系统的代表上有新的迷人海洋区域。RWS 2.0的核心是一个令人惊叹的海滨开发项目，在这本年度报告的封面上描绘了艺术家的印象。这个开创性的项目定于2024年开始建设，将是新RWS的一个定义功能。它将包括屡获殊荣的公司Benoy的非凡生物熟练建筑设计中的700个酒店钥匙和体验式生活方式。新的海滨将由著名的希瑟威克工作室（Heatherwick Studio）进一步锚定，这是一个迷人的新景点，将改变新加坡的天际线，并成为通往RWS和大南部海滨区的巨大门户。随着整个海滨开发的形成，RWS将牢固地确立自己在亚洲最受欢迎的旅游目的地，在未来十年内推动新的旅游业增长。
使用机器人角色扮演角色扮演：通过叙事和游戏代理增加用户参与
现场娱乐活动正朝着更大的参与式审议迈进，并通过观众互动讲述了动态的叙述。robot角色提供了一个独特的机会，可以减轻大规模创建个性化娱乐的挑战。但是，机器人通常无法对受众的反应做出反应，从而限制了观众参与的机会。在这项工作中，我们探讨了在具有机器人角色的现场娱乐体验中增加用户代理的方法，以改善用户参与度和享受。在受试者间研究（𝑁= 60）中，我们创建了一个身临其境的故事，用户角色扮演作为具有两个不同机器人角色的侦探。用户（1）通过与机器人交谈（叙事条件）交谈，在故事中具有更大的参与和自我认同，（2）在解决难题（游戏玩法）（游戏玩法）中具有更积极的作用，或者（3）在不受机器人提示的情况下跟进输入（CON-TROL条件）。我们的结果表明，在角色扮演或游戏玩法中，在角色扮演体验中增加用户代理，证明了用户的流动状态，自主性和能力的感觉，口头参与以及对机器人角色参与度的看法。不断增加的叙事机构还导致了参与者的更长的未提及的反应，而游戏机构改善了与机器人的影响和相关性的感觉。这些发现表明，创建叙事或游戏机构可以改善用户参与度，这可以扩展到更广泛的机器人互动，其中游戏元素和故事中的角色扮演可以合并。
飞行模拟器控制加载系统文献综述
飞行模拟器有不同的用途。由于硬件限制，全尺寸飞行模拟器通常非常昂贵，并且通常取决于飞机类型。因此，人们发现并研究了使用虚拟现实设计飞行模拟器的需求 [1-2]。训练飞行员最安全、最经济的方式是通过飞行模拟器。模拟器可以帮助飞行员体验各种涉及真实飞行的情况，而无需身临其境，从而避免风险。飞行模拟器的重要部分是所谓的控制负载系统。飞行装置实例的数量用于管理飞机的运动、飞行控制和驾驶舱仪表。该系统包括硬件和软件部分。通过数字计算机上的程序员进行的模拟属于软件，结构研究属于硬件。另外两个软件模块支持模拟，其中一个控制驾驶舱在 6 个自由度上的运动，另一个实现驾驶舱控制上的负载再现系统 [3]。飞行模拟器是人在回路的实时模拟系统，采用控制加载系统模拟飞行员操纵真实飞机时的力感应。全数字控制电控加载系统比液压系统具有技术和成本优势，成为大型模拟器的理想选择 [4]。在过去的几十年里，飞行模拟器在飞行员训练中发挥了重要作用，提高了飞行安全性。目前，飞行模拟器的监管资格标准涉及在规定的容差范围内匹配一组规定的飞行测试数据和各种飞机参数。尽管全面的资格测试指南 (QTG) 验证测试表明模拟与飞行测试数据相匹配，但飞行员有时会抱怨模拟器中的某些机动感觉不像飞机 [5]。
飞机控制加载系统文献综述...
飞行模拟器有不同的用途。由于硬件限制，全尺寸飞行模拟器通常非常昂贵，并且通常取决于飞机类型。因此，人们观察到并研究了使用虚拟现实设计飞行模拟器的需求 [1-2]。训练飞行员最安全且最具成本效益的方式是通过飞行模拟器。模拟器可帮助飞行员体验涉及真实飞行的各种情况，而无需身临其境并避免风险。飞行模拟器的重要部分是所谓的控制加载系统。飞行装置实例的数量用于管理飞机的运动、飞行控制和驾驶舱仪表。该系统包括硬件和软件部分。通过数字计算机上的程序员进行的模拟属于软件，而结构研究属于硬件。另外两个软件模块支持模拟，其中一个控制 6 个自由度的座舱运动，另一个实现座舱控制装置上的负载再现系统 [3]。飞行模拟器是一种人在回路的实时模拟系统，其中控制加载系统用于模拟飞行员操纵真实飞机时的力感应。全数字控制电控加载系统比液压系统具有技术和成本优势，成为大型模拟器的理想选择 [4]。在过去的几十年里，使用飞行模拟器进行飞行员训练在提高飞行安全性方面发挥了重要作用。飞行模拟器监管资格的现行标准涉及在各种飞机参数的设定公差范围内匹配规定的一组飞行测试数据。尽管综合资格测试指南 (QTG) 验证测试表明模拟与飞行测试数据相符，但飞行员有时会抱怨模拟器中的某些操作感觉不像飞机 [5]。
整合强化学习和认真的游戏，以支持罕见的遗传疾病和神经发育障碍的人：父母和看护者的结果
个体正在努力应对罕见的遗传疾病，例如Angelman，Cornelia de Lange，脆弱的X和RETT综合征，在导航其日常环境时面临着巨大的挑战。除了智力障碍，沟通统计和感官障碍外，这些人还经常患有严重的运动障碍。这种复杂的情况不仅严重损害了他们的生活质量，而且对照料者和家庭造成了增加的负担（Krath等，2021）。为了应对这些挑战，技术干预已成为有前途的解决方案。认真的游戏并利用新技术，具有教育，诊断和康复目的的身临其境和娱乐性的体验。越来越多地采用了基于人工情报的计划，尤其是那些采用强化学习的程序。这种复杂的方法涉及一种人工智能的代理，与参与者的表现不断相互作用，以实时调整任务或活动的复杂性或困难（Krath等，2021; Liu等，2022）。这种个性化的适应性确保了最佳的用户参与度和效果。在本文中，我们主张将严肃的游戏和强化学习的整合到服务和康复目标。这种合并的方法可能提出了一种量身定制的解决方案，以促进患有罕见遗传疾病的个体的适应性反应。我们探索了各种领域，包括具有执行功能的认知技能，沟通能力和管理具有挑战性的行为。我们承认对参与者的生活质量的深刻影响，提供了说明性的例子来强调我们的观点。我们的创新方法将游戏融合与伯爵的认知发展理论相结合，将其分类为促进新的适应技巧的认知框架（Robb等，2019）。
探索双人机器人操纵中的主动视力
摘要 - 模仿学习在使用相机的视觉反馈执行高精度操纵任务方面具有巨大的潜力。但是，在模仿学习的常见实践中，将摄像机固定在适当的位置，从而导致遮挡和有限的视野等问题。此外，摄像机通常被放置在宽阔的一般位置，而没有特定于机器人任务的有效观点。在这项工作中，我们研究了主动视力（AV）对模仿学习和操纵的效用，在该工作中，除了操纵政策外，机器人还从人类的演示中学习了AV政策，以动态地改变机器人的相机观点，以获取有关其环境和给定任务的更好信息。我们介绍了AV-Aloha，这是一种带有AV的新型双层远程处理机器人系统，AV的扩展是Aloha 2机器人系统的扩展，并结合了一个仅携带立体声摄像机的额外的7多型机器人臂，仅负责找到最佳视图点。此相机将立体视频流向戴着虚拟现实（VR）耳机的操作员，使操作员可以使用头部和身体运动来控制相机的姿势。该系统提供了具有双层第一人称控制的身临其境的远程操作体验，从而使操作员能够动态探索和搜索场景并同时与环境进行交互。我们在现实世界和模拟中对系统进行模仿学习实验，这些任务强调观点计划。项目网站：https：//soltanilara.github.io/av-aloha/我们的结果证明了人类引导的AV在模仿学习中的有效性，显示了可见性有限的任务中固定相机的显着改善。