人机在体力任务中的协作

TL;DR:在 SmashLab,我们正在创建一个智能助手,它使用智能手表中的传感器来支持烹饪和 DIY 等物理任务。这篇博文探讨了我们如何使用与摄像头相比侵入性更低的场景理解来实现有用的、情境感知的交互,以便在日常生活中执行任务。想过让 AI 助手执行数字世界以外的任务吗?每天,我们都会执行许多任务,包括烹饪、手工制作和医疗自我护理(例如 COVID-19 自检试剂盒),这些任务涉及一系列离散步骤。准确执行所有步骤可能很困难;例如,当我们尝试一种新食谱时,我们可能会在任何步骤产生疑问,并且可能会因为跳过重要步骤或按错误顺序执行而犯错。这个项目,即传感模块的程序交互 (PrISM),旨在通过基于对话的交互支持用户执行此类任务。通过使用摄像头等传感器、智能手表等可穿戴设备以及多普勒雷达等隐私保护环境传感器,助手可以推断用户的背景(他们在任务中正在做什么)并提供情境化的帮助。要实现类似人类的帮助,我们必须考虑很多事情:代理如何理解用户的背景?应该如何 [...]

来源:ΑΙhub

作者:荒川陆

荒川陆

TL;DR:在 SmashLab,我们正在创建一个智能助手,它使用智能手表中的传感器来支持烹饪和 DIY 等物理任务。这篇博文探讨了我们如何使用与相机相比侵入性较小的场景理解来为日常生活中的任务执行提供有用的、上下文感知的交互。

SmashLab

考虑使用人工智能助手来完成数字世界之外的任务吗?我们每天都会执行许多任务,包括烹饪、手工和医疗自我护理(如 COVID-19 自检套件),其中涉及一系列离散步骤。准确执行所有步骤可能很困难;例如,当我们尝试新的食谱时,我们可能在任何步骤中都会遇到问题,并且可能会因跳过重要步骤或以错误的顺序执行而犯错误。

考虑使用人工智能助手来完成数字世界之外的任务吗?

该项目名为“传感模块程序交互”(PrISM),旨在支持用户通过基于对话的交互来执行此类任务。通过使用相机等传感器、智能手表等可穿戴设备以及多普勒雷达等隐私保护环境传感器,助手可以推断用户的上下文(他们在任务中正在做什么)并提供上下文相关的帮助。

该项目名为“传感模块程序交互”(PrISM),旨在支持用户通过基于对话的交互来执行此类任务。 传感模块 (PrISM) 的程序交互
PrISM 框架概述:多模态感知、用户状态跟踪、上下文感知交互以及实现共同目标的共同适应。

为了实现类人的协助,我们必须考虑很多事情:代理如何理解用户的上下文?它应该如何回答用户自发的问题?什么时候应该决定主动干预?最重要的是,人类用户和人工智能助手如何通过日常互动共同发展?

人体活动识别 PrISM 6