我的目标是构建可以帮助实现现实任务的人的交互式AI系统,例如使机器人能够根据语言教学“洗衣服”执行家庭任务,或者允许数字助手通过与他们交谈来帮助盲目的视觉挑战。为了构建类似的系统,我进行了跨学科研究,该研究涵盖了计算机视觉,自然语言处理和机器人技术的交集。我的研究重点是基础:将语言与感知(主要是视觉)和动作联系起来,使机器能够理解物理世界的语义。通过整合这些不同学科的见解,我试图促进可以看到,交谈和采取行动的AI代理的发展,从而为解决社会需求并推动AI能力界限的解决方案做出了贡献。视觉是人类智力最重要的方式之一。为了弥合视觉和语言之间的差距,我开发了视觉上的交互式系统,这些系统可以与人类有关图像的连续沟通[1,2,3]。训练这些系统的主要瓶颈是缩放视觉接地的对话数据的困难。为了应对这一挑战,我引入了一种新方法,该方法会自动生成有关从网络获得数百万张图像的合成对话数据。通过利用综合数据来训练视觉接地的对话系统,我发现它们在与人交谈时会对图像产生准确而强大的响应。我已经将基于图像的系统扩展到基于视频的交互式系统[4]。我们提出了一种方法,以有效地融合以语言为基础的时间和空间信息,考虑到视频数据的独特属性。幼儿不仅通过感知来了解物理世界的语义,而且还通过与环境互动来操纵他们的感知[5]。这种观点帮助我将视觉扎根的系统扩展到体现的AI系统[6,7,8],这些系统通过与人类的语言互动执行现实世界任务。我的工作专注于语言引导的机器人操纵,在该机器人手臂上应根据人类用户的自然语言指导来操纵对象。我研究了一种新的方案,其中初始指令在不提及目标对象的情况下模棱两可。体现的系统应通过查看和与用户对话来消除目标对象。我的工作成功 - 完全与人类互动以最小的互动来执行真实的任务。
来自新泽西州樱桃山的托尼娅·霍顿在 40 多岁时发现为什么做饭、打扫卫生甚至上下班都会让她疼痛难忍。她的膝盖再也不听使唤了。她患有未确诊的关节炎。她位于郊区的三层住宅,洗衣机烘干机放在地下室,主卧室在顶楼,很快它就变成了一个障碍训练场而不是避难所。“我过去习惯的那些日常事务,现在都不能做了,”霍顿回忆道,她是一家教育非营利组织的执行副总裁。“上下楼梯洗衣服和上下车都太痛苦了。”她的膝盖一直有抽痛和刺痛的感觉。只有休息和服用对乙酰氨基酚才能暂时缓解。最重要的是,她再也不能穿她那双可爱的高跟鞋和靴子了。“这太可怕了。 “我以前经常出差,长时间坐在飞机上会感到不舒服,”她说道。“而且疼得太厉害了,我无法锻炼。” 2019 年,霍顿去找她的初级保健医生寻求帮助。医生让她做膝盖 X 光检查,并把她转介给了一位骨科医生,这位医生专门治疗影响身体骨骼和软组织的肌肉骨骼问题。骨科医生告诉霍顿一个令人惊讶的消息:“你的膝盖就像一个 70 岁老太太的膝盖,”霍顿回忆起医生告诉她的那样。他走进房间时,以为自己会看到一位老年人。“我当时 45 岁。”霍顿的诊断结果是:骨关节炎 (OA)。“他说病情相当严重,是骨对骨的,我需要在 50 岁时进行膝关节置换手术,”霍顿回忆道。霍顿简直不敢相信自己的耳朵。骨关节炎?她的母亲和祖母患有关节炎,但她最没想到医生会告诉她这个消息。“我以为我的膝盖扭伤了或者撕裂了,”她说。骨科医生讨论了霍顿的选择,并说如果她控制疼痛、减肥,并最终考虑手术,她可以带着骨关节炎过上充实的生活。忽视它可能会导致关节畸形。霍顿说她不适合做膝关节置换手术
Hillingdon作为自治市镇有许多优势:在其学校和早期环境中;它是杰出而创新的进一步教育提供者;一所世界知名大学;杰出的儿童和青少年社会护理;在需要额外帮助时,可以在各种各样的环境和支持服务中为儿童,年轻人和家庭提供支持;一种蓬勃发展的当地经济,将我们的学生视为他们的下一个员工,领导者,创新者和企业家。但是,我们需要更加协作地利用这些优势来应对在这十年中引起的挑战,这些挑战威胁着我们一些年轻人学习,进步,取得进步,实现和进入成人生活的能力,使他们能够带领他们在民主国家中带来各种各样的,实现的生活。我们的孩子和年轻人雄心勃勃和有抱负。他们从16岁时获得的教育,就业和培训机会正在迅速扩大,并且选择比以往任何时候都更大。我们需要确保所有年轻人都知道他们可用的机会,以便他们可以对自己的未来做出明智的选择。年轻人还告诉我们,他们对自己的未来非常焦虑,有些人努力了解他们将如何适应成年世界。尽管我们的许多年轻人在学校取得了成功,但越来越多的人无法实现自己的潜力,要么是因为他们自己的学习障碍,要么是因为课程太狭窄,没有提供足够的职业途径,年轻人说他们想要的。此差距从他们进入托儿所的教育开始,并继续延续到16年以后。对于处于弱势背景的年轻人和家庭来说,生活危机的大流行和成本使教育成果恶化并扩大了不平等。那些能够使用较少资源的人发现在家学习更加困难,年轻人告诉我们它如何影响他们的社交生活,身心健康以及家庭的经济状况。同时,越来越多的儿童被特殊的教育需求和残疾(发送)确定。当儿童进入托儿所并继续进行正规教育时,这变得越来越普遍。作为一名教育劳动力,我们将需要为每个人提供工具和技能,以通过主流和特殊规定来应对这些挑战。最近几年也向我们的教育者展示了最好的。我们的学校和环境是不确定时期的希望,力量和稳定的重点。他们为家庭提供早餐,午餐,洗衣服,温暖的空间和友善以及开车学习。他们是我们社区的核心,在支持更好的结果方面发挥了关键作用。我们的关键合作伙伴,例如理事会,卫生服务,公共卫生和社区组织,将需要与教育紧密合作,以确保儿童和年轻人在可能面临的挑战中继续进步。我们希望确保每个学校或设置都能分享想法并从同龄人的实践中学习,并从关键外部合作伙伴(例如教育捐赠基金)的基于证据的方法中受益。