XiaoMi-AI文件搜索系统
World File Search SystemFranka
杰里迈亚·M·科霍利奇
机器人感知与学习实验室研究生 2020 年 6 月 - 至今 • 使用 Meta Quest 3 和 Franka Emika Panda 机器人设置 VR 遥控操作管道 • 在机器人演示中微调大型视觉语言模型以供操作 • 为模拟中的四足机器人开发和实施基于学习的新型规划和控制算法 • 实施用于可重复训练 RL 策略、多 GPU 策略评估和数据收集的管道
基于点云对齐的藤蔓修剪的视觉伺服
摘要：本文使用机器人技术和基于视觉的反馈控制，解决了葡萄树修剪的挑战，这是农业中至关重要且艰苦的农业任务。由于3D姿势估计和特征提取方面的挑战，藤蔓的复杂结构使视觉致密暗销。是基于迭代最接近点（ICP）点云对准和基于位置的视觉伺服伺服（PBV）的组合，提出了一种基于视觉的藤蔓修剪的新方法。在藤蔓修剪的PBV中比较了四个ICP变体：标准ICP，Levenberg – Marquardt ICP，点对平面ICP和对称ICP。该方法包括一个专用的ICP初始猜测，以提高对齐速度和准确性，以及在修剪位置生成参考点云的过程。实时实验是在配备了立体相机的Franka Emika操纵器上进行的，涉及在实验室条件下的三个真实葡萄藤。
通过下文模仿学习通过下一步的预测-ICRT
摘要 - 我们探讨了如何启用机器人技术下文预测模型的文化学习能力，从而使模型可以通过使用人类的Teleop演示示例提示无需微调来执行新任务。我们提出了一种因果变压器（ICRT），该因果变压器对感觉运动轨迹进行自回旋预测，其中包括图像，本体感受态和动作。这种方法允许在测试时间灵活且无训练的新任务执行，这是通过提示模型的新任务轨迹来实现的。使用Franka Emika机器人进行的实验表明，即使在与提示和培训数据不同的环境配置中，ICRT也可以适应提示指定的新任务。在多任务环境设置中，ICRT在概括方面明显胜过当前最新的机器人基础模型，以看不见任务。代码，检查点和数据可在https://icrt.dev上找到。
pan -
{ Computer Science: Programming (Python, C++, C, Matlab, Verilog, Assembly, Perl, TCL, Julia, GO), Machine Learning (Pytorch, Tensorflow, JAX, Pytorch3d, Pytorch Geometric), Data Structures & Algorithms, Operating System, Natural Language Processing, Computer Vision, Convex Optimization, Meta Learning, Reinforcement Learning, Convex Optimization, Advanced ML Theories & Techniques, Others (Bash, Git, Linux) { Robotics: Dynamics & Simulation, Computer Vision (traditional geometric-based & learning-based), Locomotion, Linear & Nonlinear Control (PID, Feedback Linearization, LTI, Optimal Control, etc), Localization, Mapping, Motion Planning, Navigation, Manipulators, ROS, worked with KUKA, Franka manipulator武器，模拟器（Guazebo，Mujoco，V-Rep，Gym）{数学：微积分，线性代数，ODE，ODE，数值分析，概率和统计，一阶逻辑，拓扑，拓扑，物理和工程：控制系统，控制系统，动态，经典和量子和量子，电力和磁性，结构和材料，机构，型号，差异， drigus＆dift>
令人讨厌的纳粹和极端美国人：克隆，优生学和当代科幻小说中的民族象征交换
摘要摘要本文介绍了过去十到十五年的德国科幻小说，特别是那些主题化克隆和/或优生学的小说。讨论中的主要小说包括Barbara Kirchner的Die Verbesserte Frau，Birgit Rabisch的Duplik Jonas 7，以及Charlotte Kerner的Blueprint/Blaupause（由Franka Potente于2004年发行，是作为电影改编而发行的）。本讨论表明了这些和类似小说如何与纳粹优生和生殖实验的遗产相抗衡，其次，小说中现有的历史意识与当前生物技术问题的辩论内容有关，包括尤里根·哈伯马斯（JürgenHabermas），斯拉沃伊·Zizek，Slavoj Zizek和Peter Sloterdij。本文通过将这些辩论带入美国文本的比较例子中的文化交叉引用（Gattaca [1997]，The Island [2005]，二）），这些辩论倾向于令人恐惧的生殖技术的令人恐惧的方面与纳粹文本的含义，而德语文本则倾向于将其作为未来的访问者的来源。
Trope Hcraese付费-IDIAP出版物
摘要 - 在这项工作中，我们提出了一种新的方法，将机器人几何形状表示为距离场（RDF），该方法将签名距离场（SDF）的原理扩展到铰接的运动链。我们的方法采用了伯恩斯坦多项式的组合，以高精度和效率编码每个机器人链路的签名距离，同时确保SDF的数学连续性和不同性。我们进一步利用机器人的运动学链来在关节空间中产生SDF表示，从而允许以任意关节配置进行稳健的距离查询。提议的RDF表示在任务和关节空间中都是可区分和平滑的，使其直接集成到优化问题。此外，机器人的0级集合对应于机器人表面，可以将其无缝整合到全身操纵任务中。我们在模拟和7轴Franka Emika机器人中进行了各种经验，与基线方法进行了比较，并证明了其在避免碰撞和全身操纵任务方面的效率。项目页面：https：//sites.google.com/view/lrdf/home
将机器人几何形状表示为距离字段
摘要 - 在这项工作中，我们提出了一种新的方法，将机器人几何形状表示为距离场（RDF），该方法将签名距离场（SDF）的原理扩展到铰接的运动链。我们的方法采用了伯恩斯坦多项式的组合，以高精度和效率编码每个机器人链路的签名距离，同时确保SDF的数学连续性和不同性。我们进一步利用机器人的运动学链来在关节空间中产生SDF表示，从而允许以任意关节配置进行稳健的距离查询。提议的RDF表示在任务和关节空间中都是可区分和平滑的，使其直接集成到优化问题。此外，机器人的0级集合对应于机器人表面，可以将其无缝整合到全身操纵任务中。我们在模拟和7轴Franka Emika机器人中进行了各种经验，与基线方法进行了比较，并证明了其在避免碰撞和全身操纵任务方面的效率。项目页面：https：//sites.google.com/view/lrdf/home
使用视觉和重新定位操作的机器人操纵器的基于NERF的对象模型的不确定性感知到主动学习
摘要 - 操纵看不见的对象在没有3D表示的情况下具有挑战性，因为对象通常具有遮挡的表面。这需要与对象的物理互动以构建其内部表示形式。本文提出了一种方法，该方法使机器人能够快速学习给定对象的完整3D模型，以在不熟悉的方向上进行操作。我们使用部分构造的NERF模型的集合来量化模型不确定性，以通过优化信息性和可行性来确定下一个动作（视觉或重新定位动作）。此外，我们的方法决定了何时以及如何掌握和重新定位对象的部分NERF模型，并重新估计对象姿势以纠正交互期间引入的未对准。在带有基准对象的桌面环境中运行的模拟Franka Emika机器人操作器进行的实验表明，视觉重建质量（PSNR）的14％，（ii）20％的几何/深度/深度重建对象表面（f-得分）和（iii）71％在（iii）71％的成功对象率是一定的，该任务范围是A的任务范围，即一定的一定范围。场景中的配置；超过当前方法。其他详细信息显示在以下网址：https：//actnerf.github.io/。
机器人生成用于学习可概括的视觉机器人操作的数据
摘要 - 在大量数据上预先限制模型，这是AI的流行趋势。但是，由于需要有效的控制动作，为机器人学习收集足够的离线培训轨迹特别昂贵。因此，大多数现有的机器人数据集是从人类专家那里收集的。我们使用称为“机器人自学”的新框架来解决此类数据收集问题，该框架要求机器人自我生成有效的培训数据，而不是依靠人类示威者。我们的关键想法是在状态空间上训练单独的数据生成策略，以自动生成具有不断增长的复杂性的有意义的动作和轨迹。然后，这些生成的数据可进一步用于训练具有强大构图概括功能的视觉策略。我们在两个视觉操作测试台上验证了我们的框架，包括一个多物体堆叠域和流行的RL基准“ Franka Kitchen”。实验表明，对自生数据进行培训的最终视觉政策可以实现需要长马机器人执行的新颖测试目标。项目网站https://sites.google.com/ view/robot-self-teaching。
与保守世界模型有效的模仿学习
我们从专家演示中解决了政策学习的问题，而无需奖励。在这个领域的一个核心挑战是，由于分配转移，环境随机性或复杂错误的问题，这些政策在部署后失败。对抗性模仿学习可以减轻此问题，但需要额外的固定培训样本以进行稳定，这由于学习效率低下和较高的样本复杂性而在现实领域提出了挑战。解决这个问题的一种方法是学习环境的世界模型，并使用综合数据进行政策培训。尽管在先前的工作中取得了成功，但我们认为这是由于学习模型和真实环境之间的其他分布变化而是最佳的。相反，我们将模仿学习作为一个微调问题，而不是纯粹的加固学习。将理论连接到离线RL和微调算法，我们认为标准的在线世界模型算法不太适合模仿学习问题。我们得出了一种原则上的保守优化，并从经验上证明了它从高维原始像素观测值中的两个非常有挑战性的操纵环境中提高了性能。我们从图像中设置了弗兰加厨房环境上的最新性能，在没有奖励标签上只需要10个演示，并解决了复杂的敏捷性ma-nipulation任务。关键字：模仿学习，基于模型的学习，世界模型，微调