XiaoMi-AI文件搜索系统
World File Search SystemYOLOv8
使用深度学习的车辆和行人的实时检测和分析
摘要 - 计算机视觉，尤其是车辆和脚步 - 识别对于自主驾驶，人工智能和视频监视的演变至关重要。当前的交通监控系统在实时识别小物体和行人方面面临重大困难，对公共安全构成了严重的风险，并有助于交通效率。认识到这些困难，我们的项目着重于创建和验证高级深度学习框架，能够处理复杂的视觉输入，以确切，实时识别汽车和在各种环境情况下的人。在代表复杂城市环境的数据集上，我们培训和评估了Yolov8和RT-DETR模型的不同版本。Yolov8大版本被证明是最有效的，尤其是在行人识别方面，具有很高的精确性和健壮性。结果包括平均平均精度和召回率，证明了该模型可以显着改善交通监控和安全性的能力。本研究为计算机视觉中的实时可靠检测提供了重要的补充，为交通管理系统建立了新的基准。索引术语 - 车辆流量分析，对象检测，对象分类，深度学习，计算机视觉
在边缘的Caveline检测到自主水下洞穴探索和映射
摘要 - 本文探讨了在边缘平台上部署基于Ma-Chine学习（ML）基于基于的对象检测和分割模型的问题，以实现用于自动水下汽车（AUV）的实时Caveline检测，用于水洞探索和映射。我们专门研究了三个ML模型，即U-NET，Vision Transformer（VIT）和YOLOV8，该模型部署在三个边缘平台上：Raspberry PI-4，Intel Neural Compute Stick 2（NCS2）和Nvidia Jetson Nano。实验结果揭示了模型准确性，处理速度和能耗之间的明确权衡。最准确的模型已显示为U-NET，其与联合（IOU）值相比为85.53 f1分数和85.38的交集。同时，分别在高功率和低功率模式下运行的Jetson Nano上的Yolov8模型实现了最高的推理速度和最低的能耗。论文中提供的全面定量分析和比较结果突出了重要的细微差别，这些细微差别可以指导水下机器人上的caveline检测系统的部署，以确保在水下洞穴探索和映射任务期间安全可靠的AUV导航。
实时漏油检测和分类的深度学习框架
抽象有效检测油泄漏对于最大程度地减少环境破坏至关重要。这项研究介绍了一种利用深度学习的新颖方法，特别是Yolov8体系结构，并增强了用于漏油检测的先进计算机视觉技术。通过细致的数据集策划和模型训练，Yolov8模型的总体准确性（R-评分）为0.531，平均平均精度（MAP）为0.549。的性能在不同的溢出类型上有所不同，该模型在区分漏油和自然特征方面表现出明显的准确性，分别达到了高达0.75和0.68的精度和召回率，以进行光泽检测。可视化（例如盒子丢失，班级损失和混乱矩阵）提供了对模型性能动态的见解，揭示了损失的稳定下降和对时期准确性的提高。在此数据集中，测量值是由安特卫普·布鲁日（Antwerp Bruges）港口执行的无人机测量。此外，实用的应用显示了该模型在检测图像和视频数据中各种漏油类型方面的多功能性，从而确认其在环境监测和灾难响应方案中实际部署的潜力。这项研究代表着朝着更有效的漏油事件检测的重大迈进，这有助于环境可持续性和弹性工作。
使用先进的深层激光扫描技术对增材制造的 Ti6Al4V 扫描电子显微镜图像进行实时数据驱动的微观结构缺陷检测
由于缺乏全面的数据集和缺陷类型的多样性，自动检测增材制造的 Ti6Al4V 材料中的微观结构缺陷面临巨大挑战。本研究介绍了一种应对这些挑战的新方法，即开发专门针对扫描电子显微镜 (SEM) 图像的微观结构缺陷数据集 (MDD)。我们使用此数据集训练和评估了多个 YOLOv8 模型（YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l 和 YOLOv8x），以评估它们在检测各种缺陷方面的有效性。主要结果表明，YOLOv8m 在精度和召回率之间实现了平衡，使其适用于可靠地识别各种缺陷类型中的缺陷。另一方面，YOLOv8s 在效率和速度方面表现出色，尤其是在检测“孔隙”缺陷方面。该研究还强调了 YOLOv8n 在检测特定缺陷类型方面的局限性以及与 YOLOv8l 和 YOLOv8x 相关的计算挑战。我们的方法和发现有助于科学地理解增材制造中的自动缺陷检测。MDD 的开发和 YOLOv8 模型的比较评估通过提供检测微结构缺陷的强大框架来推进知识水平。未来的研究应侧重于扩展数据集和探索先进的 AI 技术，以提高检测准确性和模型泛化能力。
WIP：自主驾驶环境中的对抗对象弹性攻击检测：使用Yolo
摘要 - 物理对对象 - 探测攻击对自动驾驶系统（ADS）引起了安全关注，并且是其广泛采用的重要障碍。为了增强广告解决此类问题的能力，我们旨在提出一个人类协作框架，以使人类进入循环以减轻攻击。在这项WIP工作中，我们研究了Yolo系列（Yolov5和Yolov8）中两个对象探测器的表现，以针对Carla模拟器中不同驾驶环境中的三种物理对对象弹性攻击。使用静态图像，我们发现Yolov8在攻击检测中通常超过了Yolov5，但在特定情况下仍然容易受到某些攻击的影响。研究结果表明，当考虑到系统级特征时，没有任何攻击在动态测试中取得了很高的攻击成功率。尽管如此，对于每种攻击，这种检测结果在不同位置的不同位置有所不同。总的来说，这些结果表明，自主驾驶中的感知（与手动驾驶中的人类感知相同）也可能依赖于上下文。此外，我们的结果揭示了人类驾驶员预期的制动距离处的对象检测故障，这表明有必要让人类驾驶员参与未来的评估过程。
动态光流跟踪VSLAM方法
抽象的视觉同时本地化和映射（VSLAM）技术可以为关键任务提供可靠的视觉定位和映射功能。现有的VSLAM可以在静态环境中提取准确的特征点，以进行匹配和姿势估计，然后构建环境图。但是，在动态环境中，随着对象的移动，VSLAM系统提取的特征点将变得不准确，这不仅会导致跟踪故障，而且还严重影响了环境图的准确性。为了减轻这些挑战，我们提出了一种基于Yolov8的动态目标感光流量跟踪方法。首先，我们使用Yolov8来识别环境中的移动目标，并提出了一种消除动态轮廓区域中动态点的方法。其次，我们使用光流膜方法来识别目标检测对象框架之外的动态特征点。第三，我们全面消除了动态特征点。最后，我们结合了静态图点的几何和语义信息，以构建环境的语义图。我们使用ATE（绝对轨迹误差）和RPE（相对姿势误差）作为评估指标，并将原始方法与我们在TUM数据集上的方法进行了比较。我们方法的准确性显着提高，尤其是Walking_xyz数据集的96.92％。实验结果表明，我们提出的方法可以显着改善高动态环境下VSLAM系统的整体性能。
自动测试管的机器人操纵器的开发
摘要：近年来，机器人技术在各个制造业中都经历了重大的发展和广泛的应用。这一进步是由人工智能和计算机视觉等技术中突破的整合所驱动的，从而使机器人在执行特定任务时变得更加聪明和适应。因此，将机器人纳入人类生产和研究活动的需求得到了加速。具体来说，在化学相关的行业中，减少或避免与化学物质的直接接触对于确保表演者的安全至关重要。在实验室环境中，已经出现了自动化任务，例如使用机器人臂的化学管布置，以提高安全性并节省研究人员的时间。以这个概念为基础，本文提出了一个机器人系统，该系统是将离心管排成托盘的实验室助理。该系统由一个5度自由的机器人组，反应堆X-150，以及深度摄像头D435和计算机视觉模型Yolov8组成。通过从Yolov8收集图像识别信息并将其与深度摄像头数据结合进行分析，系统确定管子的位置和方向，然后将其传输到机器人以进行布置过程。这种综合方法旨在提高处理离心实验的安全性。
使用移动机器人自动映射Rumex
这项工作介绍了使用小型移动机器人使用用户界面绘制草地上的Rumex植物的ROS软件包的核心想法和实施。这些贡献包括一个自主导航和映射框架以及最先进的Yolov8神经网络的应用，用于在新录制的数据集中训练的Rumex检测。这项工作中提出的导航和映射框架已成功应用于最近开发的移动机器人B型路径计划算法（Nguyen等，2023）。
深度学习和流量标志的多模式LLM ...
自动驾驶汽车（AVS）需要可靠的交通标志识别和健壮的车道检测功能，以确保在复杂和动态的环境中实现安全的导航。本文介绍了一种综合方法，结合了先进的深度学习技术和多模式大型语言模型（MLLMS），以实现全面的道路。对于交通标志识别，我们系统地评估了Resnet-50，Yolov8和RT-Det，在Resnet-50中以99.8％的状态效果达到99.8％，Yolov8的精度为98.0％，尽管具有较高的计算机复杂性，但在RT-DECT上的精度达到了96.6％的精度。对于车道检测，我们提出了一种基于CNN的分割方法，通过多项式曲线拟合增强了，该方法在有利条件下肝脏高精度。更重要的是，我们引入了一个轻巧的，多模式的，基于LLM的框架，该框架直接进行了调整的指令，以调整您的小而多样化的数据集，从而消除了对Intial预处理的需求。该框架有效地处理了各种车道类型，复杂的交叉点和合并区域，可以通过不利条件下的推理来提高车道检测可靠性。尽管有限制可用的培训资源，但我们的多模式方法表明了高级推理能力，达到了53.87％的所有准确性（FRM），这一问题总体上是82.83％的总体确保（QNS），在清晰的条件下，泳道的检测准确性为99.6％，在夜间和93.0％的情况下为93.0％的雨水，以及8.0％的雨水，以及8.8的范围。道路退化（95.6％）。拟议的综合框架显着增强了AV感知的可观性，从而极大地促进了在各种和充满挑战的道路方案中更安全的自主驾驶。
利用先进的计算机视觉和机器学习技术来检测检查环境中的弊端
对于框架内的每个检测到的人，都会产生相应的关键集。然后将这些关键点映射到图像上，如右图所示，提供了对模型预测的视觉解释。提取的钥匙点对于我们的分析中的后续阶段至关重要，包括姿势分类，行为分析以及最终检测潜在作弊事件。Yolov8置式模型即使在具有挑战性的条件下，例如闭塞和各种照明。此功能可确保可靠的特征提取，这对于我们系统的准确性至关重要。此外，我们还设计了诸如鼻子和眼睛之间的距离和角度之类的特征。这些指标有助于确定相对于相机的头部方向，从而增强了我们的分析。