自动驾驶汽车(AVS)需要可靠的交通标志识别和健壮的车道检测功能,以确保在复杂和动态的环境中实现安全的导航。本文介绍了一种综合方法,结合了先进的深度学习技术和多模式大型语言模型(MLLMS),以实现全面的道路。对于交通标志识别,我们系统地评估了Resnet-50,Yolov8和RT-Det,在Resnet-50中以99.8%的状态效果达到99.8%,Yolov8的精度为98.0%,尽管具有较高的计算机复杂性,但在RT-DECT上的精度达到了96.6%的精度。对于车道检测,我们提出了一种基于CNN的分割方法,通过多项式曲线拟合增强了,该方法在有利条件下肝脏高精度。更重要的是,我们引入了一个轻巧的,多模式的,基于LLM的框架,该框架直接进行了调整的指令,以调整您的小而多样化的数据集,从而消除了对Intial预处理的需求。该框架有效地处理了各种车道类型,复杂的交叉点和合并区域,可以通过不利条件下的推理来提高车道检测可靠性。尽管有限制可用的培训资源,但我们的多模式方法表明了高级推理能力,达到了53.87%的所有准确性(FRM),这一问题总体上是82.83%的总体确保(QNS),在清晰的条件下,泳道的检测准确性为99.6%,在夜间和93.0%的情况下为93.0%的雨水,以及8.0%的雨水,以及8.8的范围。道路退化(95.6%)。拟议的综合框架显着增强了AV感知的可观性,从而极大地促进了在各种和充满挑战的道路方案中更安全的自主驾驶。
主要关键词