研讨会介绍
WACV全称：Winter Conference on Applications of Computer Vision，是领域内著名的计算机视觉应用会议之一，每年举办一次。
腾讯地图HD自动化团队，联合伊利诺伊大学厄巴纳-香槟分校（University of Illinois Urbana-Champaign）、普渡大学（Purdue University）以及弗吉尼亚大学（University of Virginia），共同发起了WACV旗下专题研讨会——自动驾驶大语言视觉模型研讨会(LLVM-AD)，英文全称：1st Workshop on Large Language and Vision Models for Autonomous Driving。
本次研讨会以“多模态大模型在自动驾驶中的应用”为特色主题，针对计算机视觉、大语言模型、自动驾驶、高精度地图等一系列领域的议题，组织论文投稿，并发布特色数据集MAPLM以及多模态问答任务比赛。研讨会旨在汇集学术界和工业界的专业人士，探索大型语言和视觉模型在自动驾驶以及高精地图中的应用，欢迎各位积极投稿论文或打榜，表现优秀的在校学生，可优先获得腾讯地图感知算法岗实习机会。关于数据集和比赛内容可随时关注：
- 官方主页：LLVM-AD Workshop@WACV 2024
- 官方GIT网址：GitHub - LLVM-AD/MAPLM: MAPLM: A Large-Scale Vision-Language Dataset for Map and Traffic Scene Understanding
特色数据集MAPLM介绍
腾讯地图HD自动化团队、伊利诺伊大学厄巴纳-香槟分校（University of Illinois Urbana-Champaign）、普渡大学（Purdue University）以及弗吉尼亚大学（University of Virginia）联合推出了业界首个多模态语言 + 视觉（点云BEV+环视图像）交通场景理解数据集：MAPLM。数据集包含丰富的道路场景的点云和图像资料，并配套多个层级的场景描述信息，让模型学会处理更复杂多变的交通环境。
场景资料：
MAPLM提供了包含高速、快速路、城市道路、乡村道路在内的各类交通场景图像资料，并包含丰富的路口场景。每一帧数据资料包括两个部分：
- 点云BEV：3D点云在BEV视角下的投影图，图像清晰，分辨率高
- 环视图像：广角相机拍摄的前视、左后、右后三个方向的高分辨率照片（照片约为4k*3k竖幅，下图展示的仅为裁切后的示例）
描述标签：
- 要素级：车道线、地面标志、停止线、路口区域等
- 车道级：车道类型、通行方向、转向类别等
- 道路级：场景类型、道路数据质量、路口结构等
开源数据集获取方式：
- GIT地址：GitHub - LLVM-AD/ucu-dataset
- 数据筹备中，近期发布，数据介绍说明、引用方式等均在GIT网址中详细说明
多模态问答任务比赛介绍
依托上述数据集中丰富的道路交通场景信息，我们设计了基于ScienceQA的自然语言与图像结合的问答任务。
任务介绍：
我们提供以下数据或先验输入：
- 点云BEV图像：3D点云在BEV视角下的投影图
- 环视影像：广角相机拍摄，每帧包含前视，左后，右后三个拍摄角度
- 投影转换参数：每帧数据照片与点云图像的透视投影转换参数
任务问题形式：针对各个维度的标签，我们会随机提供对应标签的自然语言问题，标签维度包括但不限于场景类型，车道个数及属性信息，是否包含路口等。具体示例如下：
我们通过ScienceQA特色的matrix问答评估方式，来衡量模型能力得分。比赛提供评测方法和测试集，附带详细说明，随数据集一同发布。欢迎随时关注官方GIT网址：GitHub - LLVM-AD/MAPLM: MAPLM: A Large-Scale Vision-Language Dataset for Map and Traffic Scene Understanding
论文征集与线下分享
本次研讨会以“多模态大模型在自动驾驶中的应用”为特色主题进行论文征稿，欢迎计算机视觉、自然语言、模式识别等领域的学者，或自动驾驶、高精地图等相关领域从业者投稿，鼓励论文与比赛关联投递。论文投稿提供CMT链接，详见官方主页介绍：Call for Papers | LLVM-AD Workshop @ WACV 2024。
投递时间安排：
- 投递截止日期：2023年10月23日
- 接收通知日期：2023年11月13日
- 发布日期：2023年11月19日
另外，我们将在2024年1月初（取决于WACV组委会安排）举行为期半天的线下学术交流活动，包括优秀论文海报宣传和现场陈述介绍，并邀请学术界和工业界著名研究人员进行演讲，欢迎各位届时参与。
联系方式：
以上关于数据集，比赛，论文征稿有任何问题，欢迎咨询：
- chrisczheng@tencent.com
- kyriezhou@tencent.com
