README_CN.md

English | 简体中文

FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation

许翔¹,   孔令东²,   帅惠³,   刘青山^3
1南京航空航天大学    ²新加坡国立大学    ³南京邮电大学   

概述

FRNet 是一种简单且有效的激光雷达分割器。它包含 3 个主要模块：1）Frustum Feature Encoder；2）Frustum-Point Fusion Module；以及 3）Head Fusion Module。此外，我们还提出两种新的数据增强方式，FrustumMix 以及 RangeInterpolation，来丰富点云场景。

FRNet 在准确率和效率之间达到了良好的平衡性，从而实现实时点云分割。

Speed vs. Accuracy	Speed vs. Robustness

在我们的项目主页获取更多示例。 🚗

更新

• [2024.04] - 我们进一步优化了论文以及部分代码。
• [2023.12] - 我们提供了在 SemanticKITTI 以及 nuScenes 上的训练权重。权重文件可以在此处下载。
• [2023.12] - 我们的论文在arXiv上发布，并公开我们的代码。

🎥 视频演示

Demo 1	Demo 2	Demo 3
[Link]	[Link]	[Link]

目录

• 安装
• 数据准备
• 开始
• 主要结果
• 许可证
• 引用
• 致谢

⚙️ 安装

请参考安装文档获取安装细节。

♨️ 数据准备

请参考数据准备文档了解如何准备 ¹SemanticKITTI 以及 ²nuScenes 数据集。

🚀 开始

请参考开始文档了解如何使用本代码库。

📊 主要结果

整体框架

与 SoTA 的对比

Method	Param	SemanticKITTI			nuScenes		ScribbleKITTI		SemanticPOSS
		FPS	Val	Test	Val	Test	mIoU	mAcc	mIoU	mAcc
CENet	6.8 M	33.4	62.6	64.7	-	-	55.7	66.8	50.3	-
RangeViT	23.7 M	10.0	60.7	64.0	75.2	-	53.6	66.5	-	-
Fast-FRNet	7.5 M	33.8	67.1	72.5	78.8	82.1	62.4	71.2	52.5	67.1
FRNet	10.0 M	29.1	68.7	73.3	79.0	82.5	63.1	72.3	53.5	68.1

标签高效激光雷达分割

Method	SemanticKITTI				nuScenes				ScribbleKITTI
	1%	10%	20%	50%	1%	10%	20%	50%	1%	10%	20%	50%
Sup.-only	44.9	60.4	61.8	63.1	51.9	68.1	70.9	74.6	42.4	53.5	55.1	57.0
LaserMix	52.9	62.9	63.2	65.0	58.7	71.5	72.3	75.0	45.8	56.8	57.7	59.0
FrustumMix	55.8	64.8	65.2	65.4	61.2	72.2	74.6	75.4	46.6	57.0	59.5	61.2

鲁棒性

Method	SemKITTI-C		nuScenes-C
	mCE	mRR	mCE	mRR
CENet	103.4	81.3	112.8	76.0
FRNet	96.8	80.0	98.6	77.5

📝 注意：

• mCE（越低越好）：候选模型相比于基准模型的平均损坏率（百分比），它是对所有损坏类型中三种严重级别的计算所得。
• mRR（越高越好）: 候选模型相比于其在“干净”数据集性能的平均恢复率（百分比），它是对所有损坏类型中三种严重级别的计算所得。

📍 训练权重

我们提供了 SemanticKITTI 和 nuScenes 上的训练权重。权重文件可以在此处下载。

许可证

该工作采用 Apache 2.0 开源许可证。

引用

如果你觉得本工作对你有所帮助，请考虑参照如下引用我们的论文：

@article{xu2023frnet,
    title = {FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation},
    author = {Xu, Xiang and Kong, Lingdong and Shuai, Hui and Liu, Qingshan},
    journal = {arXiv preprint arXiv:2312.04484},
    year = {2023}
}

致谢

该工作基于MMDetection3D代码库开发。

MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱，下一代面向 3D 感知平台。它是 OpenMMLab 项目的一部分。

我们感谢在该项工作中使用到的如下开源库：¹SemanticKITTI，²SemanticKITTI-API，³nuScenes，⁴nuScenes-devkit，⁵ScribbleKITTI，⁶SemanticPOSS，⁷SemanticPOSS-API，⁸Robo3D，⁹PCSeg，¹⁰SalsaNext，¹¹FIDNet，¹²CENet，¹³RangeViT，¹⁴SphereFormer，¹⁵2DPASS，¹⁶Cylinder3D，¹⁷SPVNAS，¹⁸KPConv 以及 ¹⁹LaserMix. 💟