Potsdam 数据集中的PSPNet精度与MMsegmentation发布自带的权重不一致

[pandarusly]

如果去掉 cluster 类进行评估 IoU 和 F1 的话，仅仅使用 pspnet-r101 就能在 Potsdam数据上的超越现有ViT预训练的UpertNet 架构。结果如下：

复现步骤：
数据准备，参照mmseg官方示例，如下

openxlab dataset get --dataset-repo OpenDataLab/ISPRS_Potsdam --target-path /DATA 
# 实验中需要使用 ‘2_Ortho_RGB.zip’ 和 ‘5_Labels_all_noBoundary.zip’ 。 仅保留这两个文件
mim run mmseg dataset_converters:potsdam /DATA/OpenDataLab___ISPRS_Potsdam/raw/Potsdam # 会在当前路径下新建一个目录存放切好的数据 data/potsdam/potsdam ，将生成 3456 张图像用于训练和 2016 张图像用于验证。

详细信息看mmseg官方文档，这里提供跳转链接。数据制作部分 模型和日志定位到Potsdam部分

下载权重和配置文件

mim download mmseg --config pspnet_r18-d8_4xb4-80k_potsdam-512x512 --dest /DATA  #下载权重和配置文件
mim download mmseg --config pspnet_r101-d8_4xb4-80k_potsdam-512x512 --dest /DATA

测试

mim test mmseg /DATA/Postdam/pspnet_r101-d8_4xb4-80k_potsdam-512x512.py  --checkpoint /DATA/Postdam/pspnet_r101-d8_4x4_512x512_80k_potsdam_20211220_125612-aed036c4.pth --cfg-options test_evaluator.iou_metrics=mIoU,mFscore  test_dataloader.dataset.data_root=data/potsdam/potsdam # 指定上面切好数据的地址和配置文件权重下载地址

结果如下

	pspnet_r18	pspnet_r101
指标

疑问：请问下作者 Potsdam这个数据集为什么在 6类和5类的训练下存在如此大的差异，也许是标签使用5_Labels_all_noBoundary.zip的原因？

[DotWang]

@pandarusly 首先使用不同标签类型精度差异比较大，其次我不明白你说的6类和5类指的是？我们的5类在训练的时候cluster是不参与loss计算的

参考：ViTAE-Transformer/ViTAE-Transformer-Remote-Sensing#9

[pandarusly]

Potsdam 数据集默认提供六类标签，在mmseg提供的训练示例也是使用6类进行训练和测试。我觉得6类进行训练和5类训练本质没有区别，推理同样图像时只使用前五类的值应该也是可行的吧

[DotWang]

@pandarusly 你换一下标签类型再试试，换成无黑边的，据我所知mmseg用的是有黑边的标签（noboundary），但是之前遥感领域的文献大多采用无黑边的标签（5_Labels_all.zip）

我们当时这个数据集的结果参考的这篇文章：https://ieeexplore.ieee.org/document/9102424

[pandarusly]

感谢作者指正！确实使用无黑边的标签（5_Labels_all.zip）指标下来了。

	pspnet_r18-test-noboundary	pspnet_r101-test-noboundary
指标