Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

關於tusimple的訓練和測試 #146

Open
q36101 opened this issue May 15, 2023 · 6 comments
Open

關於tusimple的訓練和測試 #146

q36101 opened this issue May 15, 2023 · 6 comments
Labels
lane detection question Further information is requested

Comments

@q36101
Copy link

q36101 commented May 15, 2023

我是一位正在研究車道線檢測的學生。我一直對于tusimple數據集有些疑惑,它的train、val、test是有標準的劃分方法嗎?在官網上我沒有看到詳細的說明,只有各數據集的數量。網路上有些人直接從3628個樣本中按照一定比例劃分為訓練、驗證集,有些人則是訓練:3628、測試和驗證:2782。在一些不常見的研究中,甚至直接將樣本按照90%和10%的比例劃分為訓練和測試集。我想請問在進行數據集劃分任務時,一般採用哪種方法比較合適?

@voldemortX
Copy link
Owner

@q36101 tusimple是有普遍接受的train/val/test分配的, 详见 https://github.com/voldemortX/pytorch-auto-drive/blob/master/docs/datasets/TUSIMPLE.md

@voldemortX voldemortX added question Further information is requested lane detection labels May 15, 2023
@q36101
Copy link
Author

q36101 commented May 15, 2023

我遇到一些問題想請問一下,車道線論文上tusimple有都有94-96%的f1-score,而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%,用val(358)測試有94.2。
我測試f1-score時是使用像素級的計算,用兩張png計算f1-score,而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。
請問您是如何計算f1-score,是用json評估或是png評估?計算時是用test(2782),還是val(358)?

@voldemortX
Copy link
Owner

voldemortX commented May 15, 2023

我遇到一些問題想請問一下,車道線論文上tusimple有都有94-96%的f1-score,而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%,用val(358)測試有94.2。
我測試f1-score時是使用像素級的計算,用兩張png計算f1-score,而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。
請問您是如何計算f1-score,是用json評估或是png評估?計算時是用test(2782),還是val(358)?

我们的repo使用官方的json关键点评测脚本。val和test都支持。

@q36101
Copy link
Author

q36101 commented May 15, 2023

我知道了,謝謝。

@q36101
Copy link
Author

q36101 commented May 15, 2023

為甚麼val和test都支持,兩個dataset不是不一樣嗎?

@voldemortX
Copy link
Owner

為甚麼val和test都支持,兩個dataset不是不一樣嗎?

。。。调参用val,评测用test。功能上不是都要支持么

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
lane detection question Further information is requested
Projects
None yet
Development

No branches or pull requests

2 participants