Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[Question]About the result of Task021 #221

Closed
ztt0821 opened this issue Jan 10, 2024 · 7 comments
Closed

[Question]About the result of Task021 #221

ztt0821 opened this issue Jan 10, 2024 · 7 comments
Labels
stale Issue without activity, will be closed soon

Comments

@ztt0821
Copy link

ztt0821 commented Jan 10, 2024

Hi, I am using the code to train the Task021. I found the following two questions:

1. The AP result is too bad. Did you have similar results when training task021?

Epoch 57: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.804, v_num=4087INFO Val loss reached: 1.84027██████████████████████████████████████████████████████| 100/100 [00:39<00:00, 2.62it/s]
INFO [email protected]:0.5:0.05: 0.279 [email protected]: 0.343 [email protected]: 0.075
INFO Proxy FG Dice: 0.318
INFO This epoch took 39 s
Epoch 57: 100%|█████████████████████████████████████████| 2600/2600 [23:39<00:00, 1.83it/s, loss=-0.804, v_num=4087INFO Train loss reached: -0.81402
Epoch 58: 100%|█████████████████████████████████████████| 2600/2600 [23:43<00:00, 1.83it/s, loss=-0.802, v_num=4087INFO Val loss reached: 1.89802██████████████████████████████████████████████████████| 100/100 [00:38<00:00, 2.62it/s]
INFO [email protected]:0.5:0.05: 0.295 [email protected]: 0.348 [email protected]: 0.108
INFO Proxy FG Dice: 0.312
INFO This epoch took 39 s
Epoch 58: 100%|█████████████████████████████████████████| 2600/2600 [23:44<00:00, 1.83it/s, loss=-0.802, v_num=4087INFO Train loss reached: -0.81198
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.812, v_num=4087INFO Val loss reached: 1.92767██████████████████████████████████████████████████████| 100/100 [00:40<00:00, 2.63it/s]
INFO [email protected]:0.5:0.05: 0.264 [email protected]: 0.306 [email protected]: 0.109
INFO Proxy FG Dice: 0.297
INFO This epoch took 40 s
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.812, v_num=4087INFO Train loss reached: -0.81498
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:39<00:00, 1.83it/s, loss=-0.812, v_num=4087]

**

  1. After training, the code face the bug:

**

Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:38<00:00, 1.83it/s, loss=-0.812, v_num=4087INFO Train loss reached: -0.81498
Epoch 59: 100%|█████████████████████████████████████████| 2600/2600 [23:39<00:00, 1.83it/s, loss=-0.812, v_num=4087]
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/pytorch_lightning/trainer/deprecated_api.py:32: LightningDeprecationWarning: Trainer.train_loop has been renamed to Trainer.fit_loop and will be removed in v1.6.
rank_zero_deprecation(
INFO Running parameter sweep on ['ProstateX-0006' 'ProstateX-0026' 'ProstateX-0028' 'ProstateX-0030'
'ProstateX-0037' 'ProstateX-0043' 'ProstateX-0050' 'ProstateX-0065'
'ProstateX-0070' 'ProstateX-0073' 'ProstateX-0083' 'ProstateX-0092'
'ProstateX-0103' 'ProstateX-0106' 'ProstateX-0116' 'ProstateX-0123'
'ProstateX-0124' 'ProstateX-0129' 'ProstateX-0130' 'ProstateX-0137'
'ProstateX-0146' 'ProstateX-0152' 'ProstateX-0160' 'ProstateX-0161'
'ProstateX-0166' 'ProstateX-0178' 'ProstateX-0192' 'ProstateX-0200']
INFO Predict cases with default settings...
INFO Running inference
INFO Loading last model
INFO Architecture overwrites: {} Anchor overwrites: {}
INFO Building architecture according to plan of RetinaUNetV001
INFO Start channels: 32; head channels: 128; fpn channels: 128
INFO Discarding anchor generator kwargs {'stride': 1}
INFO Building:: encoder Encoder: {}
INFO Building:: decoder UFPNModular: {'min_out_channels': 8, 'upsampling_mode': 'transpose', 'num_lateral': 1, 'norm_lateral': False, 'activation_lateral': False, 'num_out': 1, 'norm_out': False, 'activation_out': False}
INFO Running ATSS Matching with num_candidates=4 and center_in_gt False.
INFO Building:: classifier BCECLassifier: {'num_convs': 1, 'norm_channels_per_group': 16, 'norm_affine': True, 'reduction': 'mean', 'loss_weight': 1.0, 'prior_prob': 0.01}
INFO Init classifier weights: prior prob 0.01
INFO Building:: regressor GIoURegressor: {'num_convs': 1, 'norm_channels_per_group': 16, 'norm_affine': True, 'reduction': 'sum', 'loss_weight': 1.0, 'learn_scale': True}
INFO Learning level specific scalar in regressor
INFO Overwriting regressor conv weight init
INFO Building:: head DetectionHeadHNMNative: {} sampler HardNegativeSamplerBatched: {'batch_size_per_image': 32, 'positive_fraction': 0.33, 'pool_size': 20, 'min_neg': 1}
INFO Sampling hard negatives on a per batch basis
INFO Building:: segmenter DiCESegmenterFgBg {'dice_kwargs': {'batch_dice': True}}
INFO Running batch dice True and do bg False in dice loss.
INFO Model Inference Summary:
detections_per_img: 100
score_thresh: 0
topk_candidates: 10000
remove_small_boxes: 0.01
nms_thresh: 0.6
INFO Loaded /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/model_last.ckpt with
INFO Found inference plan: {} for prediction
INFO Adding 2D Mirror TTA for prediction.
INFO Adding 3D Mirror TTA for prediction.
INFO Using 8 tta transformations for prediction (one dummy trafo).
INFO Found 28 files for inference.
INFO Predicting case 1 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00, 3.15it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00, 3.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:12<00:00, 1.61s/it]
INFO Prediction took 13.560190548974788 s
INFO Predicting case 2 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.11it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.385671695985366 s
INFO Predicting case 3 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.473222476022784 s
INFO Predicting case 4 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.472343888017349 s
INFO Predicting case 5 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.380997886997648 s
INFO Predicting case 6 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.12it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.279338986991206 s
INFO Predicting case 7 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.95it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.93it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.513455674983561 s
INFO Predicting case 8 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.445387810003012 s
INFO Predicting case 9 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.429863915982423 s
INFO Predicting case 10 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.99it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.466768918005982 s
INFO Predicting case 11 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.4507176670013 s
INFO Predicting case 12 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.396520112000871 s
INFO Predicting case 13 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.488412830018206 s
INFO Predicting case 14 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.48550169399823 s
INFO Predicting case 15 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.442982400010806 s
INFO Predicting case 16 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.96it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.95it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.466242435009917 s
INFO Predicting case 17 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.91it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.88it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.87it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.87it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.87it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.88it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.86it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 9/9 [00:01<00:00, 4.88it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:14<00:00, 1.85s/it]
INFO Prediction took 15.051321522012586 s
INFO Predicting case 18 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.277296685002511 s
INFO Predicting case 19 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.512867299985373 s
INFO Predicting case 20 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.445081701996969 s
INFO Predicting case 21 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.38s/it]
INFO Prediction took 11.35075472801691 s
INFO Predicting case 22 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.09it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.449588777992176 s
INFO Predicting case 23 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.03it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.488423763978062 s
INFO Predicting case 24 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.11it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.08it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.89it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 4.89it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.49601910597994 s
INFO Predicting case 25 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.10it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.42676601401763 s
INFO Predicting case 26 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.00it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.01it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.02it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.40s/it]
INFO Prediction took 11.532059921999462 s
INFO Predicting case 27 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.416189992014552 s
INFO Predicting case 28 of 28.
INFO Predicting model 1 of 1 with weight 1.0.
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.07it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.06it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.05it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Crop: 100%|████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 5.04it/s]
Transform: 100%|███████████████████████████████████████████████████████████████████████| 8/8 [00:11<00:00, 1.39s/it]
INFO Prediction took 11.447226747026434 s
INFO Start parameter sweep...
INFO Running parameter sweep on ['ProstateX-0006', 'ProstateX-0026', 'ProstateX-0028', 'ProstateX-0030', 'ProstateX-0037', 'ProstateX-0043', 'ProstateX-0050', 'ProstateX-0065', 'ProstateX-0070', 'ProstateX-0073', 'ProstateX-0083', 'ProstateX-0092', 'ProstateX-0103', 'ProstateX-0106', 'ProstateX-0116', 'ProstateX-0123', 'ProstateX-0124', 'ProstateX-0129', 'ProstateX-0130', 'ProstateX-0137', 'ProstateX-0146', 'ProstateX-0152', 'ProstateX-0160', 'ProstateX-0161', 'ProstateX-0166', 'ProstateX-0178', 'ProstateX-0192', 'ProstateX-0200'] cases to optimize mAP_IoU_0.10_0.50_0.05_MaxDet_100 with initial state {'model_iou': 0.1, 'model_nms_fn': <function batched_weighted_nms_model at 0x7fd8f6e36a60>, 'model_score_thresh': 0.0, 'model_topk': 1000, 'model_detections_per_image': 100, 'ensemble_iou': 0.5, 'ensemble_nms_fn': <function batched_wbc_ensemble at 0x7fd8f6e36ca0>, 'ensemble_topk': 1000, 'remove_small_boxes': 0.01, 'ensemble_score_thresh': 0.0}.
INFO Running sweep model_iou=1e-05
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.80it/s]
INFO Sweep took 7.414259294018848 s
INFO Running sweep model_iou=0.1
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.55it/s]
INFO Sweep took 7.893234290997498 s
INFO Running sweep model_iou=0.2
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:08<00:00, 3.47it/s]
INFO Sweep took 8.084565617988119 s
INFO Running sweep model_iou=0.30000000000000004
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:08<00:00, 3.33it/s]
INFO Sweep took 8.422119869996095 s
INFO Running sweep model_iou=0.4
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:08<00:00, 3.23it/s]
INFO Sweep took 8.691677705995971 s
INFO Running sweep model_iou=0.5
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:09<00:00, 3.09it/s]
INFO Sweep took 9.059297516010702 s
INFO Running sweep model_nms_fn=<function batched_weighted_nms_model at 0x7fd8f6e36a60>
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.90it/s]
INFO Sweep took 7.183823825995205 s
INFO Running sweep model_nms_fn=<function batched_nms_model at 0x7fd8f6e36820>
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.90it/s]
INFO Sweep took 7.194044450006913 s
INFO Running sweep ensemble_iou=1e-05
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.65it/s]
INFO Sweep took 6.035101087996736 s
INFO Running sweep ensemble_iou=0.1
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.20it/s]
INFO Sweep took 6.682291359989904 s
INFO Running sweep ensemble_iou=0.2
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.09it/s]
INFO Sweep took 6.862783477001358 s
INFO Running sweep ensemble_iou=0.30000000000000004
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.01it/s]
INFO Sweep took 6.9946883259981405 s
INFO Running sweep ensemble_iou=0.4
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.94it/s]
INFO Sweep took 7.12144855200313 s
INFO Running sweep ensemble_iou=0.5
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:07<00:00, 3.87it/s]
INFO Sweep took 7.2545930269989185 s
INFO Running sweep model_score_thresh=0.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.27it/s]
INFO Sweep took 6.576663356012432 s
INFO Running sweep model_score_thresh=0.1
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 116.83it/s]
INFO Sweep took 0.2439111919957213 s
INFO Running sweep model_score_thresh=0.2
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 114.52it/s]
INFO Sweep took 0.24898245200165547 s
INFO Running sweep model_score_thresh=0.3
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 124.43it/s]
INFO Sweep took 0.2290720189921558 s
INFO Running sweep model_score_thresh=0.4
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 125.92it/s]
INFO Sweep took 0.22639564500423148 s
INFO Running sweep model_score_thresh=0.5
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 128.11it/s]
INFO Sweep took 0.22255994600709528 s
INFO Running sweep model_score_thresh=0.6
100%|███████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 129.72it/s]
INFO Sweep took 0.21983283400186338 s
INFO Running sweep remove_small_boxes=0.01
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:06<00:00, 4.29it/s]
INFO Sweep took 6.542895391001366 s
INFO Running sweep remove_small_boxes=2.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:03<00:00, 7.26it/s]
INFO Sweep took 3.868332851998275 s
INFO Running sweep remove_small_boxes=3.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:02<00:00, 11.52it/s]
INFO Sweep took 2.439304756000638 s
INFO Running sweep remove_small_boxes=4.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:01<00:00, 18.41it/s]
INFO Sweep took 1.5291992319980636 s
INFO Running sweep remove_small_boxes=5.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:01<00:00, 27.26it/s]
INFO Sweep took 1.0345073879871052 s
INFO Running sweep remove_small_boxes=6.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 40.50it/s]
INFO Sweep took 0.6978000010130927 s
INFO Running sweep remove_small_boxes=7.0
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:00<00:00, 55.23it/s]
INFO Sweep took 0.5125600259925704 s
INFO

Determined {'model_iou': 1e-05, 'model_nms_fn': <function batched_nms_model at 0x7fd8f6e36820>, 'model_score_thresh': 0.0, 'model_topk': 1000, 'model_detections_per_image': 100, 'ensemble_iou': 0.1, 'ensemble_nms_fn': <function batched_wbc_ensemble at 0x7fd8f6e36ca0>, 'ensemble_topk': 1000, 'remove_small_boxes': 3.0, 'ensemble_score_thresh': 0.0} with best sweeping score 0.2952880230276334 mAP_IoU_0.10_0.50_0.05_MaxDet_100

100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:02<00:00, 11.52it/s]
100%|████████████████████████████████████████████████████████████████████████████████| 28/28 [00:02<00:00, 11.85it/s]
INFO Computing box metrics: restore True
INFO Found 28 for box evaluation in /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_predictions
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_0_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_0_pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_1_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results/boxes/cl_1_pred_hist_IoU@0_5.png
INFO Analyze box predictions: restore True
WARNING This feature (run_analysis_suite) is experimental! It might not implement all features or is only a simplification!
0%| | 0/4 [00:00<?, ?it/s]INFO Found 28 predictions for analysis
25%|████████████████████▌ | 1/4 [00:03<00:11, 3.77s/it]INFO Found 28 predictions for analysis
50%|█████████████████████████████████████████ | 2/4 [00:05<00:04, 2.46s/it]INFO Found 28 predictions for analysis
75%|█████████████████████████████████████████████████████████████▌ | 3/4 [00:06<00:02, 2.07s/it]INFO Found 28 predictions for analysis
100%|██████████████████████████████████████████████████████████████████████████████████| 4/4 [00:08<00:00, 2.15s/it]
INFO Computing box metrics: restore False
INFO Found 28 for box evaluation in /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_predictions_preprocessed
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/sklearn/metrics/_ranking.py:1133: UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
warnings.warn(
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_0_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_0_pred_hist_IoU@0_5.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_1_pred_hist_IoU@0_1.png
INFO Saving /media/ttzhang/T7/nnDetection/Task021_ProstateX/RetinaUNetV001_D3V001_3d/fold0/val_results_preprocessed/boxes/cl_1_pred_hist_IoU@0_5.png
INFO Analyze box predictions: restore False
WARNING This feature (run_analysis_suite) is experimental! It might not implement all features or is only a simplification!
0%| | 0/4 [00:00<?, ?it/s]INFO Found 28 predictions for analysis
25%|████████████████████▌ | 1/4 [00:01<00:05, 1.69s/it]INFO Found 28 predictions for analysis
50%|█████████████████████████████████████████ | 2/4 [00:03<00:03, 1.56s/it]INFO Found 28 predictions for analysis
75%|█████████████████████████████████████████████████████████████▌ | 3/4 [00:04<00:01, 1.51s/it]INFO Found 28 predictions for analysis
100%|██████████████████████████████████████████████████████████████████████████████████| 4/4 [00:06<00:00, 1.53s/it]
Exception in thread Thread-4:
Traceback (most recent call last):
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 932, in _bootstrap_inner
self.run()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 870, in run
self._target(*self._args, **self._kwargs)
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 92, in results_loop
raise RuntimeError("One or more background workers are no longer alive. Exiting. Please check the print"
RuntimeError: One or more background workers are no longer alive. Exiting. Please check the print statements above for the actual error message
Exception in thread Thread-3:
Traceback (most recent call last):
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 932, in _bootstrap_inner
self.run()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/threading.py", line 870, in run
self._target(*self._args, **self._kwargs)
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 92, in results_loop
raise RuntimeError("One or more background workers are no longer alive. Exiting. Please check the print"
RuntimeError: One or more background workers are no longer alive. Exiting. Please check the print statements above for the actual error message
Exception ignored in: <function MultiThreadedAugmenter.del at 0x7fd8f706aa60>
Traceback (most recent call last):
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 294, in del
self._finish()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 276, in _finish
self._queues[i].close()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/multiprocessing/queues.py", line 137, in close
self._reader.close()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/multiprocessing/connection.py", line 177, in close
self._close()
File "/home/ttzhang/anaconda3/envs/nndetection/lib/python3.8/multiprocessing/connection.py", line 361, in _close
_close(self._handle)
OSError: [Errno 9] Bad file descriptor
@mibaumgartner
Copy link
Collaborator

Dear @ztt0821 ,

  1. since 021 is on the smaller side of the datasets the results can vary a bit since nnDetection (intentionally) does not use a fixed seed for training to avoid overfitting on a single seed. The lines you have posted, seem to be from the live validation on a single fold. The actual results are located in the training folder and to compensate even slightly for the fact of the small datasets, I would recommend to train all five folds and compare the consolidated results.

  2. Was already raised in [Question] Threading error after last training epoch #201, nothing I can do about it right now and will hopefully disappear with the next release. Note however: this does not limit any functionality, everything should work as expected.

@ztt0821
Copy link
Author

ztt0821 commented Jan 15, 2024

Sorry for the late reply. Thank you for your help.

@ztt0821
Copy link
Author

ztt0821 commented Jan 15, 2024

May i ask how to train all five folds at the same time. Because when i run the training command. nndet_train 021 --sweep -o exp.fold=4, the command will only train on the specific single fold, for example in this case, will train on fold 4. So could you show me the command how to train all five folds at the same time?

@mibaumgartner
Copy link
Collaborator

You need to run the command once for each fold (this is done to be able to train the folds in parallel).

@ztt0821
Copy link
Author

ztt0821 commented Jan 15, 2024

got it. Thank you.

@github-actions GitHub Actions
Copy link

This issue is stale because it has been open for 30 days with no activity.

@github-actions github-actions bot added the stale Issue without activity, will be closed soon label Feb 15, 2024
@github-actions GitHub Actions
Copy link

github-actions bot commented Mar 1, 2024

This issue was closed because it has been inactive for 14 days since being marked as stale.

@github-actions github-actions bot closed this as completed Mar 1, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
stale Issue without activity, will be closed soon
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@mibaumgartner @ztt0821