ローカル環境評価のスコア算出完了時間について #20

hidechun · 2023-01-08T13:20:52Z

お世話になっております。

1月6日に案内のあったDockerイメージ(v3.1)や大会用データを更新し、
以下リンクにあるオンライン・ローカル２パターンのスコア算出をサンプルコードで実施致しました。
https://github.com/AutomotiveAIChallenge/aichallenge2022-sim

当方ローカル評価環境でのスコア算出ができない状況です。
しかし、オンライン評価環境ではスコア算出出来たため、生成ファイルaichallenge_submit.tar.gzに問題は無いと思われます。

一方で、オンライン環境の採点結果を得るのに約１時間要したため、
ローカル環境でのスコア算出も相当な時間待つ必要があるのではないかとも考えており、
ローカル評価環境でのスコア算出出来ない状態がローカル環境の問題なのか、
スコア算出の待ち時間が足りていないのか判断出来ない状況です。

事務局ならびに大会参加者の方でローカル環境にてスコア算出出来た方がいれば、完了時間を共有いただけませんでしょうか。
因みに当方の現況は以下となっております。

　１：オンライン評価環境にソースコードを提出する際の手順におけるローカル評価環境でのスコア算出
　以下コマンドにてスコア算出を試みました、1時間以上経過しても
　 evaluation/output以下に結果(score.json)が生成されず、フォルダが空状態です。
　
　２：オンライン評価環境におけるのスコア算出
　オンラインへ　aichallenge_submit.tar.gz　をアップロード後
　・ロード中状態：約20分
　・次に、シミュレータテスト中状態：約55分
　・を経てweb上に採点結果が表示されました。
　本日３回同一ファイルをアップロードしましたが、ほぼ同様の時間で採点結果を表示しました。
　結果の妥当性（AWSIM環境より結果時間が早すぎる・結果時間がばらつく）については別ISSUEに書き込みしています。
　 #19
　
　ローカル評価環境の詳細
　以下のコマンドでaichallenge_submit.tar.gzの生成と、ローカル環境でのスコア算出を試みております。
　 cd aichallenge2022-sim/evaluation
sh create_submit_tar.sh
sudo sh build.sh Challenge
sudo sh run.sh
　
　また、コマンド入力後数十分放置した際のLogを添付致します：challange_log2.txt
　*Logの詳細確認が進んでおらずでして、凡ミスでしたら誠に申し訳ありません。　
　
　当方のPC-SPEC
　Hardware
　・CPU:i7-11800H
　・RAM:DDR4 32GB
　・ROM:SSD 512GB
　・GTX-3060laptop 6GB
　Software
　・Ubuntu 20.04
　・Ros2 Galactic

hidechun · 2023-01-08T13:22:12Z

challange_log2.txt

hidechun · 2023-01-08T23:25:26Z

間違えてIssueCloseしてしまっていたので、Reopenにさせていただきます。

Reee009876 · 2023-01-10T13:48:57Z

お世話になっております。

申し訳ありません。
確認しますので、少々お時間をいただきたいです。
また、どのような手順で実行されたかを、詳細に教えていただけないでしょうか？

hidechun · 2023-01-10T14:34:58Z

夜分遅くのご確認、ご返信ありがとうございます。
手順について共有させていただきます。
もっと詳細な手順の説明が必要、Logや画面録画など追加情報が必要でしたら対応致します。

■手順・実行の時系列情報
1:12/12日にアナウンスのあったDockerイメージと大会用データを1/6日まで使用しておりました
https://github.com/AutomotiveAIChallenge/aichallenge2022-sim

2:1/6日夜にアナウンスのあったDockerイメージに差し替え（tarデータを使用）

※上記の方法では長時間かかってしまう方・タイムアウトしてしまう方↓
こちらに、イメージをtarにまとめたものを置きましたので、下記コマンドよりご利用ください。
docker load < aichallenge2022_sim_autoware_v3.1.tar.gz
これを実施し、Dockerデータを差し替えました。

3:1/6日に大会用データを差し替え
homeディレクトリのaichallenge2022-simを削除した後、以下コマンドで再ダウンロードを実施
sudo apt install -y git-lfs
git lfs clone https://github.com/AutomotiveAIChallenge/aichallenge2022-sim

4:サンプルファイルの再ビルドを行い、AWSIM環境上でChallangeコースの完走とterminalを用いた採点ができることを確認
ビルドコマンドは以下です
cd /aichallenge/aichallenge_ws
rosdep update
rosdep install -y -r -i --from-paths src --ignore-src --rosdistro $ROS_DISTRO
colcon build

5:以下リンクの
https://github.com/AutomotiveAIChallenge/aichallenge2022-sim
オンライン評価環境にソースコードを提出する際の手順　を参考に立ち上げるターミナルが１つの状態で
以下のコマンドでaichallenge_submit.tar.gzの生成と、ローカル環境でのスコア算出を試みました。
cd aichallenge2022-sim/evaluation
sh create_submit_tar.sh
sudo sh build.sh Challenge
sudo sh run.sh

本Issueに添付のchallange_log2.txtが実行時のTerminal Logです。

以上です。

hidechun · 2023-01-14T07:47:37Z

@Reee009876 さま
お世話になっております。

1/12 12:57のリポジトリ更新アナウンスを受け、
Dockerイメージ（tarデータを使用）と大会用データを差し替えして動作確認致しましたが、
evaluation/output以下に結果(score.json)が生成されず、フォルダが空状態です。

challange_log3.txtが実行時のTerminal Logです。
challange_log3.txt

以上です。

kosei1515 · 2023-01-14T08:35:45Z

関連しているようなのでこちらで投稿させていただきます

当方でもローカル環境における採点チェックができていません
なお，インストールはDocker経由(1/6付)，コースはAdvancedコースです

以下実行コマンドです

cd evaluation
sh create_submit_tar.sh
sh build.sh Advanced
sh run.sh

なお，通常時にシミュレータを起動した際に出るログと評価用のもので実行したときのログを比較すると，以下の2つの例のようなエラーが通常時のシミュレータが動作しているときには見られませんでした

[aggregator_node-6] [ERROR] [1673683788.749278140] [generic_analyzer_base]: Attempting to convert 111 into DiagnosticLevel.
[aggregator_node-6]     Values are: {0: OK, 1: Warning, 2: Error, 3: Stale}
[aggregator_node-6] [ERROR] [1673683788.749287799] [generic_analyzer_base]: Attempting to convert 129 into DiagnosticLevel.
[aggregator_node-6]     Values are: {0: OK, 1: Warning, 2: Error, 3: Stale}
[aggregator_node-6] [ERROR] [1673683789.749218580] [generic_analyzer_base]: Attempting to convert 255 into DiagnosticLevel.
[aggregator_node-6]     Values are: {0: OK, 1: Warning, 2: Error, 3: Stale}
[aggregator_node-6] [ERROR] [1673683789.749289194] [generic_analyzer_base]: Attempting to convert 111 into DiagnosticLevel.
[aggregator_node-6]     Values are: {0: OK, 1: Warning, 2: Error, 3: Stale}

[motion_velocity_smoother-50] [INFO] [1673684928.360934509] [planning.scenario_planning.motion_velocity_smoother]: waiting for self pose...
[planning.scenario_planning.lane_driving.motion_planning.obstacle_avoidance_planner]: failed to get transform from map to base_link: Could not find a connection between 'map' and 'base_link' because they are not part of the same tree.Tf has two or more unconnected trees.

誠に勝手な考察ですが，Autowareとシミュレータの間の接続がうまく行かずシミュレーションがスタートしていないのではないかと思っています．参考程度に報告させていただきました．
以下それぞれのログファイルです
Advanced_local_normal.txt

Advanced_eval_log_1.txt

Advanced_elav_log_2.txt

Reee009876 · 2023-01-15T02:44:25Z

お世話になっております。
ご返事が遅くなってしまい、大変申し訳ありません。

ご指摘の通り、AWSIMとの連携がされておらず
自動運転が開始されていない状況です。
（原因：AWSIM起動がされていない）

run.shを叩く前に、AWSIMを起動していただけないでしょうか？
明日、マニュアルは修正いたします。

kasecato · 2023-01-15T03:53:28Z

同じく Docker images を 3.1 に更新後からローカル環境にて最初の自車両の位置が設定されず，initializing の状態で e2e_simulator.launch.xml が動作しません。

下記スクリーンショットのとおり，自車両がマップから遠く離れた所から開始され動きません。

~~AWSIM からセンサ情報を一部取得できていないように見えます。~~

before	after 1/6 の更新以降

試しに planning_simulator.launch.xml に切り替えて 2D Pose Estimate を実行すると自己位置が sample.cpp の初期位置に設定はされます。rqt_graph にあるとおり車両のコントロールは動いていますので，AWSIM との通信はできていると思われます。

hidechun · 2023-01-15T06:26:54Z

@Reee009876 さま

1/14日版のDockerイメージ（tar版）に差し替え、
run.shを叩く前に、AWSIMを起動したところ、AWSIM上での自車走行と走行完了後
evaluation/output以下に結果(score.json)が生成されました。

当方環境では、何度か試すと走行できない状態が発生することがありましたが、
PCを再起動すると再度走行できるようになりました。

当方案件はCloseで構いません。

@kosei1515 さま　@kasecato さま
当方の案件は解決しましたので、案件Closeが最後の方がISSUEをCloseしていただきますよう宜しくお願い致します。

kasecato · 2023-01-15T06:33:06Z

@hidechun san
1/14日版のDockerイメージ（tar版） は README.md にある以下のリンクでしょうか？
https://drive.google.com/file/d/145HyoeXye_bbdT6tOVVCvbSM1MTm2CKI/view?usp=share_link

docker の image id は 41262e474b24 でしょうか？自分のローカルではこの image では AWSIM と Autoware のセンサが一部会話できていないように見えています。

$ docker images | grep ai 
ghcr.io/automotiveaichallenge/aichallenge2022-sim/autoware-universe-cuda   3.1                           41262e474b24   9 days ago     22.7GB
ghcr.io/automotiveaichallenge/aichallenge2022-sim/autoware-universe-cuda   latest                        ab92f06f6314   5 weeks ago    19.8GB

また，走行できない状態があるのは 10 回起動して何回ぐらいのイメージでしょうか？

hidechun · 2023-01-15T07:29:15Z

@kasecato さま
添付のリンクで合っています。DL後、ファイルをhomeに配置し、以下コマンドで取り込みました。
docker load < aichallenge2022_sim_autoware_v3.1.tar.gz

＞docker の image id は 41262e474b24 でしょうか？
私のPC環境は以下です。
ーーーーーーーーーーーーーー
$ docker images | grep ai
aichallenge-eval latest 0316cf2239ce 24 hours ago 23GB
ghcr.io/automotiveaichallenge/aichallenge2022-sim/autoware-universe-cuda 3.1 41262e474b24 9 days ago 22.7GB
ghcr.io/automotiveaichallenge/aichallenge2022-sim/autoware-universe-cuda latest ab92f06f6314 5 weeks ago 19.8GB
ghcr.io/automotiveaichallenge/aichallenge2022-sim/autoware-universe-cuda 3cae0851bbf1 2 months ago 19.7GB
ーーーーーーーーーーーーーー

＞また，走行できない状態があるのは 10 回起動して何回ぐらいのイメージでしょうか？
説明文での連絡となって申し訳ありません。
　・Reee009876　さまからのAWSIM同時起動の連絡を受け、
　　PC起動と同時にローカル環境でAWSIM起動後にrun.shでローカルシミュレーション実施＞＞動作OK
　・AWSIMやターミナルをすべてCloseして再度シミュレーション実施
　　　・５分程度待っても走行しない
　　　・２分くらい経過後に走行を開始したが、最初の交差点を右折する前で走行と停止を繰り返すのでAWSIMとターミナルを強制クローズ
　　　・AWSIMを立ち上げると、立ち上げと同時に左折ウインカが点灯しており動作がおかしくなってきた（5回立ち上げなおすも改善せず）
　・PCを再起動し、再度ローカルシミュレーションを実施＞＞動作OK

hidechun · 2023-01-15T07:31:36Z

上記コメント
＞・PCを再起動し、再度ローカルシミュレーションを実施＞＞動作OK
Logを添付致します。参考になれば幸いです。
challange_log_Local2.txt

kasecato · 2023-01-15T07:51:30Z

同じイメージ 41262e474b24 を使っていますので，同じ環境と思われます。

ログを見ると ndt_scan_matcher に成功した場合に動いているようです。私の環境では 3.1 から自己位置推定の何かがうまく動いていないようです。

hidechun san のログ

[pose_initializer_node-17] [INFO] [1673766452.090497282] [localization.util.pose_initializer_node]: Call NDT align server.
[pose_initializer_node-17] [INFO] [1673766452.964652943] [localization.util.pose_initializer_node]: NDT align server succeeded.
[pose_initializer_node-17] [INFO] [1673766452.964803326] [localization.util.pose_initializer_node]: service exit: /localization/initialize
[pose_initializer_node-17] status:
[pose_initializer_node-17]   success: true
[pose_initializer_node-17]   code: 0
[pose_initializer_node-17]   message: ""
[pose_initializer_node-17]

私のログ

[pose_initializer_node-17] [INFO] [1673768562.403102258] [localization.util.pose_initializer_node]: Call NDT align server.
[pose_initializer_node-17] [INFO] [1673768562.403497901] [localization.util.pose_initializer_node]: NDT align server failed.
[pose_initializer_node-17] [INFO] [1673768562.403583332] [localization.util.pose_initializer_node]: service exit: /localization/initialize
[pose_initializer_node-17] status:
[pose_initializer_node-17]   success: false
[pose_initializer_node-17]   code: 4
[pose_initializer_node-17]   message: "NDT align server failed."
[pose_initializer_node-17]

kasecato · 2023-01-15T08:23:56Z

@hidechun san
すみません，自分は CUDA が原因でした。いただいたログを見て発見できました。nvidia driver を 525.78.01 へアップデートしたことで CUDA が動かなくなったようです。~~nvidia driver を 515-server へロールバックして Nvidia Container Toolkit を再インストールしたところ解決しました。525-server では AWSIM がすぐに落ちました。~~ 2023/01/22 apt からの nvidia-driver-525 でも動作しました。

[component_container_mt-38] [TRT_COMMON][WARNING]: CUDA initialization failure with error: 999.

$ sudo apt install -y nvidia-driver-525

hidechun · 2023-01-15T08:36:00Z

@kasecato さま　動作されたようで良かったです！
@kosei1515 さま　解決されたら、Closeをお願い致します。

hidechun · 2023-01-15T08:51:48Z

動作せず状態が再現しましたのでLog取得しました。
参考情報として添付しておきます。
challange_log_NG.txt

[sample-65] Planning.....
から先に進めないようです。AWSIM上の車の灯火器（ブレーキランプ・ウィンカ）は消灯したままです。

kosei1515 · 2023-01-15T11:02:07Z

@hidechun 様

ありがとうございます
1/14日付のもので試しましたが，上記同様のエラーでシミュレーションがスタートしませんでした

試しにローカル環境で評価なしに実行してみたところ，
Awsimを起動してからAutowareを起動するとシミュレーションがスタートせず，Autowareを起動してからAWSIMを起動するとシミュレーションがスタートしました

同様のエラーは見られていないでしょうか？

ちなみにスタートしない際のエラーとして散見されるのは以下です

[component_container-26] [pcl::KdTreeFLANN::setInputCloud] Cannot create a KDTree with an empty input cloud!
[component_container_mt-3] [ERROR] [1673780505.235844528] [system.system_monitor.hdd_monitor]: socket connect error. Connection refused
[component_container_mt-3] [ERROR] [1673780505.235893369] [system.system_monitor.hdd_monitor]: Failed to unmount device : /dev/sda3[/home/kosei/AI_Challenge_2022_winter/aichallenge2022-sim/autoware]
[sample-71] Planning.....
[sample-71] Planning.....

kosei1515 · 2023-01-15T11:13:30Z

@hidechun
追加の知見として，AWSIMのあとにAutowareを起動した際に，十分時間が経ってから初期位置を違う場所にはめ，再度もとの位置にはめ直すとシミュレーションがスタートしました

@Reee009876
以前に見られたこちらのissueの暫定解決策と同様でしたので，共有させていただきます
isse 6: #6

また関連したissueを確認したのでこちらで提起させていただきます

Screencast.from.01-15-2023.08.26.03.PM.webm

hidechun · 2023-01-15T22:32:28Z

@kosei1515 さま
このトピックは【オンライン評価環境にソースコードを提出する際の手順におけるローカル評価環境でのスコア算出】での
aichallenge_submit.tar.gzを使った動作に関する問い合わせでしたので、シミュレータ環境下での確認はしておりません。

＞Awsimを起動してからAutowareを起動するとシミュレーションがスタートせず，Autowareを起動してからAWSIMを起動するとシミュレーションがスタートしました
シミュレータ環境下での確認は常にAWSIMを先に立ち上げてからシミュレーションしておりましたので、
逆の状態での確認は出来ておりません。
同様の事象が発生したらLog取りやRViz上の自車位置修正など試してみようと思います。

hidechun · 2023-01-22T09:03:51Z

@Reee009876 さま　@kosei1515 さま
本issueでの問い合わせ内容についてはすでにClose、
解析中に発見された別問題は関連トピックについては #26 #27 を起票頂いているので、
こちらはCloseしておきます。

hidechun closed this as completed Jan 8, 2023

hidechun reopened this Jan 8, 2023

kosei1515 mentioned this issue Jan 15, 2023

AWSIM起動後にAutowareを起動し，シミュレーションがすぐにスタートする際のエラーについて #26

Closed

Reee009876 mentioned this issue Jan 17, 2023

2D Goal Pose を設定できないエラーについて #27

Closed

hidechun closed this as completed Jan 22, 2023

Reee009876 mentioned this issue Jan 24, 2023

planningが終わらない現象について #32

Open

hidechun mentioned this issue Jan 29, 2023

オンライン評価でのステータス【結果なし】からの【採点完了】変化について #38

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

ローカル環境評価のスコア算出完了時間について #20

ローカル環境評価のスコア算出完了時間について #20

hidechun commented Jan 8, 2023

hidechun commented Jan 8, 2023

hidechun commented Jan 8, 2023

Reee009876 commented Jan 10, 2023

hidechun commented Jan 10, 2023

hidechun commented Jan 14, 2023

kosei1515 commented Jan 14, 2023 •

edited

Loading

Reee009876 commented Jan 15, 2023

kasecato commented Jan 15, 2023 •

edited

Loading

hidechun commented Jan 15, 2023

kasecato commented Jan 15, 2023 •

edited

Loading

hidechun commented Jan 15, 2023

hidechun commented Jan 15, 2023

kasecato commented Jan 15, 2023 •

edited

Loading

kasecato commented Jan 15, 2023 •

edited

Loading

hidechun commented Jan 15, 2023

hidechun commented Jan 15, 2023

kosei1515 commented Jan 15, 2023 •

edited

Loading

kosei1515 commented Jan 15, 2023 •

edited

Loading

hidechun commented Jan 15, 2023

hidechun commented Jan 22, 2023

ローカル環境評価のスコア算出完了時間について #20

ローカル環境評価のスコア算出完了時間について #20

Comments

hidechun commented Jan 8, 2023

hidechun commented Jan 8, 2023

hidechun commented Jan 8, 2023

Reee009876 commented Jan 10, 2023

hidechun commented Jan 10, 2023

hidechun commented Jan 14, 2023

kosei1515 commented Jan 14, 2023 • edited Loading

Reee009876 commented Jan 15, 2023

kasecato commented Jan 15, 2023 • edited Loading

hidechun commented Jan 15, 2023

kasecato commented Jan 15, 2023 • edited Loading

hidechun commented Jan 15, 2023

hidechun commented Jan 15, 2023

kasecato commented Jan 15, 2023 • edited Loading

kasecato commented Jan 15, 2023 • edited Loading

hidechun commented Jan 15, 2023

hidechun commented Jan 15, 2023

kosei1515 commented Jan 15, 2023 • edited Loading

kosei1515 commented Jan 15, 2023 • edited Loading

hidechun commented Jan 15, 2023

hidechun commented Jan 22, 2023

kosei1515 commented Jan 14, 2023 •

edited

Loading

kasecato commented Jan 15, 2023 •

edited

Loading

kasecato commented Jan 15, 2023 •

edited

Loading

kasecato commented Jan 15, 2023 •

edited

Loading

kasecato commented Jan 15, 2023 •

edited

Loading

kosei1515 commented Jan 15, 2023 •

edited

Loading

kosei1515 commented Jan 15, 2023 •

edited

Loading