コンテンツにスキップ

補助ツール

要点

  • 実車の操作画面(Web GUI)のほかに、シミュレータ・校正・記録の解析・学習のためのツールを Mac 側に揃えています。
  • どれもターミナルを使わずに、1 つのランチャーの窓から起動・停止できます。
  • 学習のツール(模倣学習・強化学習・セグメンテーション)は、重い処理を別のプロセスに任せる薄い操作パネルで、共通の部品を使い回しています。

【設計の説明】

対象: tools/launcher.py とそこから起動する各ツール。確認した版: 上位 7c7054e(2026-11-15)。

ランチャー

ランチャー

ランチャー。実機・シミュレータ・解析・学習の区分ごとにツールを起動・停止できる。

launcher.command をダブルクリックすると開く窓で、次のツールを起動・停止できます。

区分 ツール すること
実機 実機 GUI を開く Raspberry Pi の IP を探し、操作画面をブラウザで開く
シミュレータ シミュレータ一式 仮想の STM32・各ノード・俯瞰ビューを立ち上げ、操作画面を開く
コースエディタ シミュレータのコースを描く
解析 車両の校正 校正の試験の記録を解析し、合否と値を車両パラメータに書き戻す
カメラ校正 チェッカーボードの写真から魚眼レンズを校正する。「ステレオ」では左右の写真の組から、左右それぞれのレンズと左右の位置関係をまとめて校正する(cam_calib --stereo)
SLAM 再処理 記録を SLAM に通し直し、Foxglove で見られる記録を作る
走行サマリ 記録から周回タイム・安全・電源・学習・通信を 1 枚にまとめ、前回との差も出す
動画の書き出し 記録のカメラ画像を左右それぞれの動画に書き出す
学習 ml_lidar LiDAR の強化学習(強化学習)
ml_cam カメラのセグメンテーション(カメラで道を見る)
ml_cam_e2e カメラの模倣学習(模倣学習)
ml_e2e LiDAR + カメラ + 車両状態の模倣学習(E2E 融合)

1 つの GUI にまとめず、別々のプロセスで起動しています。 シミュレータの描画(pygame)と Tkinter は 1 つのプロセスに同居できず、 学習(PyTorch)と SLAM を同じプロセスに載せると、1 つが落ちたとき全部が落ちるからです。ランチャーを閉じると、起動中のツールも一緒に終わります。

シミュレータ

シミュレータの俯瞰ビュー

シミュレータの俯瞰ビュー。地図を使う走行で周回している車と軌跡、LiDAR の点、速度・舵角・超音波の値が見える。

実車が無くても、実機と同じ制御コードのままコースを走らせられる 2D シミュレータです。

  • 偽装するのは STM32 だけです。UART の通信路の位置に仮想の STM32 を差し込むので、Raspberry Pi 側のノードも操作画面も 1 行も変えずに動きます(検証の仕組み)。
  • シミュレーションの操作は実機の画面に入れません。 コースの切り替えやノイズの量は実機に対応する物が無いので、それを実機の画面に持たせると、表示の判定を 1 つ間違えた瞬間に実車の画面にシム用のボタンが出ます。 操作画面はシミュレータの存在を知らない(「SIM」の表示を出すだけ)作りにしています。

コースエディタ

コースエディタ。壁を直線と円弧でつなぎ、スタート地点や障害物を置く。

車両の校正

車両の校正ツール

遅延の校正の記録(実機、2026-11-06)を解析したところ。149 回の反転の中央値 3.9 ms で「合格」。値を確かめてから車両パラメータに書き戻せる。

実車で校正の試験(操作画面のシステム同定タブ)を走らせて記録を取り、このツールで解析します。 エンコーダ・ステアリング・遅延・車速の制御・TC / ABS について、測る → 式で値を決める → 閉ループで合否を確かめるの順に進め、合格した値を車両パラメータに書き戻します。

記録の解析

走行サマリ

実機の走行記録(2026-11-06)の走行サマリ。段階の移り変わり、要確認の事項、28 周の周回タイムと学習の値が 1 枚にまとまる。

SLAM 再処理

同じ記録を SLAM に通し直した結果。2,776 周の点群で見失い 0 %、一致度の平均 0.97、ループ閉じ 359 本。推測航法とのずれは走行距離の 1.4 %。

走行は MCAP 形式で記録し、Foxglove でも見られます。走行サマリは 1 回の走行を 1 枚にまとめ、前回との差も出すので、変更の効果を走行ごとに比べられます。

ステレオの開発に使う道具

シミュレータはカメラを描かないので、ステレオの照合は実機の記録を Mac で再生して作り込みます(ステレオで低い障害物を見る)。

ツール すること
tools/stereo_bench 記録を再生して、照合の方式(StereoBM / SGBM)・解像度・行の範囲を比べる。精度の物差しは LiDAR で、LiDAR の高さに入るステレオの点を同じ方位の LiDAR の距離と比べる。物差しそのものは、既知の距離の壁に向けて録った記録で先に確かめる(--wall)
tools/fwsim/stereo_replay 記録を、STM32 のステレオ自動停止の判定(ファームの C をそのままコンパイルしたもの)に通し、衝突の何秒前から検出していたかと、LiDAR と無関係な「ステレオだけの検出」の数を出す。自動停止のしきい値はこれで決めた

記録には、撮ったときの vehicle.toml の全文、コードの版、主要なファイルのハッシュも残します(raspi/rec/provenance.py)。 「照合を変えたから結果が変わったのか、撮ったときの設定が違ったのか」を、後から切り分けられるようにするためです。

学習の操作パネルに共通する作り

3 つの学習ツールは、どれも重い処理(抽出・学習・書き出し・評価)を別のプロセスとして呼び出すだけの薄い操作パネルです。 操作パネルのプロセスは PyTorch を読み込まないので、学習が落ちても窓は生き残ります。 ログの表示・子プロセスの実行・モデル名の管理・備考・学習曲線・窓を閉じる処理は、3 つで共通の部品(ml_common/)を使っています。

モデル名 1 つで、フレーム・学習の出力・書き出し先がつながります。 最初のタブでモデル名を決めれば、後のタブはその名前のフォルダを自動で使います。