補助ツール¶
要点
- 実車の操作画面(Web GUI)のほかに、シミュレータ・校正・記録の解析・学習のためのツールを Mac 側に揃えています。
- どれもターミナルを使わずに、1 つのランチャーの窓から起動・停止できます。
- 学習のツール(模倣学習・強化学習・セグメンテーション)は、重い処理を別のプロセスに任せる薄い操作パネルで、共通の部品を使い回しています。
【設計の説明】
対象: tools/launcher.py とそこから起動する各ツール。確認した版: 上位 7c7054e(2026-11-15)。
ランチャー¶

launcher.command をダブルクリックすると開く窓で、次のツールを起動・停止できます。
| 区分 | ツール | すること |
|---|---|---|
| 実機 | 実機 GUI を開く | Raspberry Pi の IP を探し、操作画面をブラウザで開く |
| シミュレータ | シミュレータ一式 | 仮想の STM32・各ノード・俯瞰ビューを立ち上げ、操作画面を開く |
| コースエディタ | シミュレータのコースを描く | |
| 解析 | 車両の校正 | 校正の試験の記録を解析し、合否と値を車両パラメータに書き戻す |
| カメラ校正 | チェッカーボードの写真から魚眼レンズを校正する。「ステレオ」では左右の写真の組から、左右それぞれのレンズと左右の位置関係をまとめて校正する(cam_calib --stereo) |
|
| SLAM 再処理 | 記録を SLAM に通し直し、Foxglove で見られる記録を作る | |
| 走行サマリ | 記録から周回タイム・安全・電源・学習・通信を 1 枚にまとめ、前回との差も出す | |
| 動画の書き出し | 記録のカメラ画像を左右それぞれの動画に書き出す | |
| 学習 | ml_lidar | LiDAR の強化学習(強化学習) |
| ml_cam | カメラのセグメンテーション(カメラで道を見る) | |
| ml_cam_e2e | カメラの模倣学習(模倣学習) | |
| ml_e2e | LiDAR + カメラ + 車両状態の模倣学習(E2E 融合) |
1 つの GUI にまとめず、別々のプロセスで起動しています。 シミュレータの描画(pygame)と Tkinter は 1 つのプロセスに同居できず、 学習(PyTorch)と SLAM を同じプロセスに載せると、1 つが落ちたとき全部が落ちるからです。ランチャーを閉じると、起動中のツールも一緒に終わります。
シミュレータ¶

実車が無くても、実機と同じ制御コードのままコースを走らせられる 2D シミュレータです。
- 偽装するのは STM32 だけです。UART の通信路の位置に仮想の STM32 を差し込むので、Raspberry Pi 側のノードも操作画面も 1 行も変えずに動きます(検証の仕組み)。
- シミュレーションの操作は実機の画面に入れません。 コースの切り替えやノイズの量は実機に対応する物が無いので、それを実機の画面に持たせると、表示の判定を 1 つ間違えた瞬間に実車の画面にシム用のボタンが出ます。 操作画面はシミュレータの存在を知らない(「SIM」の表示を出すだけ)作りにしています。

車両の校正¶

実車で校正の試験(操作画面のシステム同定タブ)を走らせて記録を取り、このツールで解析します。 エンコーダ・ステアリング・遅延・車速の制御・TC / ABS について、測る → 式で値を決める → 閉ループで合否を確かめるの順に進め、合格した値を車両パラメータに書き戻します。
記録の解析¶


走行は MCAP 形式で記録し、Foxglove でも見られます。走行サマリは 1 回の走行を 1 枚にまとめ、前回との差も出すので、変更の効果を走行ごとに比べられます。
ステレオの開発に使う道具¶
シミュレータはカメラを描かないので、ステレオの照合は実機の記録を Mac で再生して作り込みます(ステレオで低い障害物を見る)。
| ツール | すること |
|---|---|
tools/stereo_bench |
記録を再生して、照合の方式(StereoBM / SGBM)・解像度・行の範囲を比べる。精度の物差しは LiDAR で、LiDAR の高さに入るステレオの点を同じ方位の LiDAR の距離と比べる。物差しそのものは、既知の距離の壁に向けて録った記録で先に確かめる(--wall) |
tools/fwsim/stereo_replay |
記録を、STM32 のステレオ自動停止の判定(ファームの C をそのままコンパイルしたもの)に通し、衝突の何秒前から検出していたかと、LiDAR と無関係な「ステレオだけの検出」の数を出す。自動停止のしきい値はこれで決めた |
記録には、撮ったときの vehicle.toml の全文、コードの版、主要なファイルのハッシュも残します(raspi/rec/provenance.py)。
「照合を変えたから結果が変わったのか、撮ったときの設定が違ったのか」を、後から切り分けられるようにするためです。
学習の操作パネルに共通する作り¶
3 つの学習ツールは、どれも重い処理(抽出・学習・書き出し・評価)を別のプロセスとして呼び出すだけの薄い操作パネルです。
操作パネルのプロセスは PyTorch を読み込まないので、学習が落ちても窓は生き残ります。
ログの表示・子プロセスの実行・モデル名の管理・備考・学習曲線・窓を閉じる処理は、3 つで共通の部品(ml_common/)を使っています。
モデル名 1 つで、フレーム・学習の出力・書き出し先がつながります。 最初のタブでモデル名を決めれば、後のタブはその名前のフォルダを自動で使います。
隣のしくみへ
さらに深く