Sim メトリクスが十分ではない理由
シミュレーションの成功率は、現実世界のパフォーマンスに反映されないことがよくあります。 照明の変化、オブジェクトの変化、キャリブレーションのドリフト、センサーのノイズはすべて実際のパフォーマンスに影響します。 公開可能な結果と展開の決定には、厳密な現実世界の評価プロトコルが不可欠です。
評価プロトコル
条件ごとに少なくとも 50 回の試行を実行します (信頼区間が狭い場合は 100 回が推奨)。 オブジェクトのインスタンス、位置、照明条件、オペレーターを変更します。 Wilson スコアを使用して、95% 信頼区間で成功率をレポートします。 すべての失敗エピソードを記録して確認します。 再現性のための環境条件を文書化します。
- 条件ごとに 50 回以上のトライアル
- 少なくとも 3 つのオブジェクトのバリエーション
- 2 つ以上の照明条件
- ウィルソンスコアの信頼区間
- すべての試験のビデオ録画
よくある落とし穴
簡単に開始できる構成を厳選し、障害モードを報告せず、すべてのトライアルで同じオブジェクト インスタンスを使用し、チューニング (現在の条件にオーバーフィット) 直後に評価を実行します。 SVRC の評価サービスは、標準化された再現可能なテスト環境を提供します。