ロボット データを学習可能にするもの

ロボティクスでは、モデリング チームがデータ パイプラインを最初から再構築することなく、また結果を黙って無効にする後期段階の「落とし穴」 (タイムスタンプの欠落、キャリブレーションのドリフト、アクション セマンティクスの不一致、一貫性のないリセット) を発見することなく、ポリシーをトレーニングおよび評価できる場合、データセットは学習の準備ができています。

ロボティクス データは従来の ML データセットとは根本的に異なるため、これは重要です。 それは、複数のカメラビュー、ロボットの状態、力、触覚信号、オペレーター入力など、マルチモーダル、時間的、エピソード的であり、多くの場合高次元です。 セマンティクスと同期が事前に設計されていない場合、大きな「ログの山」は依然として模倣学習、オフライン RL、または基礎モデルには使用できない可能性があります。

実際の定義

学習可能なロボット データは、エピソードベースのインタラクション データであり、その観察、アクション、およびタスクのセマンティクスは、(a) 時間の一貫性があり、(b) キャリブレーションを認識し、(c) 十分に文書化され、(d) エンドツーエンドで検証されているため、下流のトレーニング コードはハードウェア上で起こったことの忠実な記録としてデータを消費します。

ポリシーの学習方法に一致するデータセット構造

エピソードには、既知の開始条件、一貫した終了定義、明確なステップ境界が必要です。 観察とアクションの定義は、制御モード、座標フレーム、単位、タスクのセマンティクスなど、明示的である必要があります。 タスク定義は最上級のものです: タスク ID、言語の説明、シーン構成、成功基準。

時刻の同期と校正

ロボット学習の場合、時間は監視です。 カメラ フレーム、ジョイントの状態、アクションは同じ瞬間に対応する必要があります。 キャリブレーションも同様に中心的であり、カメラの内部機能と外部機能によって、ピクセルが物理世界にどのように関係するかを定義します。 タイミングとキャリブレーションが信頼できない場合、データセットも信頼できません。

対象範囲、失敗、および人的入力

学習の準備ができたデータセットは、シーン全体の多様性、監視としての障害と回復、第一級の信号としての人的入力などをカバーできるように設計されています。 スリップ、掴み忘れ、修正、再試行はノイズではなく、堅牢性にとって不可欠な信号です。

これに対する当社のアプローチ方法

当社のデータ収集サービスは、マルチモーダル同期キャプチャ、人間参加型遠隔操作ワークフロー、タスク駆動型データセット設計、エンドツーエンドの QA と検証、明確なドキュメントと提供前の明示的な制限など、学習にすぐに使える要件に基づいて明示的に構築されています。