LRTNetを用いたリアルタイム温度・力検出用マルチモーダルPCSCセンサー

本調査は、ロボット操作におけるセンサーモダリティ選択、異種信号の整合と融合、およびそれらのアクション生成との関連性に焦点を当て、ビジョン・言語・アクション(VLA)モデルをセンサー・融合・アクションのパイプラインとして再解釈する。RGB、深度、触覚、力/トルク、固有受容性、慣性計測ユニット、マルチスペクトル/熱、イベントベースビジョンなどの主要なセンサーモダリティの分類、それらが提供する物理情報、故障モード、デプロイメント制約を比較する。また、テレオペレーション、人間のビデオ、シミュレーションベースのデータ収集パイプライン、および代表的なデータセット構成をレビューし、早期・後期融合、クロスア…

Dexterous in-hand manipulation(器用な手による物体操作)において、ロボットハンドは頻繁な隠蔽、接触が多い相互作用、高速なダイナミクス下で物体状態を確実に推定する必要がある。触覚センシングは高周波で接触特異的なフィードバックを提供するが、生の触覚信号から有用な表現を抽出し、それを視覚や固有受容感覚と統合することは依然として困難である。本稿では、触覚信号を時空間グラフとして明示的にモデル化するマルチモーダルな器用な操作フレームワーク「TouchWGNN」を提案する。まず、5本指のロボットハンド用に低コストの分散型触覚センサーアレイを開発し、主要な接触領域に分散した1…

• 指関節のソフト容量性伸縮センサーと手のひらの6要素疎圧力アレイを融合した最小限マルチモーダル触覚システムを開発
• 軽量MLPを用いて4つの幾何学的原始形状を表す12個の剛体オブジェクトに対して95.4%のサイズ不変認識精度を達成し、高密度ベースラインを上回った
• ANOVAベースのチャネル選択により情報量の少ない中手指節間関節の信号を除去し、指関節センサー数を削減しながら分類精度を向上

• ワイヤレスウェアラブルセンサーと機械学習による、リアルタイム・マルチモーダル・高サンプリングレートの下肢動作キャプチャフレームワークを提案する研究論文。
• IMUデータからの関節角度推定にランダムフォレスト、インストゥルメントインソールからの地面反力(GRF)予測、関節モーメント予測にResNet-16ベースの深層学習を組み合わせ、3モデルすべてが文献比で良好な精度を達成。
• 予測は1 kHzで記録され、20秒間の入力データに対して最小23ミリ秒の遅延で処理されるリアルタイム性能を実証。

• 欧州研究チームが100マイクロメートル解像度・計算遅延なしのロボット指先センサーを開発した
• メカノクロミック材料「ブリュッセル反射体」を用い、反射光の読み取りで対象物のトポロジー・ひずみ・接触圧をリアルタイムマッピングする
• 人間の指先、コイン、葉のマッピングに既に利用されており、実用化には耐久性と多様な物体への適用が課題