人間知覚イメージングとマシンビジョン向けハイブリッドイベント–フレームセンシング
Hybrid Event–Frame Sensing for Human-Perceptual Imaging and Machine Vision
フレームベースのRGBイメージセンサーとイベントベースのビジョンセンサーは、人間知覚イメージングとマシンビジョンにおいて補完的なセンシング能力を提供する。RGBイメージセンサーは人間が閲覧可能なイメージング、意味認識、従来の画像信号処理パイプラインに不可欠な密な空間、色、テクスチャ情報を提供する。一方、ダイナミックビジョンセンサー(DVS)およびイベントビジョンセンサー(EVS)は、非同期に局所的な明るさの変化を検出し、低遅延、高時間分解能、冗長データ出力の削減といった疎な時間情報を提供する。どちらのモダリティも単独では新しいビジョンシステムのすべての要件を満たせないため、ハイブリッドイベント–フレームセンシングはコンパクト、低遅延、エネルギー効率の良いセンシングの重要な方向性となっている。本レビューでは、デュアルカメライベント–フレームシステム、光学的に整列されたイベント–フレームシステム、ピクセルレベル共有ハイブリッドイメージセンサー、スタック型CIS–DVSハイブリッドイメージセンサー、均質なピクセルセンシングシステム、イベントのみの再構成システムを含む、センサー指向のハイブリッドイベント–フレームセンシングアーキテクチャとシステムの分類法を提示する。遅延、空間分解能、色忠実度、消費電力、フォームファクタなどの主要なセンサー仕様を分析し、これらの仕様がセンサー構成と設計をどのようにガイドするかを議論する。レビューでは、スタック型CIS–DVSセンサーを、コンパクトな統合、同期されたイベント–フレームセンシング、およびオンチップ処理をサポートできる、最もバランスの取れた競争力のあるアーキテクチャの1つとして特定している。しかし、色忠実度、デモザイキング、イベントピクセル比の最適化、キャリブレーション、ベンチマーキング、エッジAI展開など、重要な課題が残っている。最後に、将来のハイブリッドイベント–フレームセンシングシステムは、センサー–アルゴリズム–ISP–AIの共同設計を通じて開発されるべきであることを強調する。本レビューは、人間知覚イメージングとマシンビジョンの両方のために、次世代ハイブリッドイベント–フレームセンシングシステムを開発するための実践的なガイドラインを提供する。
本記事はハイブリッドイベント–フレームセンシングのセンサーアーキテクチャに関するレビューであり、スタック型CIS–DVSハイブリッドイメージセンサーが最もバランスの取れた競争力のある構成として特定されている。エッジAI展開やセンサー–アルゴリズム–ISP–AI共同設計への言及から、マシンビジョン向けイメージセンサー分野での技術進展を示すもので、同分野の半導体スタートアップや既存センサーメーカーの競争環境を理解する上で有用な背景情報を提供する。