Core ML と dots.ocr を用いた SOTA OCR
SOTA OCR with Core ML and dots.ocr
RedNote 社の 3B パラメータ OCR モデルである dots.ocr が、OmniDocBench で Gemini 2.5 Pro を上回り、オンデバイスでの OCR 利用を現実のものとした。オンデバイス実行には Apple の Neural Engine が有効だが、これは Core ML を通じてのみアクセス可能である。記事では、PyTorch で学習された dots.ocr モデルを Core ML と MLX を組み合わせてオンデバイスで実行可能にするための 3 部構成シリーズの第 1 部として、PyTorch から Core ML への変換プロセスを詳述している。具体的には、torch.jit.trace を使用して PyTorch の実行グラフをキャプチャし、coremltools を用いて .mlpackage にコンパイルする 2 ステップのプロセスについて解説。変換中に発生した dtype の不一致、repeat_interleave エラー、動的インデックスの非サポートといった問題に対処し、最終的に Core ML への変換を成功させた。ただし、この時点でのモデルサイズは 5GB を超え、推論時間も 1 秒以上かかるため、実用にはさらなる最適化が必要であると述べている。第 2 部では Core ML と MLX の連携、第 3 部では Neural Engine での実行に向けた最適化(量子化、動的形状など)について解説する予定である。
- RedNote社が3BパラメータのOCRモデルdots.ocrを公開し、OmniDocBenchでGemini 2.5 Proを上回る性能を達成
- dots.ocrモデルをPyTorchからCore ML経由でApple Neural Engine向けに変換するプロセスが公開された
RedNote社の3BパラメータOCRモデルdots.ocrがGemini 2.5 Proをベンチマークで上回り、かつApple Neural Engineでのオンデバイス実行を可能にした点が重要。特にCore ML + MLXによるPyTorch→オンデバイス変換の技術的障壁を克服しつつあることは、エッジAI/オンデバイス推論の実用化を加速させるシグナル。現状5GB超・1秒超の推論時間という課題は残るが、量子化・動的形状対応などの最適化ロードマップが示されており、今後の改善次第でスマートフォン上での高精度OCRが現実味を帯びる。投資家としては、エッジAIモデルの性能向上と実行効率の改善トレンドに注目したい。