ボケの量は、R画像とG画像、B画像とG画像との違いを基にして、一種の探索処理により推定する。前述したように、ピントの合う距離以外にある被写体は、縦エッジについて左右で色の異なるボケが表れる。具体的には、RとBについては左右分割のYCフィルタの作用により左右非対称なボケとなる。

 一方、Gについては全領域で通過するため、左右対称なボケとなる。そこで、RやBの非対称なボケが、Gの左右対称なボケとピタリと重なるような写像(カーネル)を見つけられれば、その写像のパラメータは、距離と一意に関連付いていることとなる(図2)。

 実はその写像のパラメータは、ボケの量そのものである。G画像と最も相関の高いボケの補正量が探索により判明すれば、そこから図1の式により、その被写体までの距離が分かる。探索処理は画素ごとに行う。

 写像の探索は、0.1~0.01画素などサブピクセル単位でボケ量をずらしながら、数百パターンほど行う。今回の技術では開口は左右分割のため、写像は水平方向の1次元の畳み込みカーネルとなる。マルチコアCPU上で900×700画素の入力画像に対し1フレーム当たり0.5秒ほどで一連の後処理が完了するという(SIMD命令等は不使用)。

 ボケ具合から距離を復元する既存のDFD技術では、焦点を変えて撮影した複数のフレームを用いる必要があったが、今回の技術ではカラー開口を組み合わせることで、単眼の1フレームのみで距離復元を実現した。カラーフィルタではなく、レンズそのものの色収差によるボケの色から距離を復元する手法も従来あったが、その場合、推定できる距離が限定的となる。今回の技術はそうした制約がない。

左右のズレのなさが高精度の要因

 距離精度は、60~132cmの距離にある対象物の場合、基線長35cmのステレオカメラとほぼ同等となったという(図3)。焦点距離50mm、f=1.8のレンズを絞り(有効口径)f=4まで絞り込んで計測したところ、推定距離のバラつき(標準偏差)がステレオカメラと同等の2mmとなった。屋外でも適切な距離画像が得られることを確認済み(図4)。「正確な誤差はまだ定量化できていないが、100mほど離れた対象物でもおおむね距離画像を取得できる」(東芝 研究開発センター マルチメディアラボラトリー室長の古藤晋一郎氏)という。

図3 基線長35cmのステレオカメラと同等の精度を実現
1mほどの距離であれば、ステレオカメラと同等の精度を実現できている。試作機の部分が今回の技術。(図:東芝)
[画像のクリックで拡大表示]
図4 東芝のカラー開口技術で取得した距離画像の例
左が距離画像、右が元の画像である。水平方向のエッジやテクスチャーがあれば距離を検出できる。(写真:東芝)
[画像のクリックで拡大表示]

 小さな視差しか発生しない口径わずか数cmの単眼で大型のステレオカメラに匹敵する精度が実現できる要因として、東芝はステレオカメラのような両眼の精密な校正が不要である点を挙げる。

本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 ステレオカメラでは光軸やシャッタタイミングなどについて校正を施しても左右間に一定の誤差が残るが、単眼のカラー開口では同一光学系を利用するため、それらが少ない。また、DFDにおけるボケ補正写像の探索も「凸最適化のため、高精度な探索ができる」(同社 研究開発センター マルチメディアラボラトリー 主任研究員の三島 直氏)点も寄与している。

1)Y. Schechner et al., “Depth from Defocus vs. Stereo: How Different Really are They?,”International Conference on Pattern Recognition, pp.1784-1786, 1998.
2)A. Levin et al.,“Image and Depth from a Conventional Camera with a Coded Aperture,”ACM Transactions on Graphics, vol.26, no.3, 2007.
3)Y. Bando et al.,“Extracting Depth and Matte using a Color-Filtered Aperture,”ACM Transactions on Graphics, vol.27, no.5, 2008.
4)森内ら、「カラー開口を用いたDFD技術」、第22回画像センシングシンポジウム、2016年.
5)A. Chakrabarti et al.,“Depth and Deblurring from a Spectrally-varying Depth-of-Field,”ECCV 2012, pp.648-666, 2012.
出典:2016年8月号 pp.8-11 日経Robotics
記事は執筆時の情報に基づいており、現在では異なる場合があります。