ただし、レンズがなくとも、各画素に入る光の角度を何らかの方法で制限すれば、各画素には特定の方向の光のみが入り、被写体の像が再現できるようになる。コンピュテーショナル・フォトグラフィ技術では、この光の入射を制限する目的で、イメージセンサの手前にパターンを持った穴(開口:coded aperture)を入れるのが一般的である。

 今回の日立のFZA技術でも、特定のパターンの開口部(穴)を設けて光の入射を制限している。具体的には、同心円を何重にも繰り返したパターンを薄いフィルム上に印刷し、それを開口部に置く(図3)。

 イメージセンサと同心円パターンフィルムの間は、1mmほどの隙間を空ける。イメージセンサには、被写体から出た光により同心円パターンの影が映る。この影は、被写体(光源)が無限遠にあり、平行光線になった場合は、フィルム上の同心円パターンがそのままイメージセンサ上に投影され、フィルム上と同じ大きさの影が映る。

 一方、被写体が近づいてくると、入射光は平行光線ではなく次第に斜めになっていくため、イメージセンサ上に写る影の大きさが拡大していく。イメージセンサ上に写る影の大きさから、被写体までの距離を再現できるというのが、今回のレンズレス技術の基本的な原理である。

図3 近い被写体はフィルム上のパターンが拡大して写る
フィルム上のパターンは、レンズがない場合でもイメージセンサ上に影を作る。この影は、被写体の角度や距離に応じて、イメージセンサ上での大きさや位置が変わる。この変化を検出することで、画像処理により被写体の像を再現する。
[画像のクリックで拡大表示]

 開口の形状としては、数式で端的に表せる単純な同心円パターンを採用することで注1)、撮影後の像の復元処理の演算負荷を軽くした点が特徴である。

注1)今回の同心円パターンは、画像中心からの距離をxとすると、1/2(1+cosβx2)と表される。

演算負荷軽減のため同心円に

 実際には、被写体は点光源ではなく、多数の点光源の集合であるため、イメージセンサ上にはフィルム上のパターンの影が多数発生し、重なり合う。これらを分離しやすくするため、日立は実際にはパターンの影の大きさではなく、別の手段で被写体の像を復元するようにした。

 具体的には、撮影後の画像に対し、同じ同心円パターンを画像処理で仮想的に重ねる。これら同心円パターン同士で発生する干渉縞を基にして映像を再構成する(図4)。発生する干渉縞の周波数は、被写体までの距離に依存しているため、この干渉縞を2次元FFTで周波数変換すると、元の画像を復元できる注2)

注2)発生する干渉縞のうち、被写体の情報が載った信号となる項はcos2δβxである。δはフィルム上と比べた同心円パターンのズレの量である。撮像するイメージセンサの画素ピッチは、干渉縞を分離できる細かさである必要がある。

 実際には、撮影後の演算処理では、同心円パターン自体は除去し、干渉縞のみをFFTに掛ける。仮想的に重ねる同心円パターンの大きさを変化させることで、画像復元時の合焦位置を制御できる注3)

注3)合焦位置を制御する場合は、仮想的に重ねる同心円パターン(1/2(1+cosβx2))で、円のピッチであるβを変化させる。
図4 レンズレス技術での像の復元の流れ
同心円パターンの開口により光線情報を符号化して撮影した後、画像処理で別の同心円パターンを重畳し、あえて干渉縞(図では縦方向の縞)を発生させる。その後、同心円パターンは除去し、干渉縞のみをFFTで周波数変換することで、レンズなしで撮影した被写体の像を復元する。(写真:日立製作所)
[画像のクリックで拡大表示]

 重ねた同心円パターンによる干渉縞は、被写体に合焦している際は、直線的な縞模様となる。これに対し、合焦位置に被写体がなく、ボケている際は、この干渉縞は曲線的に歪む(図4)。開口パターンで符号化することで、撮影時に距離情報を得ているため、後処理で合焦位置を変化させたり、距離画像を得たりできるという訳だ(図5)。

図5 合焦位置を変えて復元した画像の例
画像処理時に重畳する同心円パターンの大きさを変え、合焦位置を変化させた復元画像の例。(a)はリンゴ、(b)はブドウ、(c)はバナナにそれぞれ合焦している。合焦していないボケの部分には、コード化に用いた同心円の開口パターンによる画質劣化が発生する((a)のブドウの領域など)。(写真:日立製作所)
[画像のクリックで拡大表示]

 今回のようなレンズレスカメラ技術自体は以前からある。例えば、米Rambus社の「Lensless Smart Sensors(LSS)」、米Rice Universityと米CMUの「FlatCam」などが代表的である(表1)。