コンピュータとカメラが融合する—マルチカメラ・イメージング技術—

コンピュータ理工学部 ネットワークメディア学科 蚊野 浩 教授

マルチカメラ・イメージング技術

 ユビキタスなカメラの時代。ディジタル写真技術の登場で、だれもが簡単に撮影を楽しむことができるようになりました。最近では、デジカメとカメラ付き携帯を合わせて毎年10億台程度が生産されています。しかも、写真を記録するメディアは安価になり、撮影枚数の限界が事実上なくなっています。ディジタル技術とコンピュータ技術により写真撮影のあらゆる限界が取り除かれつつあります。両技術がご専門の蚊野浩先生に詳しくお話しいただきました。

画像技術との出会い

 私がディジタル画像技術に携わるきっかけとなったのは、1984年企業に就職し、カラー記録装置の開発を担当したときです。それ以前の1970年代、濃淡画像(モノトーン画像)をディジタルプリントする装置は非常に高価であり、その代わり今のアスキーアートのように、文字出力装置を使って擬似的な濃淡画像を出力していました。1980年代になると濃淡画像やカラー画像を出力する技術の開発が盛んになり、私もその一端を担うことになったのです。10年近くカラー記録装置の技術開発を行いました。製品になったものもあり、ならなかったものもありますが、結局、事業としては存続しませんでした。

 その頃から、カメラ装置に興味を持つようになりました。理由は単純なことです。画像情報はカメラ的な装置で入力し、コンピュータによって中間処理を行い、プリンタ的な装置で結果を出力します。私の専門はコンピュータ技術ですが、画像を扱うシステムにおいては、カメラのような入力装置とコンピュータ技術を密接に結びつけることが自然なのです。人間を例に考えると、眼球によって外部世界の光像を入力し、脳がその像を計算して理解します。その結果、外部世界で自由に活動することが可能になります。眼球は単なるセンサであり、脳での情報処理によって意味が生じます。カメラで取得した画像をコンピュータ処理することで被写体の3次元情報を復元することや、被写体の属性情報(人間であるとか車であるとか)を推定する技術をコンピュータビジョンとよびますが、先に述べたように自然な発想から、コンピュータビジョンに関する研究成果を通じて、ディジタル画像の新技術開発に貢献しようと決意しました。

マルチカメラ画像処理

写真

 1993〜1995年に米国カーネギーメロン大学の金出武雄教授の指導のもとで開発した「ビデオレートステレオマシン」は、6台のビデオカメラを接続できるステレオ画像処理専用ハードウエアです。図1のように、複数のカメラがコンパクトにまとめられたマルチカメラヘッドを入力部とし、被写体までの距離情報を表現する画像を毎秒30枚出力することができます。この装置は、同大学において距離情報を手がかりにした画像合成技術(Z-Keyとよばれる)などに利用されました。また直接の関係はありませんが、スバル社の先進運転支援システム「EyeSight」やXbox用のヒューマンインタフェースデバイスであるKinect※1の先駆けになったものと言えます。

写真

 ステレオマシンのように複数のカメラを用いて取得した複数の画像、あるいは1台のカメラを用いて取得した複数の画像を処理することが、自然と私の主要な研究テーマになりました。特に、位置的あるいは幾何学的な情報を手がかりにして、複数画像の情報を統合することに特色があります。また、ステレオマシンに続く研究では、ハンドヘルド型3Dスキャナー、手持ちカメラによるパノラマ画像合成技術、複数の車積カメラを用いた全周囲モニタシステムなどに取り組みました。

 ハンドヘルド型3Dスキャナーは、合計3台のビデオカメラとレーザースリット光源を用います。図2の装置において、横アームの両端と、手持ちの小型測定部の中にカメラが内蔵されています。そして、形状を入力したい物体のまわりを、手持ち測定部でなぞるようにスキャンすることで立体情報を取り込むことができます。この技術は、最終的には、足形の立体形状を入力する装置として製品化※2しました。

写真

 車用の全周囲モニタシステムは、図3のように、トラックなどの車体上部に4台のカメラを設置します。運転手が4台のカメラからの映像を個別に見て、障害物などを確認するのは至難の技です。4台のカメラ映像は、道路面を共通の観察領域として1枚の画像に合成することができます。これは、パノラマ画像合成技術の簡単な応用です。結果としてできる画像は、あたかもトラックを頭上から見たような鳥ちょうかん瞰画像になります。この1枚の鳥瞰画像であれば、周囲の状況を一目瞭然に確認することができます。

※1 Xboxなどに接続して使用する対象の動作を認識するセン サ。

※2 実物は大きめの靴屋などに置かれている。

デジカメで活躍するビジョン技術

 これらの開発を行った2000年前後において、複数台のカメラを使った装置は、コストなど実用化する上で困難なことが多く、残念ながら広く普及するには至りませんでした。一方、2000年代になると、デジカメの技術開発においてコンピュータビジョンに基づく画像処理の重要性が注目されるようになります。そのきっかけは、写真画像からの顔検出技術の実用化です。正面顔を検出する研究は1990年代後半から盛んになり、2000年代に入ると、デジカメに実用化されるのは時間の問題になるまでに性能が向上しました。2005年には顔検出が初めてデジカメに搭載され、今日では、必須機能の一つになっています。

 私たちのグループでもデジカメに実用化できる画像処理技術を多く開発しました。顔検出も担当しましたが、それ以外にも、パノラマ画像合成、手ぶれ補正などを実用化しました。手ぶれ補正は、手ぶれによるカメラ筐体(きょうたい)の動きをキャンセルするように、レンズや撮像素子を移動させる光学式が有効ですが、カメラの大きさやコスト面での制約があり、画像処理による手ぶれ補正にも期待が集まっています。

 デジカメに搭載される画像処理のことを、私はデジカメ画像処理と呼んでいます。デジカメ画像処理は、第一に画像のノイズ除去や色信号の補正、階調特性の制御などの伝統的な写真画像処理を含みます。第二に、オートフォーカスやオートアイリス※3などのカメラ制御と融合することでカメラを使いやすくする、画像の検出や動被写体の追跡などのコンピュータビジョン技術を含みます。第三に、レンズや撮像素子といった撮像系の工夫と高度な画像処理を融合することで、撮影後に被写界深度(いわゆるピント)をコントロールすることができるなどの、コンピュテーショナルフォトグラフィ技術を含みます。

※3 自動絞り。レンズの絞りを被写体の明るさに合わせて自動的に変化させる機能。

マルチカメラを使ったコンピュテーショナルフォトグラフィ

写真

 コンピュテーショナルフォトグラフィという言葉は耳慣れないと思います。デジカメの未来技術の一つとして、画像処理技術者の一部が使っている用語です。一つの具体例は、カメラを縦横配列状に多数配置したカメラアレイを用いるものです。その機能モデルの外観は、図1のマルチカメラヘッドをもっと大規模にしたもので、図4のようになります。通常の1台のカメラは、図4中央にある1つのピンホールカメラで表されます。1台のカメラは、3次元空間を満たしている光線の中で、1つのピンホールを通過するものをサンプリングします。サンプリングした結果が1枚の写真画像です。ピンホールカメラを図4のように縦横無数に並べると、光線空間とよばれるものが取得されます。サンプリングが十分に密であれば、取得されたデータ(非常に多数の画像)を用いて、撮像現象を計算によって模擬することが可能になります。その結果、カメラによる像の形成を、レンズ口径、焦点距離など、さまざまなパラメータによってシミュレーションすることができます。実際に設計可能なカメラパラメータだけでなく、実在しないカメラパラメータで撮影した画像を生成することができます。

 カメラアレイを用いたコンピュテーショナルフォトグラフィは、すでにある程度の進展を見せており、図4のカメラアレイ相当の機能を、通常のカメラ筐体相当の大きさに収めたものが発表されています。今後、ディジタル技術の応用によって、従来あり得なかった撮影を可能にするカメラが続々と発表されていくことでしょう。

アドバイス

 高校生から大学生、社会人になるまでの10年弱は、人生において最も濃密な時間を過ごすことになります。自分の適性や限界を深く考えるのもこの時期でしょう。一方で、体力も知力も人格も、この時期に驚くほど成長することができます。その恩恵にあずかることができるのは、正しい努力を継続した人になりますが、正しい努力の中身は人によって異なります。京都産業大学は、皆さんのさまざまな努力に応えることができる大学であると思いますので、ぜひ、一緒に未来の扉を開きましょう。

コンピュータ理工学部 ネットワークメディア学科 蚊野 浩 教授

プロフィール

博士(工学)。専門は画像処理、コンピュータビジョン。理科系への進学で、なにを専門分野にするかを考えたとき「コンピュータ=未来志向の新産業」とあまり深く考えずに進路を選択。その後は、コンピュータ分野の中でも基礎的な論理回路に興味を持てそうだ、自分の適性を考えるとメーカーのエンジニアが向いているのではないか、と少しずつ深く考えた結果、企業のなかでも研究色の強いキャリアを進むことに。大阪府立北野高校OB。

PAGE TOP