3次元計測技術と文化遺産デジタルアーカイブ

3次元計測技術と文化遺産デジタルアーカイブ

執筆:准教授 神原利彦

 2019年10月31日に「首里城(沖縄県)が火災で焼失」との衝撃的なニュースを耳にした。太平洋戦争時に失われた首里城を長年かけて復元して、ようやく復元が完了した矢先の出来事だったらしい。このような文化財に限らず、「形あるもの必ず壊れる」との諺があるように、様々な理由で、失われるものが後を絶たないのは残念なことだ。日本だけに限らず、宗教的な争いから、異教徒の崇拝が許せないとの理由で仏像などがダイナマイトで破壊された海外の例などもある。そうして破壊された品々には世界遺産に指定された文化財なども含まれ、その土地の政情が不安定なことから、危機遺産リストに載っていることも多々ある。そんな文化財を守るには、または復元の支援をするには、我々技術者に何ができるのだろうか?

 その答えの一つが、デジタルアーカイブと呼ばれている文化財の形状計測・保存技術である。例えば、世界遺産の一つであるカンボジアのアンコール・ワットという寺院遺跡に対し、東京大学の池内克史教授のグループが3次元距離計測機を持ち込んで寺院内のありとあらゆる建造物の形状・位置を計測したのは2011年の話である。建造物にレーザー光線を当てて、その跳ね返って来るレーザーの位相差から奥行距離(すなわち三次元形状)を精密に計測する装置を使っている。ただし、その計測の解像度をどの程度にするかが問題である。解像度を高く(細かく)計測するならば、物体の至近距離にまで装置を近づける必要がある。アンコールワットのバイヨン寺院には高い塔もあるが、その塔の頂上付近の外側の形状を計測するには、地上に装置を設置したままでは、距離が離れ過ぎてしまう。そこで、池内教授のチームでは、当時の気球に計測装置を乗せて、塔の頂上の至近距離まで浮かせて持って行く作戦で高解像度な3次元データを計測した。形状だけでなく色情報についても、高解像度なカラーカメラで単に計測するだけでなく、太陽光の色を推定して、日照による見かけの色変化をキャンセルし、本来の色(反射率)を計測する記録方法も行われた。

 このように、現時点で残っている文化財については、形状や色を計測・記録しておけば、仮にあとで破壊された場合でも、それらの記録データを基に復元が可能という道筋をつけることができる。だが、首里城のように精密なデータを計測しないうちに焼失されてしまい、過去に撮影した観光者の写真という2次元データしか残っていない場合に、どうやって3次元的な復元をすれば良いのか?

 例えばある文化財に関して、考古学者Aさんが自分のカメラAで撮影した写真Aと、数年後に考古学者Bさんが自分のカメラBで撮影した写真Bしか残っておらず、破壊されてしまったという場合に、この写真Aと写真Bからどうやって3次元情報を復元するのか?

 ところで、画像処理の分野では「3次元画像計測」という学問領域がある。これは、画像という2次元の情報を複数使って3次元の情報を構築する方法を考えようというものだ。代表的な手法が、「平行ステレオ視」と呼ばれるもので、2台の同仕様のカメラを精密かつ光学的に「光軸が平行になり、水平軸も一致するように設置した特殊なカメラ台」で撮影する技術である。例えば、テレビ放送などで、偏光メガネをかけて3D映像を視れるようにした番組があるが、この3D映像がまさしくこの「平行ステレオ視」で撮影されている。その技術をさらに応用し、2つのカメラの光軸が平行でない場合であっても3次元構造を計算・計測できるようにした複雑な幾何学がエピポーラ幾何である。

 エピポーラ幾何とは、ある物体点が2つのカメラで撮影された場合に、その写り方を限定する幾何学である。図1にその概要を示す。特徴点とカメラAのレンズ中心点とカメラBのレンズ中心点の3点で張られる平面をエピポーラ平面と呼びこのエピポーラ平面と画像平面との交線(図の赤い実線)をエピポーラ線と呼ぶ。特徴点をカメラAとカメラBで撮影した時の結像点は必ずこのエピポーラ線に乗っているという拘束が生まれる。つまり、画像のどこにでも写る可能性があるわけではなく、線上に拘束されることを意味している。この拘束線を算出するのに使われるのが基礎行列と呼ばれる行列である。

図1:エピポーラ幾何

 エピポーラ幾何を使った3次元計測の技術はかなり単純である。(1)2つの画像から「対応点」と呼ばれる点の組み合わせをn組検出する。図2のような左右2つの画像で同じ物体点が写っている場合にその点が、左の画像のどこと右の画像のどの座標に写っているかという情報を持った点の組である。例えば、図2では窓枠のコーナー点が対応点となっている。赤い十字マークで示した点である。さて、このnとはどれぐらいかの数字というと、千や万のオーダーである。数式的に書くとカメラAとカメラBのそれぞれの対応点ペアを(uAi,vAi )-(uBi,vBi ) [i=1,23,⋯n]という形で書ける。当然ながら、手動で人間がいちいち対応点を探していては、千や万の対応点は見つけられないので、画像処理で探し出すこととなる。

図2:対応点の例

(2)それらの多数の対応点が以下の式を満たすように、真ん中の3×3の行列(基礎行列と呼ばれる)を推定計算する。無料で使えるOpenCVという画像処理専用のライブラリには、findFundamentalMat()という関数があり、その関数を使えば高精度で基礎行列を求めることができる。具体的にはF11~F32という8つの係数が算出される。

(3)カメラの内部パラメータ(焦点距離など)を使って、基礎行列から基本行列を計算する。

(4)分解計算で、基本行列を歪対称行列と直交行列の積の形にする。この歪対称行列から並進量が求まり、さらに直交行列から回転量が求まる。つまり、カメラAの原点からカメラBの原点までを移動させるベクトル(並進量)が求まり、カメラAの3軸を基準にどれだけカメラBを回転させたかという回転量が求まる。

(5)対応点と並進量、回転量から3次元点を求める。

 このように、エピポーラ幾何を使えば対応点の3次元計測は理論上可能なのだが、実際は、計測精度が悪く、しかも写真の持つ解像度以上の精度は推定できない。解像度も計測精度も、前述のレーザーレンジファインダを使った手法に比べて大きく劣る。何よりも、対応点以外の部分は計測できないため、たとえ千や万のオーダーで対応点を見つけることができたとしても、となりあう対応点が離れており、疎でスカスカな3Dモデルとなる。

 要するに、大きく分けてデジタル・アーカイブをする方法は現時点で2つしかなく、
・手法1:現存している物体の至近距離まで近づいて精密かつ高解像度で計測する
・手法2:失われる前に撮影された複数の写真から3次元形状を復元する(疎で低解像度)
…のうち、手法1の方が圧倒的に優れているのは一目瞭然である。そういう技術的な制限からも、文化財が貴重であればあるほどは「現存するうちに手法1で精密かつ高解像度で計測すべき」と考える。失われてからでは、手法2しか使えないのだから。もっとも、どの文化財がどれほど貴重であるかを決めるのは技術者ではない。だからこそ、文化財の貴重性が識別できる方々には、是非とも貴重な文化財に対し優先的に手法1でのデジタル・アーカイブを進めていただきたいと切に願う。

 池内教授が気球を飛ばしてアンコールワットを計測した2011年から年月が経ち、近年ではドローンを飛ばす技術も発展して来ているので、ドローンに軽量小型な3次元計測機器を積んで、もっとお手軽に低予算で3次元計測ができるようになれば、現存するうちに高い場所にある巨大な建造物であってもドローンを飛ばして3次元計測してデジタル・アーカイブによって、後世に文化遺産を残そうという動きになるかもしれない。あるいは、エピポーラ幾何による手法がもっと進歩し、3次元復元の高精度化や高解像度化が可能になるかもしれない。いずれにしろ、後世に残せるうちに手を打たねば手遅れになるだろう。首里城のように失われてから、もっと早くデジタルアーカイブしておくべきだったと悔やんでも遅いのだから。