平成28年度 近津研究室 第二十四期生
卒業論文
目次
1章 研究背景 p2
2章 理論 p6~p19
2.1 写真測量とは p7
2.2 写真測量の基本原理 p7
2.3 共線条件式の誘導 p7~p10
2.4 ステレオ写真測量 p10~p11
2.5 レンズディストーション p13~p15
2.6 カメラキャリブレーションにおける基本式の誘導 p15
2.7 初期値の設定 p16~p17
2.8 魚眼歪みの補正 p17~p19
3章 実験概要 p20~p27
3.1 アクションカメラによる写真測量の長所・短所 p21
3.2 実験器具 p21~p26
3.3 検証内容 p26
3.4 アクションカメラの精度検証 p26~p27
4章 実験結果 p28~p32
4.1 アクションカメラとデジタルカメラの違い p29~p30
4.2 アクションカメラの精度 p31
4.3 3Dモデル p31~p32
5章 結論・参考文献・謝辞 p33~p36
1章
研究背景
1.はじめに
近年、国土交通省は建設現場の生産性向上を目的にi-Constructionを推進している。i-ConstructionとはBIM(Building.Information.Modeling)とCIM(Construction.Information.Modelimg)
を統合したシステムであり、土工事・コンクリート工を主として全プロセスにおいて下の図1.1にあるように測量、設計・施工、検査において3Dデータによる情報化を前提とした新基準のことを指す。具体的には、3Dマシンコントロールをはじめとした情報化施工や、3次元モデルを使った測量・設計や施工を行うCIM、そしてドローンを用いた構造物などの点検などを統合したもののことを指し、2016年度から全面的な実行が始まっている。i-Constructionの推進を通じ、検査日数の大幅短縮や、検査書類の削減などが実現でき、生産性の向上や、そこからの労働環境の改善、安全性の向上が見込まれている。
図1.1 i-Construction作成モデル図 (kenplatz.nikkeibp.co.jp引用)
BIMとは建物をつくる流れにおいてそのデータを構築管理するための行程である。典型的には、3次元のモデリングソフトウェアを現在進行形で使用して建物設計および建設の生産性を向上させる。なお、BIMの工程には図1.2にあるように企画・計画、環境解析、プレゼン、積算・見積、維持管理、施工等における3次元データが含まれる。
図1.2 BIMの作成モデル図 (konoike.co.jp引用)
CIMとは、図1.3のような工程を3次元モデルデータとして構築していくことで、設計の可視化から維持管理までの効率化を期待できる。
図1.3 CIMの作成モデル図 (CADJapan.com引用)
段階 |
作成、追加するデータ |
効果 |
計画・設計 |
地形、構造物モデル |
設計内容の合意形成 |
詳細設計(属性含む) |
設計ミス削減 |
※ 施工段階で作成する方が効率的なものは概略とする |
数量集計 |
|
構造計算、解析 |
施工 |
起工測量結果 |
手戻りの削減 |
詳細モデル化 |
現場管理の効率化 |
(詳細配筋、現地取り付け、仮設計画) |
施工計画の最適化 |
工程データ |
安全の向上 |
|
設計変更の効率化 |
|
情報化施工への活用 |
維持管理 |
点検・補修履歴 |
施設管理の効率化・高度化 |
現地センサーとの連動 |
表1.1 CIMの工程 (CADJapan.com引用)
例えば、ドローンによる写真測量を考えた場合、高密度な地形の3次元モデルを短時間で作成することが出来る。したがって、写真測量によって取得した地形の3次元データは施工や設計計画に引き継がれ、現況地形と設計図面との比較が3次元モデルによって可能となり、切り土量や盛り土量を自動算出されることとなる。
また、施工では3次元マシンコントロールや3次元マシンガイダンスなどの制御機能を搭載したICT建設機械を3次元データで自動制御されるため施工の効率化が達成される。さらに、検査段階でもドローンによる写真測量から得られた3次元データとの比較を通した検査が可能となるため多数の縦横段図からなる出来形書類をなくすことにより検査項目の効率化が達成される。
このような背景から、本研究ではi-constructionを踏まえた上で住宅密集地における路地など計測が困難であった地域に対する3Dモデリングを目的に持ち運びや撮影が手軽にできるアクションカメラに着目し、アクションカメラによる住宅密集地等の狭いエリアに対する3Dモデリングの可能性について検討する。
2章
理論
2.1 写真測量とは
写真測量とは写真(画像)を媒体にして空間の幾何学的情報を取得する技術と定義され,今日では人工衛星・航空機から取得される画像,さらには民生用デジタルカメラにより取得される画像など,様々な画像に対する写真測量の研究が行われている。
2.2 写真測量の基本原理
写真測量における基本原理は図2.1に示すように対象物(P)、対象物(P)に対する像点(p)と撮影中心(O)とが一直線上に存在するという共線条件に基づくものである。
図2.1 写真測量の基本原理
2.3 共線条件式の誘導
図2.1において点O、P、pが一直線上にある条件はλをスケールとすると、
(2.1)
となる。
ここで、点O,P,pのX-Y-Z座標系における座標をそれぞれO(X0,Y0,Z0)、P(X,Y,Z)、p(x’,y’,z’)とすると、線分OP,Opはそれぞれ(2.2)式および(2.3)式と書けるから、
(2.2)
(2.3)
したがって、(2.1)式は
(2.4)
となる。
図 2.2 傾きのある幾何学的条件
ところで、一般的な写真は図2.2に示すように傾きを持って撮影されている。従って、x軸周りの回転角をω、y時周りの回転角をφ、z軸周りの回転角をκとすると、傾いていないカメラ座標系と傾いているカメラ座標系との関係は次式となる。
(2.5)
(2.6)
ここに、
なお、本研究では回転行列Rは以下のようにaij記号で表すこととする。
(2.7)
したがって、(2.1)式は(2.4)式及び(2.6)式より次式となり、
(2.8)
(2.9)式が誘導される。
(2.9)
また、(2.9)式より各x,y,zは、
(2.10.1)
(2.10.2)
(2.10.3)
となり、さらに(2.10.3)式より、
(2.11)
であるから、(2.11)式を(2.10.1)式、(2.10.2)式の右辺に代入すると、
(2.12)
が誘導され、(2.12)式において (焦点距離)とすると次式となる。
(2.13)
(2.13)式が共線条件式であり、共線条件式は対象物P(X,Y,Z)に対応する像点の写真座標p()を与えることになる
いっぽう、(2.13)式を整理すると、
(2.14)
となり、(2.14)式は測定対象物の写真座標(x,y)と標高Zが与えられれば、測定対象物の平面座標(X,Y)が算出されることを表している。
2.4 ステレオ写真測量
写真測量は一般的には2枚以上の写真を用いて行われるのが一般的であり、2枚の写真から対象空間の幾何情報を取得することをステレオ写真測量と言う。
図 2.3 三次元座標の算出
今、図2.3において同じ対称物(例えば、図のような道路の交差点中心)が左右の写真に撮影されている場合、(2.14)式において、
(2.15)
として、(2.14)をX,Y,Zについて整理すると左右の写真に対して次式が得られる。
ここに、ul,i、vl,i:左写真における像点iに対して(2.14)式より算出される値、
vr,i、vr,i:右写真における像点iに対して(2.14)式より算出される値
すなわち、ステレオ写真測量の場合には左右の写真より像点iに対して共線条件式がそれぞれ2個、合計4個得られるため、(2.16)式を最小二乗により解くことで像点iに対する3次元座標(X,Y,Z)が算出されることになる。
2.5 カメラキャリブレーション
計測を目的としないカメラは非計測カメラ、民生用デジタルカメラ、アマチュアカメラ等と呼び方は様々であり、一眼レフカメラからモバイルカメラまでが含まれるが、本研究ではこれらのカメラの総称をデジタルカメラと呼ぶこととする。
さて、デジタルカメラは計測が目的でないためレンズ歪みが含まれるほか、フィルム面と光軸との直交性が保たれていないなどの問題が存在する。したがって、デジタルカメラを用いて計測を行う場合にはこれらの補正を行い、写真が撮影された時のカメラの位置、姿勢を求める必要があり、この処理をカメラキャリブレーションと言う。具体的には外部標定要素と呼ばれるカメラの位置(X0,Y0,Z0)・姿勢(ω,φ、κ)と内部標定要素と呼ばれる焦点距離(f)、主点位置(u0,v0)、レンズ歪み係数(K1,K2,K3,P1,P2)、スケールファクター (cx, cxy)を最小二乗法の原理に従い求めることで、その流れは大きく以下の4段階となる。
Step1 地上座標からカメラ座標への変換
図2.2において測点Pの地上座標を()、カメラ座標系における点Pの座標を()及び撮影点Oの地上座標を()とする。また、軸、軸および軸回りのカメラの回転角を、およびとすると点Pに対するカメラ座標()は次式で与えられる。
(2.17)
ここに、:、、を含む回転行列要素
Step2 カメラ座標から写真座標への変換
測点Pに対応する像点pの写真座標を()とすると、()は共線条件より次式となる。
(2.18)
ここに、:焦点距離
2.5 レンズディストーション
理想的なレンズでは、図2.4に示されるように、入射角の平行光は、像面上の光軸点からだけ離れた点に像を結ぶ。しかし実際には、レンズの歪みみの影響により、点からだけずれた点に結像される。
図2.4 理想的なレンズによる結像と実際のレンズによる結像
レンズの収差には図2.5に示すように画像端ほど画像歪みが大きい方向歪み曲収差と画像端ほど縮む度合いの大きい接線方向歪み曲収差とがある。
(a)接線方向歪み曲収差 (b)放射方向歪み曲収差
図2.5 歪み曲収差による画像の歪み
したがって、カメラキャリブレーションにおいてはこれらのレンズ歪みを補正する必要があり、放射方向歪みみは(2.19)式によって補正される。
d(r)=K1r3+K2r5+K3r7 (2.19)
ここに、d:放射方向歪み曲収差の補正量,x,y :画面座標,r2=x2+y2:主点からの距離,Ki:放射方向歪み係数
また、x、y方向に対する接線歪みは(2.20)式よって表され,
dx=P1(r2+2x2)+2P2xy
dy=P2(r2+2y2)+2P1xy
ここに、dx,dy : 補正量, P1,P1:接線方向歪み係数
以下に示すような様々なレンズディストーションモデルとして用いられている。
・3次多項式モデル(3R)
dx=(K1r3)
dy=(K1r3)
・5次多項式モデル(5R)
dx=(K1r3+K2r5)
dy=(K1r3+K2r5)
・7次多項式モデル(7R)
dx=(K1r3+K2r5+K3r7)
dy=(K1r3+K2r5+K3r7)
・3次多項式+接線補正 (3RD)
dx=(K1r3)+P1(r2+2x2)+2P2xy
dy=(K1r3)+P1(r2+2y2)+2P1xy
・5次多項式+接線補正 (5RD)
dx=(K1r3+K2r5)+P1(r2+2x2)+2P2xy
dy=(K1r3+K2r5)+P2(r2+2y2)+2P1xy
・7次多項式+接線補正 (7RD)
dx=(K1r3+K2r5+K3r7)+P1(r2+2x2)+2P2xy
dy=(K1r3+K2r5+K3r7)+P2(r2+2y2)+2P1xy
Step3 レンズ歪みの補正
さて、(2.18)式より求められる写真座標()には、レンズディス歪みが考慮されていない。したがって、x,y方向のレンズ歪みの補正量をdx,dyとしてレンズ歪みを含む像点pの座標を ()とすると()は次式となる。
(2.27)
例えば、ディスとーションモデルを3Rとした場合には次式となる。
(2.27)
Step4 写真座標から画素座標への変換
一般的に写真測量において画像上での可測量は像点に対する画素座標である。そこで、方向に対するスケールファクタを軸の非直交性ファクターをおよびを画像主点とすると、写真座標()と画素座標()との関係はアフィン変換により次式となる。
(2.28)
2.6 カメラキャリブレーションにおける基本式の誘導
デジタルカメラのキャリブレーションは共線条件式が基本となり、3Rモデルの場合には(2.18)式、(2.27)式および(2.28)式より次式が得られる。
(2.29)
これらの式は非線形方程式であるため、テーラー展開した後に最小二乗法の原理により求めることとなる。
2.7 初期値の設定
(2.29)式を最小二乗法の原理により求める際には未知量に対する初期値が必要となるが、外部標定要素に関しては対象面を平面と仮定した上で以下の射影変換式との関係から算出される値とする
また、内部標定要素の内、焦点距離は公称値、主点位置は画面中心、レンズ歪み係数は0とし、スケールファクターについては以下の手順により算出する。
例えば、有効画素数:4000(H)×3000(V)、センササイズ:1/2サイズ(6.2 x 4.6 [])、を使用した場合、スケールファクタ-はそれぞれ次式より、
,
ここに、:画面1行に対する画素数, :画面1列に対する画素数、: x方向に対するセンサーの大きさ,: y方向に対するセンサーの大きさ
となる。
しかし、最近のではカメラ諸元からセンササイズの情報が公開されておらず、セルサイズを知ることが困難となっている。そこで、本論文ではExif情報に記載されている焦点距離の値に着目し、撮影空間における2点間の水平方向の長さから、その画像上の長さとの関係を利用した(37)式により算出された値が一般的なセンサタイプの中で最も近いセンササイズを採用し、スケールファクタおよびを求めることとしている。
なお、Exifとは社団法人電子情報技術産業協会(JEITA:Japan Electronics and Information Technology Association)が規定する「ディジタルスチルカメラ用画像ファイルフォーマット規格」における Exchangeable image files format の略称であり、複数のファイル規定およびタグにより構成されている。なお、センササイズの推定に使用する焦点距離の情報は、撮影条件に関するタグの中に入っている。
(2.32)
ここに、:水平方向のセンササイズ、:センサ1ラインの画素数()、:2点間の距離()、:2点間の画像上の距離()、:撮影高度()、:Exifに記載されている焦点距離()
2.8 魚眼歪みの補正
魚眼レンズは球状の画面に投影することを原理とするレンズですが、再生側の環境として球面のモニターというものは普及しておらず、またカメラの撮像素子も平面形状をしていることから、一旦球面で受けたものを平面に変換したものを最終出力とするものを魚眼レンズと呼んでいると言って差し支えないでしょう。
魚眼レンズを使うと、透視投影では発生しえない特殊な像が得られます。最大の特徴は、直線が曲がってしまうことです。 特に正射影と呼ばれる射影方式では、視心から等角度にある平行な2直線が正確な楕円を描くという興味深い特徴があります。また射影方式に関係なく、視心を通る直線だけは、いかなる向きであっても曲がらないという特性も押さえておかなければなりません。 単なる透視図を描くだけであれば、魚眼レンズの知識は不要ですが、球体に映り込む像などを描く場合には、魚眼レンズに類似した表現が必要です。
下図は魚眼レンズによって得られる像のサンプルです。左の平面イメージをカメラと正対する向きに置いたとすると、透視投影(普通のレンズ)では左の像と同じものが得られますが、魚眼レンズでは右の像が得られます。右図の外周の円は180°視円錐を表しています。円の外側は投影範囲外です。視心は画像の中央にあります。
図2.6 投影対象の平面イメージ 図2.7 魚眼レンズ(正射影、全周魚眼)の像
(persfreaks.jp引用)
図2.8 広角歪の補正
図2.1において魚眼レンズの投影を等距離投影とすると、
r=f・θ (1)
ここに、θ:光軸と入射角とのなす角、r:主点から像点までの距離、
f:焦点距離
一方、入射角θに対するピンホールカメラの透視射影では、
R=f・tanθ (2)
点Pに対する方向角をφとすると(x,y)は
=R (3)
さらにx,y方向に対するスケールをmx,myとすると点P’(x’,y’)は次式より計算される(Kannala J. and Brandt S., 2004)
=+ (4)
ここに、mx=my=(縦方向の画素数/縦方向のセンサーサイズ)
図2.9 魚眼画像(補正前) 図2.10 魚眼画像(補正後)
図2.2はテストターゲット(高さ:480mm, 幅:640mm, 厚さ:20mm、直径20mm、
ターゲット間隔:40mm、円形ターゲットの加工精度±0.05mm)をGoProで取得された画像であり、図2.3は広角歪の補正後の画像である。
本研究では魚眼歪みの補正を行った画像に対してカメラキャリブレーションを行うものとする。
(1)式で補正を行った結果図2.10のような結果になった。しかし、補正しきれていないのがわかる。したがって、この魚眼歪の補正方法は上記の式ではない。それぞれのアクションカメラの投影法はマニュアルなどを見ても不明である。なので、今回の研究では補正ソフト(ProDRENARIN)を使用することにした。
図2.11 魚眼画像(ProDRENARIN補正後)
3章
実験概要
3.1 アクションカメラによる写真測量の長所・短所
デジタルカメラとアクションカメラを比べアクションカメラ写真測量についての長所と短所を以下にまとめてみた。
・長所
①広角が広い
デジタルカメラと比べより広い範囲を写すことができる。
②撮影高度が短くて済む
対象物との距離が短くても広い範囲を撮影することができる。
③持ち運びがしやすく気軽に撮影できる。
アクションカメラの中には頭にセットするタイプや自転車にセットするタイプがあり両手がふさがっていたとしても臨場感あふれる動画を撮影することが可能である。
・短所
①撮影した画像が歪んでいる。
撮影対象物がどうしても歪んでしまう。
②精度が低い。
通常の写真と違って無理に湾曲させ広い範囲を写しているため画像を補正した際にどうしても通常よりも精度が落ちる。
3.2実験器具
本研究で使用した使用器具・使用したソフトを以下に載せる。
(1) ・魚眼カメラの精度検証:GoProHERO4・テストターゲット・DISTO D3
・3Dモデル作成 :GoProHERO4・デジタルカメラ・Pix4Dmapper
・撮影画像の歪み加工 :ProDRENARIN(Panasonic HX A500 1080)
図3.1 GoPro HERO4 SILVER
カメラ名 |
GoPro HERO4 |
画像サイズ(Pixel) |
4000×3000 |
焦点距離(mm) |
3.00 |
撮像素子 |
1/2.3型 |
センサーサイズ(mm) |
6.2×4.6 |
表3.1 GoPro HERO4の諸元
(2) ・魚眼カメラの精度検証:RICOH WG-M2・テストターゲット・DISTO D3
・3Dモデル作成 :RICOH WG-M2・デジタルカメラ・Pix4Dmapper
・撮影画像の歪みみ加工 :ProDRENARIN(DJI Phantom 2 Vision)
図3.2 RICOH WG-M2
カメラ名 |
RICOH WG-M2 |
画像サイズ(Pixel) |
3264×2448 |
焦点距離(mm) |
1.60 |
撮像素子 |
1/2.3型 |
センサーサイズ(mm) |
6.2×4.6 |
表3.2 RICOH WG-M2の諸元
(3) ・魚眼カメラの精度検証
:OLYMPUS STYLUS TG-TRACKER・テストターゲット・DISTO D3
・3Dモデル作成
:OLYMPUS STYLUS TG-TRACKER・デジタルカメラ・Pix4Dmapper
・撮影画像の歪み加工 :
ProDRENARIN(Panasonic HX A500 1080、Mobius C Wide)
図3.3 OLYMPUS STYLUS TG-TRACKER
カメラ名 |
OLYMPUS STYLUS TG-TRACKER |
画像サイズ(Pixel) |
3840×2160 |
焦点距離(mm) |
1.58 |
撮像素子 |
1/2.3型 |
センサーサイズ(mm) |
6.2×4.6 |
表3.3 OLYMPUS STYLUS TG-TRACKERの諸元
(4) ・魚眼カメラの精度検証:Panasonic HX-A1H・テストターゲット・DISTO D3
・3Dモデル作成 :Panasonic HX-A1H・デジタルカメラ・Pix4Dmapper
・撮影画像の歪み加工 :ProDRENARIN(Contour ROAM3 125°)
図3.4 Panasonic HX-A1H
カメラ名 |
Panasonic HX-A1H |
画像サイズ(Pixel) |
2176×1226 |
焦点距離(mm) |
2.60 |
撮像素子 |
1/3型 |
センサーサイズ(mm) |
4.4×3.6 |
表3.4 Panasonic HX-A1Hの諸元
本研究では、ProDRENALIN,AutoAcquisition,prjGetRelativePats.exe,CameraCalibration,Pix4Dmapper(評価版)を使用する。
詳細は、以下の表に載せる。
|
Version |
販売価格 |
販売国 |
Pix4Dmapper
(評価版) |
2.0.81 |
評価版につき無料 |
スイス |
表3.5 Pix4Dmapperの詳細
3.3 検証内容
アクションカメラとデジタルカメラを同じ撮影高度に設定してテストターゲットを真ん中から1枚撮影し、どのくらいの面積が撮れるかを検討する。
前述に載せたそれぞれのアクションカメラの精度検証を行い比較する。この際にProDRENALINを使用して画像の歪みみを補正する。比較したアクションカメラの中で最も良い精度が出たアクションカメラを使用して3Dモデルを作成する。
3Dモデルに使用する写真は、アクションカメラで動画をとりその動画を写真に変換するアプリケーションを使い、それで得た写真をProDRENALINで歪みみを補正し3Dモデル化する。
3.4 アクションカメラの精度検証
本研究で用いる魚眼カメラが研究室内にあるテストターゲットを対象に撮影を行い、4つのアクションカメラのそれぞれの精度検証を行った。
テストターゲットは高さ:480mm, 幅:640mm, 厚さ:20mm(中央3列), 各円形ターゲットの加工精度±0.05mmである。本研究ではP.Aの値を評価指標として2箇所(左、右)において撮影されたトリプレット画像の組み合わせについて分析した。なお、ステレオ画像に対する基線比は0.34とした。精度検証は青枠で囲った13点を基準点としたカメラキャリブレーションをそれぞれ実施した後,赤枠で囲った検証点86点に対する三次元座標を算出して評価を行なった。なお、測定はそれぞれ3回ずつ行った。
図4.5 テストターゲット
4章
実験結果
4.1 アクションカメラとデジタルカメラの違い
(1)デジタルカメラ
図4.1 デジタルカメラの写真(撮影高度1277mm)
(2)アクションカメラ
(撮影高度328mm) (撮影高度1277mm)
図4.2 GoPro HERO4
(撮影高度285mm) (撮影高度1277mm)
図4.3 RICOH WG-M2
(撮影高度290mm) (撮影高度1277mm)
図4.4 OLYMPUS STYLUS TG-TRACKER
(撮影高度454mm) (撮影高度1277mm)
図4.5 Panasonic HX-A1H
4.2 アクションカメラの精度
名前 |
補正前 |
補正後 |
GoPro HERO4 |
1/3482 |
1/5275 |
RICOH WG-M2 |
1/1368 |
1/3006 |
OLYMPUS STYLUS TG-TRACKER |
1/2291 |
1/4086 |
Panasonic HX-A1H |
精度が出なかった |
精度が出なかった |
表4.1 アクションカメラのそれぞれの精度
4.3 3Dモデル
表5.1より3D モデル作成時のカメラはGoPro HERO4を使用した。
3Dモデリングを行った場所は池袋駅東口徒歩3分程度。
図4.6 通路
図4.7 通路左 図4.8 通路右
図4.9 通路下
5章
結論・参考文献
5.1 結論
アクションカメラとデジタルカメラのテストターゲットの撮影できる範囲の違いからアクションカメラでは結構な広範囲を撮影できる。故に撮影枚数を比較的に減らすことができることがわかる。
また、アクションカメラで撮影した画像を加工し、精度検証を行った結果、理論値よりも精度は下回ってしまったが、3Dモデリングとしては支障なかった。
Panasonic HX-A1Hに関しては精度が出ないという結果になったが、原因としては他に比べ撮影高度が短く湾曲が大きかった為、画像補正ソフト(ProDRENALIN)を二回使用し補正を行う必要があり、キャリブレーションがうまく作動しなかった為などが考えられる。
3Dモデルではアクションカメラでとったままの写真と補正した写真を3D化したが、実験結果から分かる通り補正した写真の方が実物に近いモデルが出来た。そのため、将来アクションカメラの技術が発達していけば建設現場などでも十分実用可能であるのではないかと考える。
参考文献:
・Kannala J. and Brandt S., 2004:A Generic Camera Calibration Method for Fish-Eye Lenses,
・Proceedings 17th Internatinal Conference on Pattern Recognition,pp.10-13.
・Brown D.C. 1971. Close-Range Camera Calibration. Photogrammetric Engineering, Vol.37,No.8,pp/855-866.
・解析写真測量 改訂版 社団法人 日本写真測量学会 第5章 P.57-74
・小高明彦、近津博文:UAVを用いた写真測量における三次元モデリングの操作性と精度評価、日本写真測量学会 平成25年度秋季学術講演会論文集、pp.83-86, 2015