いつでも持ってるスマホのカメラで、できるだけ高画質な全天球写真を作りたい！
常に携帯しているカメラはありますか？私の場合は、スマホのカメラです。ネオ一眼や1インチセンサーのコンデジも持っていますが、持ち運びの頻度では断トツでスマホ。大きなカメラはなかなか持ち出さなくなってしまうたちなので、全天球写真を撮影するにもスマホのカメラしかない状態でどこまでできるのか、確認してみたいと思います。
スマホで全天球画像を撮影する方法として、今回は
- Google ストリートビューアプリのような、パノラマ撮影＆合成機能を持つアプリを利用する方法
- スマホで撮影した写真を、デスクトップのパノラマ合成アプリで合成する方法（スマホ + Mac/PC）
を比較してみました。1. はスマホ内で完結するため 2. より手軽です。それならば、2. を選ぶメリットはあるのでしょうか？
いきなりですが、これが結論です。
標準のカメラアプリで撮影した写真をパソコン上で合成すると、ストリートビューアプリの2倍以上の寸法の全天球画像が得られる。
スマホカメラの解像度を活かして細部の情報を極力残したい場合には Autopano などのデスクトップ版のパノラマ合成ソフトを活用するのが良さそうです。それでは、実際の画像を見ていきましょう。
まずは撮影
スマホのカメラで一度に写せる範囲は限られています。Ricoh Theta などの 360° カメラは超広角レンズを備えたカメラを前後に2つ用意して1ショットで2枚の画像を貼り合わせて自動的に全天球画像を生成していますが、スマホで全天球画像を撮影する時には、元になる画像はおよそ30枚〜、ぐるぐると全方位をカバーするように撮影しまくる必要があります。なるべくカメラの位置を変化させないこと（視差があると合成結果にズレが生じやすい）、さらに、隣接する写真同士が十分オーバーラップするように撮影しておくのが大切です。あとから撮影していない方向があったら穴が空いてしまい悲しいので、迷ったらもう一枚、の心意気です。
ストリートビューアプリには、スマホの方位・加速度センサーを利用して必要な写真が揃うまで撮影をガイドしてくれる機能があって、最小限の撮影枚数で済みます。
出力画像の比較：正距円筒画像
1. iPhone 7 上の Google ストリートビューアプリの出力
画像1: 4608 x 2304 pixel, 4.2 MB の画像が出力された。jpeg 品質 80 で再圧縮してアップロードしている。
2. iPhone 7 で撮影した写真を Autopano Pro で合成して出力（体験版のため透かしあり）
画像2: 11406 x 5703 pixel で約 10 MB の画像が出力された。jpeg 品質 80 で再圧縮 & 長辺 9200 pixel まで縮小した。
ストリートビューアプリで生成される画像は長辺が約 4600 ピクセルの正距円筒パノラマ画像でした（画像1）。ダイナミックレンジ広め、その分コントラストの抑えられたHDR風味の強い画ですね。特に暗部をかなり持ち上げています。
一方、同じ iPhone 7 で撮影した画像を Mac/PC に取り込んで Autopano を用いてスティッチすると、長辺約 11400 ピクセルの正距円筒パノラマ画像になりました (画像2)。なんとストリートビューアプリの4倍以上の画素数です。これが本来、iPhone の写真をそのまま縮小せずに合成した場合に得られる画素数ということですね。ストリートビューアプリのほうは、スマホの処理性能で無理がない範囲に画像を縮小処理しているのだと思います。絵作りについては、こちらはより「普通の写真」に近い印象です。
さて、この正距円筒投影の画像を、360°VR表示対応のビューワーを使うことでぐりぐり全方位を見渡すことができます。
360° VIEW で見てみよう
WordPress 上で全天球画像を表示するプラグイン WP-VR-view を導入しました。
さきほどの縦横1:2の正距円筒投影を読み込ませることで、次のように Web 上でパノラマの好きな方向を見ることができるようになります。
1. iPhone 7 上の Google ストリートビューアプリの出力
2. iPhone 7 で撮影した写真を Autopano Pro で合成して出力（体験版のため透かしあり）
360°画像だと、ビューワーで向く方向によっては視野がまるごと日陰の場合もあります。ストリートビューの画像処理は、どちらを向いていても明るすぎず暗すぎず、目が順応したときのイメージに近い処理となっているように感じます。画像全体として通常の写真に近い明暗処理をされた 2. では、日陰の部分を見比べると暗くて細部の形がわかりにくいことがあります。2. で画像を生成する場合、VR視野での見やすさを配慮して明暗のトーン調節をするのが良さそう。
合成の精度については、1. も 2. も部分部分で画像のつなぎ目が少し破綻している部分があります。これは、カメラが完全に固定されていないことによる視差の影響や、特徴点が少ない、あるいは似たようなパターンが多くてうまく抽出・対応付けされていないという場合もあるかもしれません。デスクトップの Autopano Giga では撮影箇所のズレをある程度補正してくれる機能がありますので（今回はノータッチでしたが）、バラの写真から合成する場合にはここからさらに細部を調整して画像のクオリティを挙げることもができるのも 2. の長所ですね。
さて、一番大きな違いである、仕上がり画像の画素数の差が細部の解像度にどのくらい出ているのか、確認してみましょう。このプラグインはズーム機能がないので今回のように高解像度の全天球パノラマを細部まで見るのには不向きかもしれません。ひとまず、5K iMac で全画面表示して細かい部分を切り出したものを見比べてみましょう。
1. 地図や看板の文字の輪郭がぼやけており読みにくい
2. 「南部ストリート」「CAMPUS MAP」の文字がはっきりと描写されている
1. 「スピードくじ」…がなんとか判別できる。柱のタイルの目はつぶれている。
2. 「スピードくじ」がはっきり読める。柱のタイルが1つ1つ描写されている。
2. の解像度を半分に落として、また2倍に引き延ばしてみた。画素の四角が目に付くが、タイルの描写は健在。
結論：
スマホカメラの性能をフルに活かした高解像度な全天球画像が作りたかったら、デスクトップ版（PC/Mac）の合成ソフトを活用しよう。
撮影・処理のお手軽さについては、ストリートビューアプリに軍配があがりますが、同じカメラで撮影して出力画像にこれだけ解像度の差がつくのを見逃せない人も多そうです。
ちなみに、ストリートビューの画像出力解像度は、長辺 4606 ピクセルと決して低くもなく、スマホでみる分には十分です。また、周辺部まで安定した描写の標準レンズで撮影することにより、 Ricoh Theta のような魚眼レンズを利用したカメラのレンズ周辺部における画質低下がなく全体として良好な画質を維持しています。そして、パソコン上で合成したスマホ写真由来の全天球画像は、さらに上を行く解像感なのはご覧の通りです。
画質面：スマホ写真を Autopano で合成 > スマホのストリートビューアプリ > 市販の数万円程度の 360°カメラ (多分）
撮影・処理の手軽さ：360°カメラ > スマホのストリートビューアプリ > スマホ写真を Autopano で合成
今回の使用ツール
カメラ： iPhone 7
Kolor 社のパノラマ合成ソフト Autopano (デモ版を使用）
