Darkside（https対応しました）

　Apple が Vision Pro を発売すると共に、空間ビデオと称する概念を持ち出した。一部では、３Ｄのリバイバルか？と言われているがそうとも言えない。Apple は、現在の技術動向を読んでうまく立ち回っていると感じる。

　十数年前の３Ｄが廃れた後、VR360 が登場した。
　続いて、Google が VR180 3D を提唱した。VR180 と違ってカメラの後方が映らないので、撮影者や機材を隠し易い。多くのイベントにおいて全周360度は映り過ぎであり、前方半球だけ映れば十分なことが多い。同じ情報量で 3D 化できるので、ＶＲにふさわしい現実感が得られる・・・などなど。
　ところが周知の通り Google は短期間で VR180 3D から撤退し、対応機材を発売したメーカーはハシゴを外された形になった。

　３Ｄが廃れたように、３Ｄであることはメリットではなくデメリット扱いされてしまったのだ。
　３Ｄの大きな欠点は、鑑賞のために特殊なハードを必要とすること。２Ｄである VR360 は、従来の鑑賞機材すべてがそのまま使える。ＶＲゴーグルで鑑賞することもできるが、不可欠ではない。それに対し VR180 3D はＶＲゴーグルを使用すると革命を味わえる一方で、ＶＲゴーグルを使用しないならば VR360 の下位互換と化してしまう。
　ＶＲゴーグルで鑑賞すれば VR180 3D の虜になるのは間違いないと思う。しかしＶＲゴーグル自体が余りにも高い敷居となっている。ＶＲ酔いも解決されていない。
　更に、VR180 3D には撮影機材に超絶の高性能を必要するという欠点もある。これは過去に書いているが、十分な現実感を得るだけの解像度とフレームレートを実現しようとすれば非現実的なコストの機材が必要となる。

　そこで空間ビデオの登場だ。
　Apple Vision Pro では、空間ビデオを仮想空間の一部にそれこそ立体テレビのように出現させている。いわば VR90 3D のようなものだ。
　肉眼の視野角より狭いので、現実ではないことが丸分かりとなる。だからこそ空間ビデオという新用語を持ち出したのだろう。だがこれは、VR180 3D のデメリットの多くを解消している。
　まず、多くのイベントや日常記録で、半周180度は映り過ぎである。VR180 3D 撮影やっていて、余計なものが映り込むことには悩まされる。たいていのイベントは、９０度の範囲が映れば十分に残せる。もちろん没入感は損なわれるが、これは逆にＶＲ酔いし難いというメリットにもなる。
　古い３Ｄビデオと似たようなものに感じるかもしれないが、古い３Ｄ撮影では大半の機材が短いＩＰＤだった。肉眼同様のＩＰＤにすると近距離が写せなくなる。だが、VR180 3D の中央部分だけを取り出すような手法であれば、近距離も問題なく写せる。
　そして何より、撮影機材への要求スペックが激減する。視野角を 180 度から 90 度に半減させると、VR180 3D なら 8K×16K でなければ実現できない解像度を 4K×8K で実現できてしまう。

　キヤノンには空間ビデオの撮影に対応した DUAL LENS を作って欲しいものだ。それと Apple Vision Pro（あるいはもっと安い後継機）が組み合わされば、貴重な「空間」を高品質で後世に残すことができるだろう。

　キヤノンが EOS-R5 の大規模ファームアップデートで、IBIS を活用したピクセルシフトを実現するかもしれないと噂になっていたが、予想より早く実装された。残念ながら EOS-R5Cは IBIS を搭載していないので関係がない。
　しかしこれで EOS-R5 mkII にピクセルシフトが搭載されることも確実になった。

　現在、EOS R5/R5C に DUAL FISHEYE を組み合わせた場合の分解能は、約20PPD である。
　これは、ステッチ時の解像度が片目あたり約3684ドットと公式に発表されていて、自作ステッチソフトでもその値を採用している。180度で3684ピクセルだから、１度あたり20ピクセル強となる。
　肉眼は約60PPD とされているので、肉眼の３分の１の解像度しかないのだ。

　搭載された IBIS ハイレゾは３×３なので、分解能が３倍になる。つまり、ほぼ肉眼と同等の解像度が実現される！
　少なくとも静止画に関する限り、肉眼なみ分解能での VR180 3D 記録が遂に実現しそうなのだ。
　通常ピクセルシフトでは色情報も収集するので、実解像度が記録解像度に劣るというベイヤーセンサーの欠点も目立たなくなる。これはキヤノン、本気でＶＲニーズを取りに来たな！
　そう感じるファームアップだ。後継機で手持ちも可能になれば、大阪万博は肉眼解像度の VR180 3D で撮りまくれるかも・・・

　だが、ここまで書いて重要な問題に気付いた。肉眼に追い付くのはあくまで記録解像度であり、レンズの性能は追い付くのだろうか？
　DUAL FISHEYE のレンズとしての画質はＬを名乗るのにふさわしいと評価しているものの、最高にカリカリの描写をするレンズではない。
　もっと客観的に、理論から考えてみよう。

　望遠鏡などでは、分解能は2点を見分ける最小の角度で定義する。60PPD の記録ならぬ実解像度を得たければ、１度の60分の１すなわち60秒角を見分けねばならない。
　天体望遠鏡のカタログスペックでは、分解能は（116÷口径ミリ）秒角で記載されている。例えば、口径200ミリならば 0.58 秒だ。
　分解能 60 秒以下を実現する場合、口径が1.93ミリより大きくなければならない。

　DUSL FISHEYE は焦点距離が5.2ミリなので、口径1.93ミリ以上を確保するにはＦ値が2.7未満でなければならない。現実の DUAL FISHEYE はＦ値が2.8〜16なので、足りていない！
　とは言え、F2.8 で撮影すれば「ほぼ足りている」とは言える。ピクセルシフトでは色情報も揃うことを考えれば、現在入手できる実写ＶＲ撮影機器で唯一、肉眼並の分解能で記録可能なものとなりそうだ。その場合、絞りは必ず開放にすること。
　どうせ三脚に据えて静止画でしか実現できないのであれば、スライダー上でカメラを左右に移動させて２回撮りできる状況下に限り、DUAL ではない通常の円周魚眼で撮影した方が画質は上がるだろう。ただ残念なことに、いま RF マウントの円周魚眼は発売されていない。

　この理論限界があるため、コンデジタイプのＶＲ撮影機器で肉眼並の分解能を得るのは困難である。
　よくある1/2インチセンサーの場合、円周魚眼レンズの焦点距離は1.5ミリぐらいしかない。これで口径を1.93ミリより大きくしようとすれば、Ｆ値が１よりかなり小さくなる。通常のレンズではなく円周魚眼レンズの場合、そこまでＦ値を小さくすることは困難だ。コンデジタイプでも豪華版なら１インチセンサーを積んでいるが、それでもかなりキツい。

　久しぶりに登場した、３Ｄカメラ。

　VR360 系やたまに VR180 3D を発売している KanDao の Qoocam EGO である。ＶＲではないレガシー３Ｄのカメラはもう発売されないものと諦めていたのだが、クラウドファンディングで蘇った。３Ｄは徹底的に失敗している一方で、自分のような根強い支持者も確実に存在する。
　WEEVIEW を１〜２周り大きくした見た目だが、画角はまったく違う。

　WEEVIEW は VR110 という感じの製品で、１１０度ぐらいの視野角を持つ。スマホ用簡易ＶＲゴーグル（ヘッドトラッキング無し）で鑑賞するのにベストな動画を記録する。１０００円ぐらいで非常にリアルなＶＲ映像を鑑賞できる。残念なことにコンセプトに性能が追い付いておらず、画質が余りにも酷い。だから、使わなくなった。
　青空を入れたら白トビして気分が壊れるし、スポットライトにも対応できず主要被写体真っ白。解像度もスペックを遥かに下回る実質。

　これに対し Qoocam EGO はかなりマシになっている。サイズなりの画質であって、R5C と比較するのは可哀そうである。だが、活躍の場はありそうだ。
　繰り返すが、Qoocam EGO はＶＲとは関係がない。１０年ぶりに登場した、レガシー３Ｄカメラ。さすがに１０年間の技術進歩は反映されていて、fullHD ×２を60p で記録できる。１０年前は 30p や 60i はあったが、60p は無かった。これが、初めてだ。記録ビットレートも 60Mbps あるので、十分に高い。そして、長時間撮影してもファイルの保存に苦労しない程度には低い。
　ステレオベースが６５ミリ確保されているのも、レガシー３Ｄビデオカメラでは極めて貴重。

　弱点としては、一部を除いてフルオートしかない。しかしダイナミックレンジが狭過ぎてフルオートが欠点にしかならなかった WEEVIEW と異なり、明暗差が大きく変化する長回しにおいて露出調整に苦労しなくていいメリットにもなる。
　R5C + DUAL FISHEYE はシャッター速度をオートにできないために、露出オートで対応可能な明暗差に限界がある。室内と屋外を行き来するような長回し撮影には対応困難なのだ。しかし Qoocam EGO なら気にせず撮れる。R5C はシネマEOS であり、シネマカメラに囚われている。シャッター速度をオートにできないというのは、場合によって極めて致命的な弱点になり得る。

　画質ではどう頑張っても R5C には遥かに及ばないので、メリットを生かせる状況として３Ｄブイログ的なものになる。

　軽量を生かして、ジンバル搭載で歩きながらの撮影がいい。
　R5C + DUAL FISHEYE をジンバルに搭載すると重量があり、歩きながらの長回しは辛い。しかし、Qoocam EGO なら負担にならず長回しできる。室内と室外を出入りしたり、日向と日陰を出入りしても、フルオート任せで良い。ファイルサイズも手頃。車載動画ならぬ街歩き動画。

　この街歩き動画も WEEVIEW でやりたかったが画質の酷さで断念したのだ。
　Qoocam EGO も画質は悪いが、ドライブレコーダーならぬウォーキングレコーダーとしてなら許容範囲である。

　実は Qoocam EGO はＡＦではない。何段階かのフォーカス距離から手動選択する。これも、ウォーキングレコーダーの場合なら障害ではない。

　３Ｄと言えば立体感が問題にされがちだが、立体感が弱くなる５メートルや１０メートルでも十分に意味はある。肉眼は距離情報を両眼視差にかなり依存していて、立体感が弱くても３Ｄの方が圧倒的に現実感が上になるのだ。
　街歩きの長回し撮影映像なんて、２Ｄで鑑賞してもつまらない。３Ｄならでは現実感が極めて貴重である。

　しかし３Ｄは高画質撮影できる機材が無いし、高画質鑑賞できる再生装置も無い。だから記録映像として、２Ｄで済む場合は２Ｄ撮影を優先させざるを得ない。ここが３Ｄ最大の難点だ。被写体を選ぶことになる。
　それほど高画質でなくても良い、なら３Ｄ優先で撮りたい。

　どうも、やらかしたらしい。
　１日中インターネット固定回線がやたら遅くて使い物にならなかったのだが、たぶんモデムの熱暴走。
　ネット接続用モデムってやたら熱くなる。埋もれてしまうと熱暴走し易い。ただでさえ暑い季節は要注意だ。モデムの周囲は整理しておかないとマズい。
　だけどモデムの発熱が多過ぎる。消費電力が多いという意味でもある。ムーアの法則が死んだ近年は、各種電子機器の消費電力が低下しなくなって困ったものだ。

　さて、位相限定相関法を GPU により高速化する試みは、ひとまず断念することにした。労力が膨大過ぎてペイできそうにない。
　収束の繰り返しを最大３回に限定することで処理時間を短くし、妥協することにした。繰り返しを更に増やしても、効果が怪しい。phaseCorrelate() がサブピクセルの計算をどうやって行っているのか不明だが、本来１ピクセル単位でしか分からないものを最小二乗法などで推測しているのだとすれば、０．１ピクセル未満まで煮詰める意味がどこまであるのか分からない。実際の動画に適用しても、見分けが付かない。

　試行錯誤した結果として、速度は大雑把に
CUDA > OpenCV > cupy > numpy
だと判明している。
　OpenCV の関数に対応する関数が CUDA に存在する場合は、CUDA で高速化できる。
　numpy は cupy で高速化できるが、それでも OpenCV より遅いので意味がない。OpenCV で記述できず numpy で書くしかない場合のみ、cupy の意味がある。
　将来の CUDA に phaseCorrelate() が登場するまでは、OpenCV を使うのが最速。
　回転不変位相限定相関法の場合は、更に warpPolar() も CUDA 対応になるまで GPU はお預けだ。

　GPU に関しては結論が出たので、手ぶれ補正の検証を進める。
　収束３回限定の３軸手ぶれ補正は、念のためスカイツリー動画で効果を確認する。見た目で変わらないなら、計算時間を節約できるということで本採用。
　それとは別に、本来なら三脚を使いたい固定位置での手持ち撮影映像に対する３軸手ぶれ補正プログラムの修正だ。これは、基準フレームを先頭フレームに固定するもので、最大３回までの収束を行う方式の効果を確認してみる。動きの少ない部分を切り出しての２軸手ぶれ補正は効果大だと判明している。計算時間を余分に使用しての３軸手ぶれ補正にすると効果がどうまるか？だ。

　基準フレームを毎回更新すると、誤差が積み重なるので移動平均を取らねばならない。基準フレームを固定すると誤差は積み重ならないが、変化量が大きくなって推測精度が落ちる。そこに、収束３回繰り返しで精度を補ってやる。
　３軸補正は回転を加わるため、画面の広い範囲を対象にしないと判定が怪しい。２軸補正なら動きが小さく判定し易い一部だけを対象に判定することができる。だから、必ずしも３軸が常に有利というものではない。いろいろな状況の動画が蓄積されて来て、実験には不自由しない。
　計算時間が長いことだけが、障害だ。

　基準フレーム固定だと、判定ミスによる微振動が発生した。やはり３軸判定は基準フレームを毎回更新して移動平均を取るしかない。完全に画面を固定したい場合は、そうやって得た回転角補正だけを使い、残る２軸は慎重に選んだ画面の一部を対象にした２軸補正を使うのが良さそうだ。

　ソフトウェア手ぶれ補正のクローズドループ打ち切りだが、最終的な鑑賞の結果として有意差を認めされなかった。
　計算時間の多さを考えると、収束計算は３回決め打ちで打ち切っても良い気がする。それが、性能とコストの良いバランスだと感じる。
　そしてその補正を行うと、慎重に歩きながら手持ち撮影した映像は何とか使用可能レベルに仕上げられそうだ。カメラのパンを最小限で済ませられる状況を選び、補正し易そうな映像内容を選ぶという条件は付くが、これはこれでかなり強力な武器になりそうだ。

　いっぽうアクションカメラとして使うのは無謀だとも判明。
　魚眼の画角が１９０度では、補正量が全く追い付かないのだ。どうにもならない。慎重ではなく普通に歩きながら手持ちで撮るとか、走りながら撮るとか、アクションカメラとして使うとか、そういう状況では手ぶれ補正のために数割の余裕が必要だと思われる。VR180 ならば、数度ではなく数十度の補正余地が必要だ。つまり、事実上ジンバルを使うしかない。
　R5C で 8K60p 撮影しようとすれば、外部電源が必要である。その場合、ジンバルに載せるのは実用にならない。映画スタジオで撮影するのなら別だが。ところが、ここに抜け穴がある。そもそも DUAL FISHEYE は絞りしか電子制御に対応していない。それ以外は基本的にＭＦレンズである。外部電源無しで 8K60p を撮ろうとすると、レンズの電子制御が全く効かなくなるが撮れないわけじゃないのだ。

　外部電源が無いと最小絞りになってしまうが、外部電源を取り付けて希望の絞り値に設定し、カメラの電源を落とさずに外部電源だけ外す。するとレンズは制御できなくなるが、絞りは動かない。これで、絞りを設定できる。後はそのままジンバルで撮れば良い。
　内蔵バッテリーでは短時間の撮影しかできないが、手持ちジンバルで長時間の撮影など、どうせ重量的にこれまた実用にならない。

　5D2 が登場した当初を思い出すが、制約だらけなら運用で何とかしようと工夫すれば良い。動画がオートでしか撮れなかった初期の 5D2 では、電子接点にセロテープを貼ったりしたものだ。DUAL FISHEYE も外部電源引き抜いたり、ソフトウェアで手ぶれ補正したり、工夫の余地はいろいろある。

　さて、ステッチの GPU 化だが、倍率色収差を補正できるようになった。だが、アンシャープマスクを忘れていたことに気付いた。これもまた GPU 化を頑張ったものの、うまく行かない。論理的にありえないことが起きていて、解決が見えない。
　アンシャープマスクを GPU で処理できたとしても時間短縮効果はそれほどでもなく、CPU 任せにすることにした。元動画ファイルを読んだり処理結果を書き込む I/O 時間が圧倒的に長いので、頑張って何とかしても労力に見合うような効果は恐らく得られない。

　アンシャープマスクは従来通り CPU で処理することにして、手ぶれ補正ありでのステッチは毎分５３フレームぐらいまで速くなった。当初の３倍速を超えたので、妥協点だろう。速度のネックは I/O なので、ここから劇的に速くするには品質を犠牲にすることになる。

　こうなるといよいよ、位相限定相関法が GPU で著しく遅くなる問題だ。