Image Matching Challenge 2023 に参加しました

こんにちは．高山です．
2週間ほど前までKaggleのImage Matching Challenge 2023というコンテストに参加していました．
画像マッチングや3次元再構成はコンピュータビジョンの伝統的な研究テーマの一つなのですが，今まで手を出せずにいました．理論・実装共にかなり複雑なので(^^;)
このコンテストを通じて少しでも理解が深まればと思って参加してみました．
(けどやっぱり難しくて心が折れそうでした(^^;))

このコンテストは，同じシーンを異なる位置から撮影した画像郡を入力として，シーンの3次元モデルを生成することを目的としています．
手順としては図1に示すように，

1. まず，画像ペア毎に特徴点のマッチングを行います．
2. 次に，Structure from Motion (以降，SfM) を用いて各画像の3次元的な撮影位置 (以降，カメラパラメータ) を求めます．
3. 求めたカメラパラメータの精度を評価し競い合います．

文章で書いてしまうとこれだけなのですが，撮影条件が未知の中でのマッチングや，SfMライブラリの制御はかなり苦労しました．
SfM処理はかなり複雑で規模もでかいので，これをコンテスト期間中に自前で組むのは現実的ではありませんでした．
多くの参加者と同じく私もCOLMAP [1,2,3,4]というSfMライブラリを使って3次元再構成を行っていましたが，特性を理解して使わないと推論結果がグダグダになってしまいます．
このことに気づくまで何故性能が安定しないのかが分からず，かなり時間を費やしてしまいました．

とはいえ，腹を決めてCOLMAPや各種フレームワークのソースコード，論文を追っていったおかげで全体の理解が進んだのは良かったです．

3次元再構成はやはりやっていて楽しいです．
いずれまた時間があれば実験して記事にしようかなと思います．

• [1]: "COLMAP," available here, 2023.
• [2]: J. L. Schonberger and J.-M. Frahm, "Structure-from-Motion Revisited," CVPR 2016, 2016.
• [3]: J. L. Schonberger et al., "Pixelwise View Selection for Unstructured Multi-View Stereo," ECCV 2016 LNIP, Vol.9907, pp.501-518, 2016.
• [4]: J. L. Schonberger et al., "A Vote-and-Verify Strategy for Fast Spatial Verification in Image Retrieval," ACCV 2016 LNIP, Vol.10111, pp.321-337, 2017.