こんにちは．高山です．
2週間ほど前までKaggleのImage Matching Challenge 2023というコンテストに参加していました．
画像マッチングや3次元再構成はコンピュータビジョンの伝統的な研究テーマの一つなのですが，今まで手を出せずにいました．理論・実装共にかなり複雑なので(^^;)
このコンテストを通じて少しでも理解が深まればと思って参加してみました．
(けどやっぱり難しくて心が折れそうでした(^^;))
更新履歴 (大きな変更のみ記載しています)
- 2024/09/17: タイトル，タグ，節構成を更新しました
コンテストの紹介
このコンテストは，図1に示すように同じシーンを異なる位置から撮影した画像郡を入力として，シーンの3次元モデルを生成することを目的としています．
手順としては，
- まず，画像ペア毎に特徴点のマッチングを行います．
- 次に，Structure from Motion (以降，SfM) を用いて各画像の3次元的な撮影位置 (以降，カメラパラメータ) を求めます．
- 求めたカメラパラメータの精度を評価し競い合います．
文章で書いてしまうとこれだけなのですが，撮影条件が未知の中でのマッチングや，SfMライブラリの制御はかなり苦労しました．
SfM処理はかなり複雑で規模もでかいので，これをコンテスト期間中に自前で組むのは現実的ではありませんでした．
多くの参加者と同じく私もCOLMAP [1, 2, 3, 4] というSfM ライブラリを使って3次元再構成を行っていましたが，特性を理解して使わないと推論結果がグダグダになってしまいます．
このことに気づくまで何故性能が安定しないのかが分からず，かなり時間を費やしてしまいました．
とはいえ，腹を決めてCOLMAPや各種フレームワークのソースコード，論文を追っていったおかげで全体の理解が進んだのは良かったです．
3次元再構成はやはりやっていて楽しいです．
いずれまた時間があれば実験して記事にしようかなと思います．
- [1]: "COLMAP," available here, 2023.
- [2]: J. L. Schonberger and J.-M. Frahm, "Structure-from-Motion Revisited," Proc. of the IEEE CVPR, available here, 2016.
- [3]: J. L. Schonberger et al., "Pixelwise View Selection for Unstructured Multi-View Stereo," Proc. of the ECCV LNIP, Vol.9907, pp.501-518, available here, 2016.
- [4]: J. L. Schonberger et al., "A Vote-and-Verify Strategy for Fast Spatial Verification in Image Retrieval," Proc. of the ACCV LNIP, Vol.10111, pp.321-337, available here, 2017.
