Google Isolated Sign Language Recognitionに参加しました

こんにちは．高山です． 少し時間が経ってしまいましたが，KaggleのGoogle Isolated Sign Language Recognitionというコンテストに参加していました．
Kaggle自体が初めてで中々思ったような結果が出せず，最終順位は283/1165位でしたが色々と勉強になりました．

このコンテストは図1に示すように，手話動画から孤立単語を認識して精度を競い合う，というオーソドックスなタスクなのですが，下記のような特徴があります．

• 対象はアメリカ手話
• 入力はMediaPipe[1]で抽出した骨格追跡点の座標 (生動画は与えられない)
• 提出モデルはTensorflow Liteの形式でなければならない
• テスト時の平均推論時間は100msec以内でなければならない

スポンサーはモバイルアプリの開発に繋げたいようで，そこを意識した制約が盛り込まれています．

手話認識の個人研究者としては，データが商用利用可の条件で公開されたのは大きいです．
手話認識の研究は人材および研究データ不足が長年の課題になっていますが，生の手話動画データは個人情報が満載でセンシティブな取り扱いが必要です．
手話動画データベースは非公開であったり，学術機関しか利用できなかったりと制約が厳しい場合が多く，一般の開発者は手を出すことが難しい状況が続いていました．
動画ではなく骨格追跡点で，かつ，量もそこまで多くはないですが，このようなデータベースをきっかけに，手話認識の研究開発も盛り上がってくれると良いですね．

Googleが手話関連の研究を行っている (例えば[2]) ことは以前から知っていましたが，続報がなかったので休眠状態なのかと思っていました．
今は (2023年6月現在) 指文字のコンテスト も主催しているようで，今後さらなる動きがあるのか楽しみですね．

このコンテストとデータベースは色々と面白そうなので，またどこかのタイミングで記事を出せればと思っています．

• [1]: "Google MediaPipe," available here, 2023.
• [2]: A. Moryossef, et al., "Real-Time Sign Language Detection using Human Pose Estimation," ECCV 2020, pp.237-248, 2020.