新卒1年目データサイエンティストがKaggleコンペに挑戦した話

参加したコンペについて

HMS – Harmful Brain Activity Classification というコンペに参加いたしました。
大まかな情報は以下に記します。

コンペ基本情報

• コンペ目的：
  EEGとスペクトログラムのデータから、てんかんをはじめとするその他有害な脳活動（6種類、後述）を分類します。
  うまく分類することができるようになれば、医者や研究者がより迅速で正確な治療を提供できます。
• コンペ開催期間：
  2024年1月10日～2024年4月9日
• 評価関数：
  Kullback Leibler divergence

\(K(q|p)=\int q(x)\log\frac{q(x)}{p(x)}dx\)

余談ですが私は学士修士で統計学を専攻しており、この指標が理論的にどれくらいの値になるかを計算しておりました。この指標は私にとって馴染み深い指標でした。

【参考】HMS – Harmful Brain Activity Classification

データ情報

入力：

• 200Hz x 50secのEEGデータ
  • EEG（ElectroEncephaloGraphy）脳波記録の時系列データです。
  • テストデータは固定長さでしたが、訓練データはそれよりも長く複数時点からサンプリングをする必要があります。
  • 脳の19か所からとられたデータと1つの心電波形（EKG）の20列分が与えられています。
• 0.5Hz x 10min のSpectrogramデータ
  • 脳波メルスペクトログラムのデータです。
  • EEGと同様にテストデータは固定長で、訓練データは複数時点からサンプリングする必要があります。
  • 100等分割された周波数帯の強度 x 脳の4帯域の400列分が与えられています。

出力：

それぞれのデータ期間の中央10秒間で発症していた症状の分類確率

• [seizure, lpd, gpd, lrda, grda, other] の6症状の分類があります。
• EEGとSpectrogramでデータの時間の長さが異なりますが、EEGデータの中央 0:20~0:30 とSpectrogramの中央 4:55~5:05 が符合します。この10秒間に兆候が見られた症状を分類します。
• 与えられたデータとしては複数人の専門家による投票形式になっています。
  例えば、あるEEGとSpectrogramを見た3人の専門家が、seizureに2票、lpdaに1票投票すれば、 [2,0,0,1,0,0] という答えが格納されることになります。
  投票数の合計はデータによって異なります。
• 提出時は合計が1になるようにする必要があります（そうでない場合submission errorが発生）。
  上の例では [0.6667,0,0,0.3333,0,0] とする必要があります。

必ずしも両方のデータ種類を使う必要はなく、EEGだけのデータを使っている上位解法もありました。

解法と工夫

自身が行った工夫や解法について述べます。

コンペで共有された知見

コンペではDiscussionで情報共有が行われています。私が試した知見をいくつか解説します。

EEGデータをSpectrogramに変換する（Spectrogram from EEG）

• Spectrogramがもともと与えられていますが、EEGから同様のSpectrogramを計算してデータとして利用する手法です。
• コンペではSpectrogramを画像として用いる手法が主流で、これによりEEGも実質画像として同様の手法で扱えることができます。
• コンペのSpectrogramやEEGを時系列で使う手法よりも比較的良い精度が得られた印象でした。

投票数の多いラベルで学習する

• コンペ概要でも述べたように、正解ラベルは確率ではなく投票数で与えられています。
  投票数が少ないデータは情報量が相対的に少なくノイズになるので、それを切り捨てて学習することで精度が高まる可能性があるという仮説が考えらます。
• テストデータが投票数の多いラベルだけで構成されていたためにドメインシフト（学習データとテストデータの分布が異なる状況）が発生していた可能性もあります（テストデータは公開されないので本当の理由はわかりません）。

投票数の少ないラベルを張り替える・または混ぜる

• いわゆる擬似ラベリングやノイジースチューデントなどの手法を参考にした手法です。
• 投票数の多いラベルだけで学習する方法は、投票数の少ないのデータが使われずもったいないと言えます。
  そこで投票数の少ないラベルを「投票数の多いラベルだけで学習したモデル」の予測を疑似的に正解として扱い、元の正解ラベル混ぜて学習する手法です。この手法は繰り返し適用することができます。

上位陣の解法

Kaggleでは慣例的にコンペ終了後に（特に上位勢を中心に）解法の共有が行われています。
当然といえばそうかもしれませんが、いわゆるトップランカー（上位勢）の方々も上の手法を使っている印象でした。

複数人のチームの多くは各々の持ち寄ったモデルをアンサンブルしており、ソロ参加者の中には一つの大きなモデルを作っている方がいらっしゃいました。
このコンペは実質画像コンペといっても過言ではなかったのですが、EEG波形をスペクトログラムに変換せずプロットしたものをそのまま画像として使ったり、他にもそれをスペクトログラムと並べて1枚の大きな画像として使ったりする方々がおり、「そういうやり方もあるのか」と学びがありました。

個人の解法

ご参考までに、自分が取り組んだ工夫や解法について述べたいと思います。

最終的にpublicLB（コンペ期間中に確認できる順位表）/privateLB（コンペ終了時に確認できる最終的な順位表、テストデータはpublicLBと異なる）ともに、最良だったのは9つの異なるモデルのアンサンブルの解法でした。

• モデルごとに使用するデータ種別は限定しました。
  理由としては、
  （１）両方使うと計算に時間がかかるのと、
  （２）最初期で行った実験で、両方使って学習したモデルよりも各々でアンサンブルをとった方が精度が良かったからでした。
  ここはもう少し工夫の余地があったかもしれないと反省しています。
• 推論の枠組み自体は特に難しいものではなかったため、1つの公開ノートブックのモデル（GRUベースの脳波を時系列として推論するモデル）を除いて基本的には自作のベースラインを利用しました。
• モデルのアンサンブルは、それぞれのモデルの出力の対数の加重平均の指数をとって正規化する方法をとりました。
  モデルの出力をそのまま普通に重み総和1の加重平均をとれば正規化し直す必要はないですが、対数を取った方が数値にして0.01ほど精度がよくなったのでそのようにしました。
• 具体的な精度publicLB/privateLB = 0.262/0.325で、最終的なprivateLB順位は44/2,767（銀 上位1.6%くらい）になりました。
  上位パーセントで見ると自己ベストを更新することができました。
• 画像系のモデルとしてはswin-transformer, (max)vit, efficientnetV2などの最近のコンペでは典型的なものを利用しました。
  またEEGデータに対しては音声系のhubertモデルを利用した解法も利用しました。単体の精度としては画像系には劣りましたが、アンサンブルの最適重みとしてはそれなりに貢献してくれていました。
• 画像系のモデルの工夫点としてはヘッドをいじったりしました。
  時間的な特徴量をより引き出すためにグローバルプーリング層を畳み込み層で置き換えたりしました。
  脳波のずれがlrda \(\leftrightarrow\) grda、lpd \(\leftrightarrow\) gpdの違いに関係してくることが最初の調査でわかったため、この仮説を反映しました。

最後に

ブレインパッドでは、データ分析技術の自己研鑽としてSIGNATEやKaggleなどの外部コンペの参加が推奨されており、クラウドコンピューティングサービスの利用が可能です（クラウド利用費用も支給されます！私も今回のコンペで使わせていただきました）。

その他、社内では、過去に行われていたコンペのコードを読む輪読会や、実際にコンペに参加した人からの知見共有会なども開催されています。ご興味のある方、ぜひ採用へのご応募お待ちしています！

ブレインパッドでは新卒採用・中途採用共に一緒に働く仲間を募集しています。
ご興味のある方は、ぜひ採用サイトをご覧ください！

株式会社ブレインパッド｜新卒・中途採用