基盤モデル(scGPT / Geneformer)─ 大規模事前学習は使えるのか

Multiomics
📚 この記事について
下流ブロックの締めです。単一細胞の基盤モデル(scGPT・Geneformer)の仕組みと、マルチオミクスでの使いどころを扱います。評価が割れている分野なので、肯定・否定の両方の報告を示します。専門用語はその都度説明します。
🔙 前の記事MultiVelo でマルチオミクス RNA 速度(前の記事)
🔜 次の記事シリーズ総括:どの手法をいつ使うか
📌 前提:scRNA(+ 統合済みマルチオミクス)。GPU。scGPT / Geneformer の学習済み重み。

シングルセル・マルチオミクス(single-cell multiomics/scRNA-seq と scATAC-seq の統合解析)にも、大規模事前学習した基盤モデルの波が来ています。この記事では scGPT・Geneformer の仕組みと、現時点で何が言えるのかを整理します。

1. 基盤モデルとは ─ 事前学習して微調整する


基盤モデル(foundation model)は、大規模データで事前学習したモデルを、個別タスクへ微調整(fine-tuning)して使う枠組みです。単一細胞では scGPT(3,300万細胞以上で事前学習;Cui et al., Nat. Methods, 2024)や Geneformer(約3,000万細胞;Theodoris et al., Nature, 2023)が代表です。

図:基盤モデルの枠組み。ラベルなしの大規模公開データで Transformer を事前学習し、手元のデータ・タスクへ微調整する。微調整せずそのまま使う zero-shot という選択肢もある。
図:基盤モデルの枠組み。ラベルなしの大規模公開データで Transformer を事前学習し、手元のデータ・タスクへ微調整する。微調整せずそのまま使う zero-shot という選択肢もある。
💡 なぜ「基盤」なのか
言語モデルと同じ発想です。大量のラベルなしデータで汎用の表現を学んでおけば、少ないラベルで個別タスク(細胞型注釈・バッチ統合・摂動予測・GRN 推論)に転用できる、という期待です。LINGER の転移学習(前ブロック)と発想は近いですが、基盤モデルはタスクを限定せず汎用表現を狙う点が違います。

2. 細胞を「文」として読む


鍵は、細胞を遺伝子の並びとして表現することです。文が単語からなるように、細胞は遺伝子からなる ─ という見立てで Transformer に食わせます。表現の仕方が2つのモデルで違います。

図:2つの表現。scGPT は遺伝子トークンと発現のビンを埋め込む。Geneformer は細胞内での発現量の順位で「文」を作る(rank value encoding)。
図:2つの表現。scGPT は遺伝子トークンと発現のビンを埋め込む。Geneformer は細胞内での発現量の順位で「文」を作る(rank value encoding)。
💡 scGPT と Geneformer の表現の違い
scGPT:発現値をビン化し、遺伝子トークンと発現ビンを合わせて埋め込みます。マスクした発現の予測で学習し、RNA・ATAC・タンパクなどマルチオミクスへの拡張も設計に含みます。
Geneformer:発現量そのものではなく、細胞内での発現順位(rank)で遺伝子を並べて「文」にします(rank value encoding)。順位なので深度の違いに頑健という利点があります。

3. 何に使えるのか


報告されている用途は、細胞型注釈バッチ/マルチオミクス統合摂動応答の予測遺伝子ネットワーク(attention からの相互作用)などです。使い方は、埋め込みを取り出すか、微調整するかの2通りです。

python
import scanpy as sc

# 学習済み基盤モデルで細胞埋め込みを取り出し、通常の解析に使う
#   (API はモデル・バージョンで異なるため、公式チュートリアルに従う)
# adata.obsm["X_fm"] = 埋め込み

sc.pp.neighbors(adata, use_rep="X_fm")
sc.tl.umap(adata)
sc.tl.leiden(adata)
⚠️ 注意点:実装は動きが速い
基盤モデルの API・学習済み重み・推奨手順は更新が速いため、必ず公式リポジトリの当該バージョンに従ってください。GPU が実質必要で、微調整にはそれなりの計算資源が要ります。遺伝子名の対応(語彙)や前処理の要件もモデルごとに異なります。

4. 評価は割れている ─ 現時点で言えること


ここは正直に書きます。基盤モデルの有効性はまだ定まっていません。原著は複数タスクでの有効性を報告する一方、独立の評価ではzero-shot(微調整なし)では従来法に劣るという報告があります(Kedzierska et al., Genome Biol., 2025)。

図:評価の現状(概念図)。微調整ありでは有望な報告がある一方、zero-shot では従来法(scVI・Harmony・HVG)に劣るという独立評価がある。タスクとデータで結論が変わる。
図:評価の現状(概念図)。微調整ありでは有望な報告がある一方、zero-shot では従来法(scVI・Harmony・HVG)に劣るという独立評価がある。タスクとデータで結論が変わる。
⚠️ 独立評価が示すこと
Kedzierska らは、zero-shot の設定で scGPT・Geneformer の細胞埋め込みを評価し、HVG・scVI・Harmony といった従来法に一貫して勝てないことを報告しました。また、事前学習データを増やせば必ず良くなるわけでもない、とも述べています。一方で微調整ありの設定では有効性の報告があり、結論はタスク・データ・設定次第というのが現状です。

したがって実務では、従来法(scVI / MultiVI / Harmony)をベースラインに置き、基盤モデルがそれを上回るかを自分のデータで確かめるのが安全です。

5. マルチオミクスでの位置づけ


最後に、このシリーズの中での位置づけです。

💡 いつ試す価値があるか
ラベルが少ない(注釈を転移したい)、大規模な参照アトラスに載せたい摂動予測を試したいといった場面では、試す価値があります。逆に、標準的な統合・クラスタリングが目的なら、MultiVI / scGLUE / scVI で十分なことが多いです。基盤モデルは「必ず良い」道具ではなく、ベースラインと比較して選ぶ道具だと捉えるのが実務的です。

これで、前処理から統合・GRN・下流・基盤モデルまで一巡しました。次は総括として、「どのデータで、どの手法を、どの順で使うか」を1枚のフローに整理します。

まとめ


  • 基盤モデルは、大規模なラベルなしデータで事前学習し、個別タスクへ微調整して使う枠組み。
  • scGPT は発現をビン化して遺伝子トークンと埋め込む(マルチオミクス拡張も設計)。Geneformer は発現の順位で細胞を「文」にする。
  • 用途:細胞型注釈・統合・摂動予測・attention 由来のネットワークなど。API は更新が速く、GPU が必要。
  • 評価は割れている:原著は有効性を報告、独立評価は zero-shot で従来法(HVG/scVI/Harmony)に劣ると報告。
  • 実務では従来法をベースラインに置き、自分のデータで上回るかを確認してから採用する。

関連記事


参考文献


  • Cui, H., Wang, C., Maan, H., et al. (2024). scGPT: toward building a foundation model for single-cell multi-omics using generative AI. Nature Methods, 21(8), 1470–1480. doi:10.1038/s41592-024-02201-0
  • Theodoris, C. V., Xiao, L., Chopra, A., et al. (2023). Transfer learning enables predictions in network biology. Nature, 618(7965), 616–624. doi:10.1038/s41586-023-06139-9
  • Kedzierska, K. Z., Crawford, L., Amini, A. P., & Lu, A. X. (2025). Zero-shot evaluation reveals limitations of single-cell foundation models. Genome Biology, 26, 101. doi:10.1186/s13059-025-03574-x
  • Lopez, R., Regier, J., Cole, M. B., Jordan, M. I., & Yosef, N. (2018). Deep generative modeling for single-cell transcriptomics. Nature Methods, 15(12), 1053–1058. doi:10.1038/s41592-018-0229-2
  • Ashuach, T., Gabitto, M. I., Koodli, R. V., et al. (2023). MultiVI: deep generative model for the integration of multimodal data. Nature Methods, 20(8), 1222–1231. doi:10.1038/s41592-023-01909-9

コメント

タイトルとURLをコピーしました