transformer
TransformerはAttentionのみを用いた並列処理モデルで，Self-Attention層で要素間の関連性を把握し高精度を実現，BERTやGPTなどの大規模言語モデルの基盤となっている．（実験医学増刊4315より）
構造生命科学 AlphaFold時代にどう活かす？
生命機能を解く、変える、創るための技術と研究戦略
TransformerはAttention機構を用いたニューラルネットワークの一種であり，従来のRNNに比べて並列処理が可能なため，高速かつ効率的にデータ処理が行える．もともとは自然言語処理の翻訳タスクで開発されたが，最近では画像認識や生成モデルなど幅広い分野に応用されている．ナノポアシークエンシングにおいては，電流シグナルからRNAの塩基配列や修飾の同定を直接行うEnd-to-Endの解析に利用されている．（実験医学2025年7月号より）
ナノポアシークエンサーを用いたRNA修飾の網羅的直接解読実験医学2025年7月号2017年にGoogleの研究者によって提案された，テキストをはじめとする系列処理が得意なモデル．エンコーダとデコーダから構成されるモデルであり，現在の基盤モデルの大半はこのモデル構造を採用している．（実験医学2025年1月号より）
臨床基盤モデル・マルチモーダル基盤モデルの現在地点実験医学2025年1月号解説は発行当時の掲載内容に基づくものです
本コンテンツは，2018年まで更新されていた同名コンテンツを元に，新規追加・再編集したものです
