トランスフォーマー

2017年に発表された深層学習アーキテクチャで、自然言語処理とコンピュータビジョンの分野を革新した。アテンション機構を用いて、入力データの長距離依存関係を効率的に学習できる。GPT、BERT、Vision Transformerなど、現代のほぼすべての大規模AIモデルの基盤となっている。マルチモーダルAIでは、異なるデータ形式を統合的に処理するための重要な技術要素である。