Transformer

2017年に発表された、現代のLLMの基礎となるニューラルネットワークアーキテクチャ。アテンション機構を中心に構成され、従来のRNNやLSTMと比較して、並列処理が容易で長距離の依存関係を効率的に学習できる。GPT、BERT、LLaMAなど、ほとんどの主要なLLMがTransformerアーキテクチャを採用している。エンコーダーとデコーダーで構成されるが、LLMではデコーダーのみを使用するケースが多い。