大規模言語モデル（LLM）が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理（NLP）モデルを3つ紹介する。 LLMの前身となっ ...

Sequence-to-Sequence (Seq2Seq) models have revolutionised the field of natural language processing and machine translation. These models have the remarkable capability to handle both input and output ...