こんにちは！ AI技術の「なぜ？」を解き明かす、現役インフラエンジニアのコシです。 前回は、Transformerの核心である「Self-Attention」が、Query・Key・Valueという3つの要素を使って、いかにして単語間の「関連度」を計算し、文脈を理解しているかを解き明かし ...

自然言語処理（翻訳、文章生成、要約など）や時系列データ分析に広く使われるモデル ヘッド1：「私は」→「食べた」（主語と動詞の関係） ヘッド2：「カレー」→「食べた」（目的語と動詞の関係） ヘッド3：「昨日」→「食べた」（時制情報） 複数の ...

ChatGPTなどの自然な会話が可能なチャットAIのベースとなっている大規模言語モデルは、Googleが開発した機械学習アーキテクチャ「Transformer」を採用しています。そんなTransformerが文脈に沿った自然な文章を出力する仕組みについて、AI専門家のLuis Serrano氏が ...

Transformerは「Tokenization(トークン化)」「Embedding(埋め込み)」「Positional encoding(位置エンコーディング)」「Transformer block ...