実際のところ、LLM（大規模言語モデル）は何をしているのか。LLMは、進化し続けるチャットボットを動かしている。記憶や推論、認知の力を備え、まるで実在の人間のように話すAIの「エンティティ」だ。画像の処理であれ、入力された1文の処理であれ、 ...

会員（無料）になると、いいね！でマイページに保存できます。 Transformerとは、グーグルで開発されたディープラーニング（深層学習）のアーキテクチャのことです。 後述するTransformerの発展型となる「Vision Transformer（ViT）」「Unified Transformer（UniT ...

GPT-4やLlama、Claudeといった大規模言語モデルは、2017年にGoogleの研究者が発表した「Transformer」というフレームワークの上に構築されています。このTransformerをベースにしたAIモデルがどのように機能するのかを視覚化したツール「Transformer Explainer」が ...

Spiral.AI株式会社（本社：東京都千代田区、以下「SpiralAI」）は、従来のLLMアーキテクチャであるTransformerの問題点を解決した学習済みモデルを開発・公開しました。 開発・公開したモデルは、RetNetのアーキテクチャを活用しています。RetNetは、入力文字列長 ...

AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これ ...

この記事は、GitHub Blogに4月14日に掲載された 「How generative AI is changing the way developers work」 の翻訳記事です。 GitHub Copilotのような生成系AIコーディングツールの急速な進歩が、ソフトウェア開発現場に打ち寄せる次の波を加速させています。この記事では今 ...

大規模言語モデル（LLM）が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理（NLP）モデルを3つ紹介する。 LLMの前身となっ ...

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワーク ...

テキストや画像、音声、ソースコードなど、さまざまなコンテンツを生成する人工知能（AI）技術である「生成AI」の発展には、深層学習モデルが大きく寄与している。本稿は、その中でも代表的な以下の深層学習モデルについて解説する。 GANは2014年に登場 ...

CohereのCEOであるAidan Gomez氏は、以前はGoogleでTransformerを開発していたチームの一人だ。自然言語処理をはじめディープラーニングのさまざまな分野においてTransformerは大きな影響をもたらし、その後のBERTやXLNet、GPTといった技術へつながった。 Cohereは特に ...

AIスタートアップのInception Labsが、拡散モデルを採用した世界初の推論LLMであるMercury 2を発表した。従来の自己回帰型モデルが抱える処理速度の限界を打ち破り、複数のテキストブロックを並列処理することで推論を大幅に加速させている ...