イスラエルのAIスタートアップであるAI21 Labsが、英語・フランス語・スペイン語・ポルトガル語に対応した大規模言語モデル「Jamba」を発表しました。Jambaは、従来のTransformerモデルにState Space Model(SSM)のアーキテクチャを組み合わせたSSM-Transformerモデルとなっ ...

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億 ...

米NVIDIAが6月25日（現地時間）に公開したDLSS導入用開発者向けキットの最新版において、Transformerモデルのベータ版運用が終了したようだ。加えてドキュメントが更新され、VRAMの消費量が削減されたことについても言及されている。 NVIDIA DLSS SDK 310.3.0の更新で ...

言語AIが多様な化合物構造を学習する過程の特徴を発見 ——化学言語モデルとしてのTransformerはキラリティの認識を苦手とする—— 【発表のポイント】 代表的な深層学習モデルであるTransformerが多様な化合物構造を学習していく過程を、モデルが認識する ...

Spiral.AI株式会社（本社：東京都千代田区、以下「SpiralAI」）は、従来のLLMアーキテクチャであるTransformerの問題点を解決した学習済みモデルを開発・公開しました。 開発・公開したモデルは、RetNetのアーキテクチャを活用しています。RetNetは、入力文字列長 ...

会員（無料）になると、いいね！でマイページに保存できます。 現在のTransformerモデルは注意機構を用いることで短期的には高い文脈把握能力を発揮するものの、シーケンスが長くなるほど計算コストが二次関数的に増加し、大規模文書や長時間の対話履歴 ...

株式会社秀和システム（東京都・代表取締役会長兼社長 上田智一）は、2025年6月28日、新刊『DETR（DEtection TRansformer）＆最新 ...

最近のChatGPTなどの生成AI技術では、自然言語処理に特化したTransformerモデルが活躍しています。Transformerモデルが脳波の解析でも高い推定精度を発揮することを示しました。 内臓痛を引き起こしたマウスにおいて、8つの脳領域から記録した脳波データを ...

米NVIDIAは1月5日（現地時間）、同社グラフィックス向けに展開している描画支援機能「NVIDIA DLSS」における最新バージョン「NVIDIA DLSS 4.5」を発表した。開発者はゲームに導入することも可能だが、ユーザー側でNVIDIA Appから一部の機能を有効化して使うことも ...