データセンターにおける総所有コスト (TCO) とエネルギー消費の最小化は、AIを採用する顧客にとって重要な目標であり、特に LLM は計算要件が爆発的に増加するため、その重要性が増している。 顧客は、AI プラットフォームへの支出に関して、単一の ...

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大している。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがある。 そこでNVIDIA はMeta、AnyScale、Cohere、Deci、Grammarly、Mistral AI ...

UL Solutionsは3月21日（現地時間）、展開中のベンチマークスイート「Procyon」において、生成AI性能の評価に対応する「Procyon AI Image Generation Benchmark」を発表した。3月25日（日本ではおそらく26日）に利用可能になる。 昨今のデバイスには推論専用ハードウェアが ...

Appleは、NVIDIAとの共同研究による大規模言語モデル(LLM)の推論処理高速化についての研究成果を2024年12月18日に発表しました。Appleが独自に開発した「ReDrafter」技術をNVIDIAのGPU向け推論フレームワーク「TensorRT-LLM」に統合することで、処理速度を最大2.7倍に ...

NVIDIAは10月17日（現地時間）、同社技術ブログにおいて「Unlock Faster Image Generation in Stable Diffusion Web UI with NVIDIA TensorRT」と題した記事を公開した。画像の生成を行える「Stable Diffusion Web UI」を高速化できる謹製ツールについて紹介されており、Gituhubから導入できる ...

Windows ML 経由で利用できる NVIDIA TensorRT for RTX によりアプリ内の AI が高速化され、新しい NVIDIA NIM マイクロサービスと AI Blueprint により開発者は新たなワークフローを構築可能となり、Project G-Assist プラグインが愛好家のアシスタント ワークフロー作成を可能 ...