本記事では、ComfyUI 上で Torch-TensorRT（Immutable）を用いた自前の AI 画像生成パイプラインを構築し、実測で約 0.4 秒/枚の生成時間を記録した事例を紹介します。 再起動後もエンジンやキャッシュを再利用できる設計を前提とし、Mutable / Immutable の選択や fallback ...

今回は、NVIDIA公式プレイブック"推論のためのTRT LLM"に従い、GB10上でTensorRT-LLMを用いたLLM推論環境を構築します。 タイトルには、"NVIDIA TensorRT-LLM (TRT-LLM)"とあるが、そもそもこれが何なのか？ まずは最初にどんなものなのか素人なりに理解しておきましょう。

大規模言語モデル（LLM）の需要が高まり続けるにつれ、高速で効率的かつスケーラブルな推論を実現することがこれまで以上に重要になっています。NVIDIAの TensorRT-LLM この課題に対処するために、LLM 推論用に特別に設計された強力なツールと最適化のセット ...

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大している。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがある。 そこでNVIDIA はMeta、AnyScale、Cohere、Deci、Grammarly、Mistral AI ...

スペクトラム・テクノロジーは、「はじめてのTensorRT学習・開発キット」の販売を開始すると発表した。 AIはこれから自動運転、画像認識など実用段階に入り、今後エッジデバイスでの高速処理が必須になる。同社ではその高速化のために、NVIDIAが開発した ...

今年7月27日に次世代Stable DiffusionのSDXL 1.0が登場してから数カ月経ったが、ここに来てSD(XL)を高速化する技術がいくつか出て ...

NVIDIAは19日、COMPUTEX TAIPEI 2025にあわせ、AI推論の高速化ライブラリ「TensorRT for RTX」を発表した。すべてのRTXシリーズGPUで利用できるとしており、6月に提供を開始する予定。 同社では以前から、AIパフォーマンスを最適化するためのソフトウェアスタックを ...

PyTorch Foundationは2025年10月15日、同組織が開発を進めるオープンソースのディープラーニングフレームワークPyTorchの新バージョンPyTorch 2. 9をリリースした。 PyTorch 2. 9 is now available, introducing key updates to performance, portability, and the ...