TensorRT-LLMの性能がいかほどのものなのか、試してみたいのでBackend（APIサーバ）を立てて試してみたいと思います。 TensorRT ...

Stable-Diffusion-WebUI-TensorRTは、Stable-Diffusion-WebUIでTensorRTを使用するための拡張機能です。 2023年10月にいきなり発表された、NVIDIA謹製の拡張機能になります。 2024年1月にv0.2.0、3月にv0.2.1にバージョンアップしています。 誰も使っていないとか抜かしていますが ...

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大している。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがある。 そこでNVIDIA はMeta、AnyScale、Cohere、Deci、Grammarly、Mistral AI ...

NVIDIAは19日、COMPUTEX TAIPEI 2025にあわせ、AI推論の高速化ライブラリ「TensorRT for RTX」を発表した。すべてのRTXシリーズGPUで利用できるとしており、6月に提供を開始する予定。 同社では以前から、AIパフォーマンスを最適化するためのソフトウェアスタックを ...

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワーク ...