tensorrtの最新安定版10.0.1正式リリース Stable DiffusionでTensorRTを使う拡張機能「Stable-Diffusion-WebUI-TensorRT」のインストール方法を4月24日に長々と書いたばかりですが、なんと4月25日にtensorrtがバージョンアップしました。 9.xはすべてdevがついている開発版だった ...

TensorRT-LLMの性能がいかほどのものなのか、試してみたいのでBackend（APIサーバ）を立てて試してみたいと思います。 TensorRT ...

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大している。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがある。 そこでNVIDIA はMeta、AnyScale、Cohere、Deci、Grammarly、Mistral AI ...

今年7月27日に次世代Stable DiffusionのSDXL 1.0が登場してから数カ月経ったが、ここに来てSD(XL)を高速化する技術がいくつか出て ...

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワーク ...