Text generation web UIではHugging Faceのほとんどのモデルを動作させられるが、中にはエラーが発生してしまうモデル（rinnaなど）もある。 また、モデルによっては、動作が非常に遅いなどの不具合を抱えている場合もある。
大規模言語モデルを利用する際には、モデルそのものだけでなく、モデルを扱うためのライブラリが必要になってきます。多くの場合Transformersというライブラリが使用されていますが、「PagedAttention」という仕組みを導入した新たなライブラリ「vLLM」を利用 ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する