「Llama.cpp」+「cuBLAS」による「Llama 2」の高速実行を試したのでまとめました。 前回、「Llama.cpp」で「Llama 2」をCPUのみで動作させましたが、今回はGPUで速化実行します。 「Llama.cpp」にはCPUのみ以外にも、GPUを使用した高速実行のオプションも存在します。
以下の内容の踏まえ確認したところ、pipコマンドでビルドできるようです。 ただ、linux、windowsの場合に、ビルドに必要な環境やpythonパッケージをインストールしておく必要があります。 ＜以前の記事内容＞ llama-cpp-pythonというパッケージのプレビルドは公式 ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する