以下の内容の踏まえ確認したところ、pipコマンドでビルドできるようです。 ただ、linux、windowsの場合に、ビルドに必要な環境やpythonパッケージをインストールしておく必要があります。 ＜以前の記事内容＞ llama-cpp-pythonというパッケージのプレビルドは公式 ...

ローカルで色々なLLMを試してきましたが、実際にアプリに組み込むときには、評価用のコードでは色々と面倒です。また、LLM側とアプリ側が密になっているとデバッグ等で再起動が必要な時などにモデルのロードから始まるため、時間の無駄が生じます。

You can create a release to package software, along with release notes and links to binary files, for other people to use. Learn more about releases in our docs.