EasyNovelAssistantは、ローカルで動かせるLLMを使いやすいようにしたUIです。 EasyForgeなどを開発されているzutanさんが提供しています。 手順に沿ってインストールしたところ、以下のエラーがでて生成ができまでんした。 [例外] KoboldCpp.generate(): HTTPConnectionPool(host ...
こんにちは。この記事では、私が実際に RTX3060 12GB 搭載PCでローカルLLMを動かしてみた方法を、初心者向けにわかりやすく紹介します。難しいことは抜きにして「まずは動かす」ことをゴールにしています。 必要なものと簡単な説明 Windows PC(RTX3060 12GB ...
Copy the koboldcpp_cublas.dll generated into the same directory as the koboldcpp.py file. If you are bundling executables, you may need to include CUDA dynamic libraries (such as cublasLt64_11.dll and ...