こんにちは。この記事では、私が実際に RTX3060 12GB 搭載PCでローカルLLMを動かしてみた方法を、初心者向けにわかりやすく紹介します。難しいことは抜きにして「まずは動かす」ことをゴールにしています。 必要なものと簡単な説明 Windows PC(RTX3060 12GB ...
GUI付きでKoboldcppにインポート可能なchub.aiとPygmalionAIのダウンロードしたキャラクターのPNGファイルのメタデータを編集できて保存ができるコードを作成しました。 一応、既存のでないかは探したのですが、長期間メンテされてないソフトしかありませんでし ...
KoboldCpp is an easy-to-use AI text-generation software for GGML and GGUF models. It's a single self contained distributable from Concedo, that builds off llama.cpp, and adds a versatile Kobold API ...
束ねる LLM を4つに増やした Aratako/LightChatAssistant-4x7B-GGUF に対応しました。 以下の手順で更新してください。 EasyLightChatAssistant-*.bat を削除します。 Install-EasyLightChatAssistant.bat をダウンロードし直して上書きして、実行します。 最近の NVIDIA ビデオカードを積ん ...