こんにちは。この記事では、私が実際に RTX3060 12GB 搭載PCでローカルLLMを動かしてみた方法を、初心者向けにわかりやすく紹介します。難しいことは抜きにして「まずは動かす」ことをゴールにしています。 必要なものと簡単な説明 Windows PC(RTX3060 12GB ...
ローカル環境で大規模言語モデル(LLM)によるテキスト生成を実行できるオープンソースのツールです。 もともとはAIによる物語創作支援で知られるKoboldAIプロジェクトに触発されて開発されたそうです。 Facebook社のLLM「LLaMA」をローカルで動かすための llama ...