v0.1.39 のリリースでLlama3の量子化方法が掲載されてました。 モデルファイルを作った後、以下のようにすればいいようです。 モデルファイルはこちら。システムプロンプトは例にあったのをそのまま入れてます。 FROM はダウンロードしたモデルのsafetensorsが ...