Metaは7月18日(米国時間)、大規模言語モデルの「Llama 2」をオープンソースとして公開した。早速Google Colabやローカル環境で試してたのでレポートをお届けしたい。 Llama 2とは 大規模言語モデル(LLM)を使ったサービスは、ChatGPTやBing Chat、GoogleのBardなどが一般的。

Metaは8月24日(現地時間)、コーディング向けの大規模言語モデル、「Code Llama」を発表。パラメータ数7B、13B、34Bとあるので、今回はその中から34BをローカルPCで動かしてみたい。 Code Llamaとは 同社Llama 2の記事に関しては7月に掲載した。13Bとは言え、これまで1 ...

近年、高度な生成AIや大規模言語モデルが多数登場していますが、それらを動作させるには高価なGPUなど、相応の機器が必要となります。しかし、Intelが提供するPyTorch用エクステンションの「IPEX-LLM」では、Intel製ディスクリートGPUなどでGemmaやLlamaなどのAIを ...

NPUを使ってLLMを動かす方法が少しずつ増えてきている。今回紹介する「AnythingLLM」は、最も簡単に導入できるNPU対応LLMツールの1つだ。 導入方法は、公式サイトからソフトをダウンロードし、インストールするだけ。「The all-in-one AI Application」と銘打っており ...

ChatGPTをはじめとした生成AIにおけるここ数年の勃興は語るまでもありません。特にユーザーからの自然言語による対話をもとに文章を生成する仕組みは、すでに趣味や研究の範囲を超えて各分野の業務でも広く使われるようになりつつあります。その自然 ...

株式会社マクニカと株式会社neoAIは7日、大規模言語モデル（LLM）をオンプレミスで利用可能にする生成AI活用ソリューションの提供に関して、協業を開始すると発表した。マクニカが持つAI環境構築の専門知識と、neoAIの先進的なAI技術を融合し、国内企業の ...

rinnaやOpenCalm、さらには賢いと噂のELYZAなど、GPU搭載の家庭用PCでも動く日本語大規模言語モデル（LLM）が増えてきた。こうした日本語LLMは、現状ならPythonで動かすのが一般的だが、APIアクセス可能にすることで、さまざまな機器から、より手軽に扱えるよう ...

自分のパソコン上で無料で動かせるAI｢ローカルLLM｣が最近盛り上がりを見せています。 高性能化が進んでおり、日本語でも使いやすいモデルが登場しています。昨今話題の｢gpt-oss｣もそんなローカルLLMのひとつで、自分は｢わりとこれでよくない？

株式会社ナレッジセンスは、オープンソース大規模言語モデル（LLM）をお客様の環境に構築し、セキュアな運用を支援する法人向け「ローカルLLM」サービスの提供を近日中に開始することをお知らせいたします。本サービスにより、セキュリティ要件が ...

TERRAISEは、山本学園 惺山高等学校（山形県山形市）において、高校内のコンピュータのみで完結する生成AI環境として、ローカルLLM（大規模言語モデル）を構築したことを1月30日に発表した。あわせて、同環境を利用しローカルLLMに生徒自身の価値観や個人 ...