大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大している。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがある。 そこでNVIDIA はMeta、AnyScale、Cohere、Deci、Grammarly、Mistral AI ...

会員（無料）になると、いいね！でマイページに保存できます。 生成AIの進展により、LLMのパラメータ数は増加傾向にある。OpenAIが提供するLLMは、GPT-3.5のパラメータ数は1750億に対して、GPT-4のパラメータ数は公表されていないが、パラメータ数は1兆を ...

近年、高度な生成AIや大規模言語モデルが多数登場していますが、それらを動作させるには高価なGPUなど、相応の機器が必要となります。しかし、Intelが提供するPyTorch用エクステンションの「IPEX-LLM」では、Intel製ディスクリートGPUなどでGemmaやLlamaなどのAIを ...

ローカルLLMとは、近年の生成AI業界で注目されているLLM（Large Language Model：大規模言語モデル）の一種だ。一般的によく知られているChatGPTなどのLLMサービスにはないメリットがあり、特に企業など、セキュリティを重視する必要のある組織で活用が進みつつある ...

これまでローカルPCでは、ビデオカードのVRAM(ビデオメモリ)容量の関係から本連載で試せたのは34Bクラスまでだった。ところが最近、遅くなるものの、不足分はメインメモリを使って補うことによって、104BクラスのCommand R+が動くようになったので、2つの ...

Llama 3.2 1B/3B など、テキストベースの基本的な生成 AI ワークロードに対応する小規模 LLMの利用は、大規模な AI 推論を実現する上で不可欠です。Arm CPU に最適化されたカーネルを通じて、Arm ベースのモバイルデバイスで最新版 Llama 3.2 3B LLM を実行することで ...

自分のパソコン上で無料で動かせるAI｢ローカルLLM｣が最近盛り上がりを見せています。 高性能化が進んでおり、日本語でも使いやすいモデルが登場しています。昨今話題の｢gpt-oss｣もそんなローカルLLMのひとつで、自分は｢わりとこれでよくない？

There are numerous ways to run large language models such as DeepSeek, Claude or Meta's Llama locally on your laptop, including Ollama and Modular's Max platform. But if you want to fully control the ...

今回はIPEX-LLMを使用してOllamaを高速化する方法を紹介します。 GPUが必要といっても ローカルでLLMを動作させるのであれば、可能な限りVRAMを多く積んだグラフィックボードが必要です。とはいえ、手軽に手が出せるような価格とはいえません。そもそも ...

「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。rishigami氏は、TensorFlow／PyTorchのモデル移植について発表しました。全2回。前半は、TensorFlow、PyTorchそれぞれのモデル実装の基礎と、それぞれの ...