@DIME

【CES2026】〝5倍高速＆省電力〟を実現した次世代ストレージ「NVIDIA ...

アメリカ・ネバダ州ラスベガスで2026年1月6日から1月9日（米国時間）まで開催中の世界最大級のテクノロジー見本市「CES 2026」（International CES＜Consumer Electronics Show＞）において、NVIDIAはNVIDIA BlueField-4 データ プロセッサが、次世代 AI フロンティア向けの新たな ...
Mena FN

KV Cache Offload To Ssds Will Produce Over $10 Billion In Revenue By 2030

Revolutionary Memory Management Technology Set to Transform AI Infrastructure Market as Demand for Efficient Large Language Model Deployment Soars. Model output requirements are soaring past the ...
VentureBeat

Nvidia’s new technique cuts LLM reasoning costs by 8x without losing accuracy

Researchers at Nvidia have developed a technique that can reduce the memory costs of large language model reasoning by up to eight times. Their technique, called dynamic memory sparsification (DMS), ...
CIO

速く賢く生成する仕組み：デコーディング、KVキャッシュ、バッ ...

LLMをプロダクトに載せるとき、学習よりも推論の方がコストに効く場面が多い。推論は、ユーザの入力に応じてその場で文章を生成する処理であり、同じモデルでも「生成の仕方」と「実行の仕方」で速度、コスト、品質が大きく変わる。本稿では、数式を ...
Semiconductor Engineering

AI Inference Needs A Mix-And-Match Memory Strategy

Interactive LLMs (chat, copilots, agents) with strict latency targets Long‑context reasoning (codebases, research, video) with massive KV (key value) cache footprints Ranking and recommendation models ...