MLXってとにかくMetal最適化で推論やトークン生成側を速くするイメージだったんだけど、いざやってみると生成は特に速くなく（むしろ遅い）、それ以上にとにかくメモリ効率が異常にいいことに気づいた。よってその辺についてもう少し書くことにした。

今回はApple社が開発している機械学習フレームワーク「MLX」を使用してVision Language Model (VLM)を動かしてみました。 検証環境 以下のスペックのMac Studio (2025)で検証を行いました。 32コアCPU、80コアGPU、32コアNeural Engine搭載Apple M3 Ultraチップ 512GBユニファイド ...

AppleのMachine Learning Researchが「Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU」を発表し、macOS Tahoe 26.2以降がインストールされたM5チップ搭載Macで、Apple Silicon向けに高度に調整されたオープンソースの配列フレームワーク「MLX」で、ニューラル ...