RAG（Retrieval-Augmented Generation）はLLMの事実性を高める有力な手法ですが、検索した文書と矛盾する回答を生成する「ハルシネーション」の問題が依然として残っています。本論文「RAGLens」は、Sparse Autoencoder（SAE）を使ってLLM内部の活性化パターンを分析し ...

主な対象者：LLMがなぜそのような出力をするのか「中身」を知りたい方、AI安全性に興味がある方、機械学習の解釈可能性研究に入門したい方を想定しています。 技術レベル：初級〜中級を想定しています。数式は最小限に抑え、直感的な理解を重視します。

Autoencoders are a class of neural networks that aim to learn efficient representations of input data by encoding and then reconstructing it. They comprise two main parts: the encoder, which ...

GPT-4などの大規模言語モデルは非常に高い性能を有していますが、各モデルがどのような思考を経て応答を出力しているのかは開発者ですら把握できていません。新たに、OpenAIが大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈 ...