RAG（Retrieval-Augmented Generation）はLLMの事実性を高める有力な手法ですが、検索した文書と矛盾する回答を生成する「ハルシネーション」の問題が依然として残っています。本論文「RAGLens」は、Sparse Autoencoder（SAE）を使ってLLM内部の活性化パターンを分析し ...

Autoencoders are a class of neural networks that aim to learn efficient representations of input data by encoding and then reconstructing it. They comprise two main parts: the encoder, which ...

GPT-4などの大規模言語モデルは非常に高い性能を有していますが、各モデルがどのような思考を経て応答を出力しているのかは開発者ですら把握できていません。新たに、OpenAIが大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈 ...

Sparse Autoencoder funktionieren ähnlich wie herkömmliche Autoencoder, integrieren jedoch eine Sparsity-Strafe in die Verlustfunktion. Diese Strafe sorgt dafür, dass die meisten verborgenen Einheiten ...