本記事ではAutoEncoderをPytorchで実装します。ライブラリ紹介ではなく実装がメインのため学習シリーズに近い内容となります。 AutoEncoderの特徴は下記の通りです。 情報を圧縮することで軽い動作で使用できる。 ー>本記事では784次元の画像を200次元(潜在 ...
RAG(Retrieval-Augmented Generation)はLLMの事実性を高める有力な手法ですが、検索した文書と矛盾する回答を生成する「ハルシネーション」の問題が依然として残っています。本論文「RAGLens」は、Sparse Autoencoder(SAE)を使ってLLM内部の活性化パターンを分析し ...