Как открыть их – Часть I: Систематизация исследований механической интерпретируемости

Статья представляет систематический подход к исследованию механической интерпретируемости, фокусируясь на выявлении концепций в больших языковых моделях (LLM). В ней описываются четыре ключевые задачи, и в этой статье рассматривается первая — поиск представления концепции. Авторы анализируют методы, такие как линейные датчики, разница средних, разреженные автоэнкодеры (SAE) и PCA с кластеризацией, обсуждая их преимущества и ограничения. Они отмечают, что некоторые методы экономят вычислительные ресурсы, но другие предлагают лучшие инсайты в причинно-следственные связи, хотя требуют осторожного применения. Статья также упоминает, что PCA и кластеризация могут выявлять значимые компоненты без заранее определенных концепций.