Где LLM хранит факты, или как перенести Эйфелеву башню из Парижа в Рим

Помните, как в «Матрице» Нео загрузили боевые навыки прямо в мозг? Раз, и человек, который раньше не умел драться, говорит: «Я знаю кунг-фу».

Попробуем повторить этот трюк с языковой моделью. Но так как мы далеки от единоборств, возьмем простой факт: Эйфелева башня находится в Париже. Попробуем заменить в GPT-2 XL Париж на Рим без полного переобучения модели.

Для этого используем ROME, метод точечного редактирования весов. После правки зададим модели тот же вопрос в нескольких формулировках, проверим другие факты об Эйфелевой башне, а потом вернем исходные веса.

Читать далее