Большие языковые модели (LLM) на основе трансформеров, обученные на огромных объемах общедоступных данных, преуспели в сборе и хранении фактических знаний. В то время как предыдущие исследования были сосредоточены на том, как фактические ассоциации сохраняются в параметрах модели, вопрос о том, как LLM извлекают эти ассоциации во время вывода, остается относительно малоизученным.