Музей располагался на улице Загородная (ныне улица Жамакаева) в доме земляка Абая, Бекбая Баисова. Именно здесь семипалатинские друзья Абая отмечали когда-то сороковой день после его смерти, да и при жизни поэт не раз бывал в этом доме. В 1944 году музей переезжает в дом Ануара Молдабаева, расположенным по улице Комиссарская, 132. В этом доме при жизни поэт был всегда желанным гостем.

Экспозиция музея в этом здании пребывала до 1966 года.В 1947 году музей стал отделением Академии наук Казахстана.

К 50-м годам XX-го века казалось, что все признали Абая основоположником казахской литературы, но вокруг личности поэта неожиданно возникла бурная полемика. И музей Абая попал в такую опалу, что от него отказались и Академия наук, и Министерство культуры. Только в 60-е годы Министерство культуры Казахской ССР осмелилось возвратить музею статус республиканского.

В 1966 году музей переезжает в третий раз, в дом купца Романа Ершова, что по улице Ленина, 12. Неизвестно бывал ли Абай в этом доме, как в домах Б. Баисова и А.Молдабаева, но нередким гостем здесь был его друг Е.П.Михаэлис.

5 апреля 1990 года Совет Министров Казахстана принял Постановление о преобразовании музея Абая в историко-культурный и литературно-мемориальный музей-заповедник.

В 19-ти залах музея разместились материалы, отражающие эпоху поэта, источники его творчества. Многочисленные исторические документы, памятники письменной литературы, произведения искусства, реликвии бережно хранимые здесь, несут в себе чувства, мысли людей различных национальностей и времен, своеобразно преломившихся в творческой судьбе и жизненном пути нашего великого земляка.