Здание, в котором располагается музей, было построено в 1860-е гг. как двухэтажный караван-сарай. Архитектором был Касым-бек Гаджибабабеков. В 1915 году здание было передано под гостиницу «Метрополь» и был достроен второй этаж. Затем, в 1918-1920 годах здесь жили и работали сотрудники Кабинета министров Азербайджанской Демократической Республики, а в 1920-30-х годах здесь размещался Совет профсоюзов Азербайджана. В конце 1930-х годов в СССР проходит политически мотивированная кампания по приданию классику персидской поэзии Низами Гянджеви статуса национального азербайджанского поэта, приуроченная к празднованию 800-летия поэта. Распоряжением Совета Народных Комиссаров Азербайджанской ССР от 1 ноября 1939 года, под № 4972, в связи с 800-летним юбилеем со дня рождения «великого азербайджанского поэта» Низами Гянджеви, в этом здании был создан мемориальный музей имени Низами. По проекту архитекторов Садыга Дадашева и Микаила Усейнова был проведен капитальный ремонт, установлены скульптуры на фасаде и достроены ещё два этажа. В дальнейшем мемориальный музей был преобразован в Музей азербайджанской литературы. Интерьер музея был оформлен Лятифом Керимовым.
В годы Второй мировой войны, когда в блокадном Ленинграде отмечали 800-летний юбилей «азербайджанского писателя» Низами Гянджеви, работы по размещению экспозиций в музее были продолжены. Несмотря на то, что начало музея было положено в 1939 году, музей открыл двери для посетителей только после победы в Великой Отечественной войне — 14 мая 1945 года. Дважды, в 1959 и 1967 годах музей был капитально отреставрирован, расширен и более усовершенствован. В 2001—2003 годах музей вновь претерпел ряд новейших изменений.
Летом 2005 года, после визита в музей президента Азербайджанской Республики Ильхама Алиева 30 декабря 2004 года, были подготовлены новые проекты, на основе которых приступили к капитальным реставрационным и ремонтно-восстановительным работам. Кабинет министров Азербайджанской Республики выделил на эти цели 13 миллионов манатов. Площадь экспозиции была увеличена до 2500 квадратных метров, а количество залов доведено до 30 основных и 10 вспомогательных. Если до реставрации 2005 года в музее демонстрировалось около 1000 из более чем 120 тысяч экспонатов музея, то после реставрации их количество достигло 25 тысяч.
Основные цели музея сбор, исследование и хранение научных и др. материалов об азербайджанской литературе и культуре, представление этих материалов в экспозициях и на выставках. В музее также проводятся большие научные исследования, пишутся и издаются книги и монографии.
Гордостью музея является рукопись поэмы классика персидской поэзии Низами «Искендер-наме», написанная в 1413 году, экземпляр переписанной рукописи Физули «Бянкю-Баде» (1569 год), «Восточная поэма на смерть Пушкина» — Мирзы Фатали Ахундова, а также личные автографы и другие экспонаты и экспозиции большой научной ценности.
