Zamanın Ankara Kültür Müdürü Mübarek Galip Bey tarafından 1921 yılında kurulmuştur.
Bu müzenin yanı sıra Augustus Mabedi ile Roma Hamamında da eser biriktirilmiştir. Atatürk’ün fikriyle “Eti Müzesi” kurulma fikrinden hareket edilmiş bölgeye farklı yerlerden Hitit eserleri toplanınca bir müze binası ihtiyacı doğmuştur. Daha sonra önerilen yerlerin arasından Mahmut Paşa Bedesteni ve Kurşunlu Han fikri önerilmiş ve kabul görmüştür. 1938 yılından 1968’e kadar sağlamlaştırma ve restorasyon çalışmaları yürütülmüştür.
Zamanla farklı bölümleri açılan müze 1968 yılında son halini almıştır. Bugün idari bina olarak kullanılan Kurşunlu Han’da araştırmacı odaları, kütüphane, konferans salonu, laboratuvar ve atölyeler. Mahmut Paşa Bedesteni ise teşhir salonu olarak kullanımdadır. Eserler Paleotik Çağ’dan günümüze kadar kronolojik bir sırayla teşhir edilmektedir.