Milli Kütüphane kuruluş çalışmaları, 15 Nisan 1946'da Milli Eğitim Bakanlığı Yayımlar Müdürlüğü'nde küçük bir büroda başlatılmış, kısa bir süre içinde 8000 eseri içeren bir koleksiyon oluşturulmuştur.

1 Nisan 1947'de geçici bir süre için başka bir binaya taşınılmış ve bu dönemde koleksiyon adedi 60.000'e ulaşmıştır. Söz konusu koleksiyonu hizmete sunabilmek için Ankara Kumrular sokakta bulunan ve günümüzde Ankara İl Halk Kütüphanesi'ne ev sahipliği yapan bina sağlanmış ve Milli Kütüphane, 16 Ağustos 1948'de kullanıcıya açılmıştır.

Milli Kütüphane 29 Mart 1950 tarihinde kabul edilen Kuruluş Kanunu ile yasal kimlik kazanmıştır. 18 Mayıs 1955'te kabul edilen "Milli Kütüphane'nin Kuruluşu Hakkında Kanun'a Ek Kanun" ile Milli Kütüphane bünyesinde bir Bibliyografya Enstitüsü'nün kurulması sağlanmıştır.