Geçmişi çok eskilere dayanan ilçede Hititlerin yaşadıklarına dair kanıtlar arasında Aktepe mevkiinde bulunan kale yıkıntısı ve Karadana köyünde bulunan Oyulu Kaya mezarı gösterilmektedir. Hititlerden sonra, tarih sırasıyla Frigler, Galatlar, Persler, Romalılar, Bizanslılar, Selçuklular yerleşmişlerdir. Çubuk ve çevresi Selçuklu komutanlarından Çubuk Bey tarafından fethedilmiş ve yoğun bir şekilde Oğuz boylarının iskanına sahne olmuştur. 16. yüzyıldan kalan Osmanlı Tahrir Defterlerinde görülen Alaynutlu, Çavundurlu, Eymir, İğdir, Kınık, Peçenek ve Yazır gibi köy isimleri bu bölgede çok sayıda Türk boyunun yerleştiğini gösterir.
Tarihsel önemini, 1402 yılında iki Türk hükümdarı Timur ve Yıldırım Beyazıt arasında yapılan Ankara Savaşı’ndan alan ilçe, ilk kez 1902 yılında ilçe statüsü kazanmıştır. 1910 yılında bucak olmuş ve 1921 yılında tekrar ilçe statüsü kazanarak bugüne kadar ilçe olarak gelmiştir. İlçeye bağlı köylerin çoğu adını Ankara Savaşı’na ilişkin olaylardan ya da bu savaşa katılan komutanlardan almıştır.