İlçenin değişik yörelerinde bulunan tarihi kalıntılar ve kazılarda çıkartılan eserlerin incelenmesi, bölgede Hitit, Frig, Roma ve Bizans uygarlıklarının bir süre var olduklarını göstermektedir. Bölge, Anadolu'nun Türkleşmesinden sonra sırayla Selçuklu ve Osmanlı devletlerinin yönetimine girmiştir.
Haymana'nın adının verilişi konusunda iki söylence vardır. Ünlü Türk bilgini Kaşgarlı Mahmut'un eseri Divan-ı Lugât'i-t Türk'te Haymana kelimesi "mera, otlak veya yeşillik" olarak açıklanmıştır. İkinci söylence ise Selçuklu Türklerinin Anadolu'yu Türkleştirmesi olgusuna dayanır. Selçuklu Türkleri, 1071 yılında yapılan Malazgirt Savaşı'ndan sonra Anadolu topraklarını yurt edinmeye başlamışlar ve kendilerine bağlı aşiretleri de Anadolu'nun değişik yörelerine yerleştirmişlerdi. Bu aşiretlerden birisi olan Kaya Aşireti de Ankara'nın batısında yer alan Karacadağ ve şimdiki Haymana topraklarına yerleştirildi. Bu kabilenin 14. yüzyıl başlarındaki lideri Ertuğrul Bey idi. Bu beyin annesinin adı Hayme Ana idi. Söylenceye göre, Hayme Ana öldüğünde kaplıca yakınlarına gömülmesi uygun görüldü. Osmanlıların ilk çekirdeği olan bu aşiret, çok sevilen Hayme Ana'nın hatırasının ebedileşmesi için, kaplıca ve çevresine Hayme Ana adını vermiştir. Bu isim zamanla değişerek Haymana olmuştur. 1296 yılında Ankara Valisi Abidin Paşa tarafından, ilçenin günümüzde işgal ettiği yer, merkez olarak seçilmiştir.
İlçe sınırları içindeki tarihi eserlerden biri olan Gavurkale, Ankara'nın 60 km güneybatısında yer alır. Atatürk'ün emriyle, 1930 yılında Alman arkeolog Von Der Osten tarafından kazılan bir ören yeridir. Höyük, Roma-Bizans döneminden kalmadır. Kül Höyük, Oyaca kasabası içinde orta büyüklükte bir höyüktür.
Haymana ilçesi kaplıcaları ile de ünlüdür. Birçok hastalığın tedavisinde kullanılan kaplıcaların tarihi Hitit dönemine kadar uzanır. İlçede her yıl Haziran ayı içinde "Uluslararası Haymana Kaplıca Festivali ve Kültür Şenlikleri" düzenlenmektedir.