Mengikut ahli sejarah Islam, Kaabah dibina buat pertama kalinya oleh malaikat. Allah memerintahkan malaikat membina Kaabah di tempat `buih' di mana bumi ini mula dijadikan.
Selepas itu Kaabah dibina atau dibaiki dari semasa ke semasa,membabitkan pelbagai peringkat. Antaranya:
· Binaan kedua: Nabi Adam;
· Binaan ketiga: Nabi Syith;
· Binaan keempat: Nabi Ibrahim;
· Binaan kelima: Kaum Amaliqah;
· Binaan keenam: Kaum Jurhum;
· Binaan ketujuh: Qusai bin Kilab (Abad keempat Masihi);
· Binaan kelapan: Abdul Mutalib;
· Binaan kesembilan: Kaum Quraisy (Tahun 605 Masihi ketika Rasulullah berusia 35 tahun);
· Binaan ke-10: Abdullah ibnu Zubair (Tahun 64 hijrah);
· Binaan ke-11: Hajjaj bin Yusuf al-Thaqafi (Tahun 74 hijrah/693 Masihi);
· Binaan ke-12: Sultan Murad Khan (Tahun 1040 hijrah/1630 masihi).
Binaan keempat iaitu oleh Nabi Ibrahim dan anaknya, Nabi Ismail adalah peringkat paling penting dalam sejarah pembinaan Kaabah.
Selepas Nabi Ibrahim meninggalkan isterinya Siti Hajar bersama Nabi Ismail di Makkah, baginda pulang ke Syam.
Nabi Ibrahim selepas itu menjenguk anak dan isterinya sebanyak tiga kali.
Pada kali ketiga Nabi Ibrahim ke Makkah dengan membawa perintah Allah supaya mendirikan Kaabah dengan bantuan anaknya Ismail.
Allah memerintahkan Nabi Ibrahim membina Kaabah di tempat asalnya iaitu di atas anak bukit kecil berhampiran perigi Zamzam. Di kawasan itu ada timbunan batu-batu yang berkemerahan tanahnya.
Selepas Nabi Ismail bersetuju untuk membantu Nabi Ibrahim membangunkan Kaabah, maka Nabi Ibrahim bersama anaknya mula membina Kaabah, dengan berpandukan kepada tempat yang ditunjukkan Allah supaya Baitullah itu dibina.
Nabi Ibrahim dan Nabi Ismail, mula mendirikan Kaabah dengan bantuan Jibrail. Nabi Ibrahim menggali tanah untuk dibuat asas binaan hingga sampai ke tapak asal binaan Nabi Adam.
Menurut riwayat, batu yang digunakan untuk binaan itu didatangkan dari enam bukit iaitu Bukit Abi Qubais, Bukit Tursina, Bukit al-Qudus, Bukit Warifan (terletak antara Makkah dan Madinah), Bukit Ridwan (antara Madinah dan Yanbu') dan Bukit Uhud.
Ada dua riwayat yang mengatakan bahawa Allah meninggikan tapak Baitullah sebelum dibina oleh Nabi Ibrahim dan anaknya supaya ia tidak terkena bala bencana taufan sewaktu taufan besar melanda.
Satu riwayat lagi mengatakan bahawa tapak Baitullah itu runtuh ketika taufan besar seperti runtuhnya binaan besar yang lain. Selepas peristiwa taufan besar, tidak ada orang lain yang mulakan pembinaannya semula, kecuali Nabi Ibrahim dan anaknya.
Dalam proses kedua-dua beranak itu membina Baitullah, Nabi Ibrahim menyusun naik batu sementara Nabi Ismail pula mengutip batu besar.
Hal ini seperti firman oleh Allah yang bermaksud: "Dan (ingatlah) ketika Nabi Ibrahim bersama-sama anaknya Nabi Ismail meninggikan binaan (tapak) Baitullah (Kaabah) sambil kedua-duanya berdoa dengan berkata, wahai Tuhan kami! Terimalah, daripada kami amal kami sesungguhnya Engkau amat mendengar lagi Amat Mengetahui." (Surah al-Baqarah, ayat 127).
Apabila binaan sudah meninggi, Nabi Ismail menghulurkan batu besar yang cukup tinggi dan diambil oleh Nabi Ibrahim dan membina Baitullah hingga siap pembinaannya.
Dengan kehendak Allah, sebaik Nabi Ibrahim meletakkan kakinya di batu besar berkenaan maka terlekatlah tapak kaki Nabi Ibrahim, seperti dapat dilihat hingga hari ini dekat Baitullah.
Tapak kaki Nabi Ibrahim, yang kini dikenali sebagai Maqam Ibrahim, adalah suatu tanda kebesaran Allah.
Bahagian Kaabah yang dibina Nabi Ibrahim mempunyai dua penjuru iaitu penjuru Yamani dan penjuru Hajar al-Aswad. Kawasan Hijir Ismail melengkung tanpa penjuru seperti sekarang. Keadaan itu kerana Hijir Ismail menurut binaan Nabi Ibrahim termasuk dalam binaan Kaabah.
Menurut sejarah, binaan seperti sekarang ini adalah binaan yang dibuat oleh Quraisy.
Berikutan masalah kekurangan perbelanjaan, mereka mengeluarkan Hijir Ismail daripada Kaabah, iaitu Kaabah dikecilkan 6 1/4 hasta.
Kaabah yang dibina oleh Nabi Ibrahim tiada beratap, mempunyai dua pintu iaitu satu di sebelah matahari naik (seperti yang ada sekarang) dan satu lagi sebelah matahari jatuh.
Kedua-dua pintu itu rapat ke tanah, dan tiada berdaun pintu. Sebuah perigi juga disediakan di sebelah kanan pintu yang dijadikan sebagai tempat menyimpan barang hadiah kepada Kaabah.