Dikarenakan Abdulah bin Zubair (cucu khalifah Abubakar) tidak setuju pelimpahan kekuasaan dari Mu’awiyah kepada Yazid karena dianggap tidak Syar’i.
Dan semakin marah setelah kematian Husain bin Ali di Pertempuran Karbala, Ibnu Zubair menyatakan dirinya sebagai khalifah yang sebenarnya.
Kekuasaan Ibnu Zubair berakhir ketika kekhalifahan Umayyah dipegang oleh ‘Abdul Malik bin Marwan.
Periode II adalah : Marwan bin al-Hakam (684-685), ‘Abdul Malik bin Marwan (685-705), Al-Walid bin ‘Abdul Malik (705-715), Sulaiman bin ‘Abdul Malik (715-717), ‘Umar bin ‘Abdul ‘Aziz (717-720), Yazid bin ‘Abdul Malik (720-724), Hisyam bin ‘Abdul Malik (724-743), Al-Walid bin Yazid (743-744), Yazid bin Al-Walid bin ‘Abdul Malik (17 April 744 – 4 Oktober 744), Ibrahim bin Al-Walid bin ‘Abdul Malik (4 Oktober 744 – 4 Desember 744), Marwan bin Muhammad (744-750).
Kekhalifahan Bani Umayah mencapai kemakmuran pada masa pemerintahan Al-Walid bin Abdul-Malik. Pada masa ini dapat dikatakan sebagai masa ketenteraman, kemakmuran dan ketertiban bagi kekhalifahan Islam. Umat Islam merasa hidup bahagia.
Pada masa pemerintahannya yang berjalan kurang lebih sepuluh tahun itu tercatat suatu ekspedisi militer dari Afrika Utara menuju benua Eropa, tahun 711 M.
Setelah Aljazair dan Maroko dikuasai, pasukan dibawah pimpinanTariq bin Ziyad, menyeberangi selat Gibraltar (Jabal Thariq) menuju Spanyol dan Ibu kota Spanyol, Cordoba, dapat dikuasai.
Lalu mengusai Seville, Elvira dan Toledo.Pasukan Islam memperoleh kemenangan dengan mudah karena mendapat dukungan dari rakyat setempat yang sejak lama menderita akibat kekejaman penguasa.
Selanjutnya masa kebesaran Islam juga dilanjutkan pada zaman Umar bin Abdul-Aziz, dengan melakukan perluasanke Prancis, dipimpin oleh Aburrahman bin Abdullah al-Ghafiqi, dengan menguasai Bordeaux, Poitiers, Tours dan pulau-pulau yang terdapat di Laut Tengah (mediterania).
Dengan demikian, wilayah kekuasaan Islam masa Bani Umayyah ini betul-betul sangat luas. Daerah-daerah itu meliputi Spanyol, Perancis, Afrika Utara, Syria, Palestina, Jazirah Arab, Irak, sebagian Asia Kecil, Persia, Afganistan, Pakistan, Turkmenistan, Uzbekistan, dan Kirgistan di Asia Tengah.
Namun ketika Yazid bin Abdul-Malik (720- 724 M) menjadi khalifah, masyarakat yang sebelumnya hidup dalam ketenteraman dan kedamaian, berubah menjadi kacau.
