Seluruh sahabat berangan-angan untuk mendapatkan kemuliaan tersebut. Namun, ternyata Ali bin Abi Thalib yang mendapat kehormatan itu. Serta mampu menghancurkan benteng Khaibar. Berhasil mengalahkan seorang prajurit musuh yang berani bernama Marhab dalam satu kali tebasan. Terbelah menjadi dua bagian. Hampir semua peperangan Ali ikuti kecuali perang Tabuk, karena mewakili Nabi Muhammad untuk menjaga kota Madinah.
Sebagai Khalifah dari Ahlul Bait
Setelah terbunuhnya Sayyidina Utsman, kaum muslimin meminta kesediaan Ali untuk dibaiat (janji setia) menjadi khalifah. Mereka beranggapan tidak ada lagi orang yang patut menduduki kursi khalifah setelah Utsman, kecuali Sayyidina Ali. Sayyidina Ali adalah sahabat rasulullah juga sekaligus ahlul bait.
Dalam suasana yang masih kacau, akhirnya Ali dibaiat, meskipun sebelumnya sempat menolak. Pembaiatan dimulai oleh sahabat-sahabat besar, yaitu Talhah bin Ubaidillah, Zubair bin Awwam, Sa’d bin Abi Waqqas, dan para sahabat lainnya pada tanggal 25 Zulhijah 33 Hijriyah di Masjid Madinah.
Setelah dibaiat, Ali mengambil langkah-langkah politik, yaitu, memecat para pejabat yang diangkat Utsman. Termasuk di dalamnya beberapa gubernur dan menunjuk penggantinya. Mengambil tanah yang telah dibagikan Utsman kepada keluarga dan kaum kerabatnya tanpa alasan kedudukan sebagai khalifah, sampai terbunuh pada tahun 661 M.
Sebagai Khalifah ke-4 yang memerintah selama sekitar 5 tahun. Masa pemerintahannya mewarisi kekacauan yang terjadi saat masa pemerintah khalifah sebelumnya, Utsman bin Affan. Untuk pertama kalinya perang saudara antara umat muslim terjadi saat masa pemerintahannya, Pertempuran Basra. Sebanyak 20.000 pasukan pimpinan Ali melawan 30.000 pasukan pimpinan Zubair bin Awwam, Talhah bin Ubaidillah, dan Ummul mu’minin Aisyah binti Abu Bakar, Istri Rasulullah. Perang tersebut dimenangkan oleh pihak Ali.
Peristiwa pembunuhan Khalifah Utsman bin Affan yang menurut berbagai kalangan waktu itu kurang dapat diselesaikan, karena fitnah yang sudah telanjur meluas dan sudah diisyaratkan (akan terjadi) oleh Nabi Muhammad S.A.W. ketika dia masih hidup. Diperparah oleh hasutan-hasutan para pembangkang yang ada sejak zaman Utsman bin Affan. Menyebabkan perpecahan di kalangan kaum muslim sehingga menyebabkan perang tersebut. Tidak hanya selesai di situ, konflik berkepanjangan terjadi hingga akhir pemerintahannya. Pertempuran Shiffin yang melemahkan kekhalifannya juga berawal dari masalah tersebut. Ali bin Abi Thalib, seseorang yang memiliki kecakapan dalam bidang militer dan strategi perang, mengalami kesulitan dalam administrasi negara karena kekacauan luar biasa yang ditinggalkan pemerintahan sebelumya.
