Pemberontakan ketiga datang dari kaum Khawarij. Semula merupakan bagian dari pasukan Ali dalam menumpas pemberontakan Mu’awiyah, tetapi kemudian keluar dari barisan. Karena tidak setuju atas sikap Ali yang menerima tawaran berdamai dari pihak Mu’awiyah.
Karena mereka keluar dari barisan Ali, mereka disebut ‘Khawarij’ (orang-orang yang keluar). Jumlah mereka ribuan orang. Dalam keyakinan mereka, Ali adalah Amirul Mukminin dan mereka yang setuju untuk bertahkim telah melanggar ajaran agama. Menurut mereka, hanya Tuhan yang berhak menentukan hukum, bukan manusia.
Ali dan sebagian pasukannya dinilai membuat keputusan keliru, yaitu berunding dengan lawan. Kelompok Khawarij menyingkir ke Harurah, sebuah desa dekat Kufah. Mereka mengangkat pemimpin sendiri, yaitu Syibis bin Rub’it at-Tamimi sebagai panglima angkatan perang dan Abdullah bin Wahhab Ar-Rasibi sebagai pemimpin keagamaan.
Posisi Ali pun menjadi serba sulit. Di satu pihak, ia ingin menghancurkan Mu’awiyah yang semakin kuat di Syam. Di pihak lain, kekuatan Khawarij menjadi sangat berbahaya jika tidak segera ditumpas. Akhirnya Ali mengambil keputusan untuk menumpas kekuatan Khawarij terlebih dahulu, baru kemudian menyerang Syam. Tetapi tercurahnya perhatian Ali untuk menghancurkan kelompok Khawarij dimanfaatkan Mu’awiyah untuk merebut Mesir.
Pertempuran sengit antara pasukan Ali dan pasukan Khawarij terjadi di Nahrawan (di sebelah timur Baghdad) pada tahun 658 M. Berakhir dengan kemenangan di pihak Ali. Kelompok Khawarij berhasil dihancurkan. Hanya sebagian kecil yang dapat meloloskan diri. Pemimpin mereka, Abdullah bin Wahhab ar-Rasibi ikut terbunuh.
Sejak itu, kaum Khawarij menjadi lebih radikal. Kekalahan di Nahrawan menumbuhkan dendam di hati mereka. Secara diam-diam kaum Khawarij merencanakan membunuh tiga orang yang dianggap sebagai biang keladi perpecahan umat, yaitu Ali, Mu’awiyah, dan Amr bin As. Pembunuhnya ditetapkan tiga orang, yaitu: Abdurrahman bin Muljam ditugaskan membunuh Ali di Kufah. Barak bin Abdillah at-Tamimi ditugaskan membunuh Mu’awiyah di Syam. Amr bin Bakar at-Tamimi ditugaskan membunuh Amr bin As di Mesir.
Hanya Ibnu Muljam yang berhasil menunaikan tugasnya. Ia membunuh Ali dengan pedangnya ketika Ali salat subuh di Masjid Kufah. Sayyidina Ali mengembuskan nafas terakhir sebagai khalifah pada 21 Ramadan 40 Hijriyah (29 Januari 661). Beliau terluka oleh pedang yang diracuni Abdurrahman bin Muljam.
