Pasca wafatnya Rasulullah, perpecahan mulai tampak, seperti pemilihan tempat dikebumikan jenazah Nabi dan siapa yang berhak menggantikan Nabi sebagai kepala negara. Sahabat Anshar memandang jabatan khalifah jatuh pada kalangannya lantaran dirinya sebagai penolong Nabi hingga Islam berkembang pesat. Sebagian riwayat mengatakan, jabatan khalifah jatuh pada golongan Bani Hasyim.
Perselisihan ini bisa diatasi saat khalifah Abu Bakar Shiddiq ra terpilih sebagai khalifah pertama. Kemudian dilanjutkan oleh Umar bin Khattab ra sebagai khalifah kedua. Namun di masa khalifah Utsman bin Affan ra dan Ali bin Abi Thalib ra, terjadi perpecahan yang sangat serius. Dari akar permasalahan itu, timbul usaha merumuskan hujjah dan melahirkan mazhab di bidang akidah, fikih dan tasawuf.
Persoalan politik menyangkut terbunuhnya Utsman oleh pemberontak, membuat Gubernur Syam Suriah yang juga kerabat Utsman, yakni Mu'awiyah bin Abu Sufyan menolak Ali sebagai khalifah, lantaran tidak bisa menghukum mati pembunuh Utsman.
Sebagaimana disampaikan oleh Imam Suyuthi dalam kitab Tarikhul Khulafa bahwa instabilitas negara menjadi pekerjaan yang begitu besar oleh khalifah Ali. Sejarah mencatat, 12 tahun lamanya Utsman menjabat sebagai kepala negara. Selama 6 tahun cakap memimpin negara. Dengan kelembutannya menjadi daya tarik rakyat.
Enam tahun terakhir di masa kepemimpinan Utsman, ia dinilai lamban dan tidak tegas memimpin negara. Salah satu permasalahannya adalah tidak berani memecat aparat negara yang kurang berkompeten. Bahkan Utsman mengangkat kalangan keluarga menjadi aparatur pemerintah saat itu.
Pada hari Jum'at, 18 Dzulhijjah 35 H, khalifah Utsman terbunuh oleh 2 pemberontak yang tidak jelas identitasnya. Jenazah dimakamkan di Baqi yang menjadi cikal bakal dikuburkannya dzurriyah Nabi.
Secara historis, Ali dibaiat sebagai khalifah keempat dengan alasan orang yang pertama masuk Islam, orang yang dekat dengan Nabi, bahkan kalangan keluarga Nabi serta menantunya (suami Sayyidah Siti Fatimah Az-Zahra).
Diketahui, sebenarnya Ali menolak jabatan tersebut. Ia merasa lebih pantas menjabat sebagai gubernur daripada menjadi kepala pemerintahan. Atas desakan sahabat, Ali meminta pendapat dari sahabat yang ikut berperang dalam perang Badar, yakni Thalhah bin Ubaidillah, Zubair bin Awwam dan Sa'ad bin Abi Waqqash. Ketiganya memberikan lampu hijau agar Ali menerima jabatan itu, sebab kondisi negara membutuhkan pemimpin pasca wafatnya Utsman.
Dibaiatnya Ali sebagai khalifah, membuat Mu'awiyah menolak dan enggan berbaiat dengan alasan: Ali tidak menghukum pembunuh Utsman dan dibaiatnya seorang khalifah harus melibatkan banyak pihak, mengingat wilayah kekuasaan politik Islam sangat luas atau tidak hanya Madinah saja. Riwayat lain mengatakan, Ali memiliki keinginan mencopot jabatan Mu'awiyah sebagai bentuk sterilisasi dari aparatur pemerintah yang tidak satu visi dengannya.
Perbedaan pendapat itulah yang menyebabkan tragedi berdarah, yakni perang Shiffin atau perang saudara antar sesama Islam yang pertama kali yang menewaskan kurang lebih 60 ribu orang. Perang itu terjadi selam 3 hari di sungai Efrat Suriah pada tanggal 08-10 Shafar 37 H/ 26-28 Juli 657 M.
Berbagai upaya dilakukan guna menghentikan perang itu. Puncaknya pihak Mu'awiyah mengikatkan Al-Qur'an di tombak dan meninggikannya sebagai isyarat perdamaian. Inilah yang disebut tahkim (arbitrase), perjanjian yang dibuat berdasarkan Al-Qur'an dan sunnah. Juru runding pihak Ali adalah Abu Musa Al-Asy'ari. Sedangkan pihak Mu'awiyah adalah Amr bin Ash.
Sebanarnya, Ali dan Mu'awiyah tidak ingin perselisihan mengenai jabatan kekhalifahan. Hal ini dipicu oleh para pendukung kedua belah pihak. Pendukung Mu'awiyah mengira pasukan Ali akan menzalimi seperti halnya menzalimi Utsman. Sedangkan pasukan Ali mengira yang membunuh Utsman.
Di lain sisi, ada sebagian yang menghendaki perang karena mereka berpendapat bahwa persoalan yang terjadi saat itu tidak dapat diputuskan melalui tahkim. Putusannya hanya datang dari Allah dengan kembali kepada hukum yang ada di dalam Al-Qur'an, la hukma illa lillahi (tidak ada hukum selain dari hukum Allah) yang menjadi semboyan mereka. Golongan inilah yang memandang Ali telah berbuat salah sehingga ia meninggalkan barisannya. Mereka dikenal nama Khawarij, yaitu orang-orang yang keluar dan memisah diri atau sempalan Ali.
Berbeda dengan Syiah, kelompok yang setia pada Ali. Bahkan golongan ini menganggap Ali sebagai orang yang paling berhak menjadi khalifah pasca wafatnya Rasulullah. Sahabat sebelumnya dianggap tidak sah, karena mengambil hak Ali bin Abi Thalib ra.
Jika dikaji, perang Shiffin dilatar belakangi perbedaan ijtihad yang akhirnya menjadi tarik ulur terbunuhnya khalifah Utsman. Pihak Mu'awiyah mengatakan, pihak Ali wajib menghukum qishash pembunuh Utsman. Jika tidak diungkap, maka tidak layak dibaiat sebagai khalifah.
Sedangkan pihak Ali mengatakan, kondisi negara yang sedang carut-marut ini tidak bisa gegabah dengan menghukum pembunuh Utsman yang tidak jelas identitasnya. Baginya, butuh suasana yang kondusif dan satu suara dari semua pihak. Atas dasar pertimbangan inilah Ali tidak terburu-buru.
Dengan demikian, Mu'awiyah menganggap Ali tidak tepat dalam mengambil keputusan. Sedangkan pihak Ali menganggap caranya salah. Dari kisah ini, Nahdliyin harus berprasangka baik pada sahabat Nabi. Jangan sampai mencela sahabat. Karena Rasulullah melarang umatnya untuk menyalahkan ijtihad para sahabat. Seumpama ada kesalahan dalam ijtihadnya, maka maafkanlah. Jika demikian akan mendapat pahala dari Allah.
