Tanda-tanda kemunduran Bani Umayyah dimulai dari masa kekuasaan Yazid bin Abdul Malik (101-105 H), yang tidak bisa mengendalikan pemerintahan, sebagaimana kedua kakaknya Walid bin Abdul Malik (86-96 H) dan Sulaiman bin Abdul Malik (96-99 H). Pada saat dia diangkat menjadi khalifah banyak terjadi pemberontakan, dan dia tidak dapat mengendalikan pemberontakan-pemberontakan tersebut. Latar belakang terbentuknya Bani Umayyah tidak bisa dipisahkan dari konflik-konflik politik yang terjadi pada masa pemerintahan khalifah Ali bin Abi Thalib. Sisa-sisa pengikut Ali yang tergabung dalam kelompok Syiah dan Khawarij terus menjadi gerakan oposisi, baik secara terbuka, seperti pada masa awal, maupun secara tersembunyi, seperti pada masa pertengahan Bani Umayyah. Penumpasan terhadap gerakan-gerakan ini banyak menyedot kekuatan pemerintah
Bani Umayyah mengalami keruntuhan oleh banyak hal, di antaranya adalah terbaginya kekuasaan Daulah Bani Umayyah ke dalam dua wilayah. Khalifah Marwan bin Muhammad berkuasa di wilayah Semenanjung Tanah Arab, dan Khalifah Yazid bin Umar berkuasa di wilayah Wasit. Namun yang paling kuat di antara kedua wilayah tersebut adalah yang berpusat di Semenanjung Tanah Arab. Sehingga para pendiri kerajaan Daulah Bani Abbasiyah terus menerus mengatur strateginya untuk menumbangkan Khalifah Marwan dengan cara apapun, termasuk menghabisi nyawanya.
Secara lebih ringkas, faktor-faktor penyebab runtuhnya Daulah Umayyah adalah sebagai berikut.
a. Sistem pergantian khalifah melalui garis keturunan adalah sesuatu yang baru bagi tradisi Arab yang lebih menekankan aspek senioritas. Pengaturannya tidak jelas. Ketidakjelasan sistem pergantian khalifah ini menyebabkan terjadinya persaingan yang tidak sehat di kalangan anggota keluarga istana.
b. Latar belakang terbentuknya dinasti Bani Umayyah tidak bisa dipisahkan dari konflik konflik politik yang terjadi di masa Ali bin Abi Thalib. Sisa-sisa Syi’ah (para pengikut Ali) dan Khawarij terus menjadi gerakan oposisi, baik secara terbuka seperti di masa awal dan akhir maupun secara tersembunyi seperti di masa pertengahan kekuasaan Bani Umayyah. Penumpasan terhadap gerakan-gerakan ini banyak menyedot kekuatan pemerintah.
c. Pada masa kekuasaan Bani Umayyah, pertentangan etnis antara suku Arabia Utara (Bani Qays) dan Arabia Selatan (Bani Kalb) yang sudah ada sejak zaman sebelum Islam, makin meruncing. Perselisihan ini mengakibatkan para penguasa Bani Umayyah mendapat kesulitan untuk menggalang persatuan dan kesatuan. Disamping itu, sebagian besar golongan mawali (non Arab), terutama di Irak dan wilayah bagian timur lainnya, merasa tidak puas karena status mawali itu menggambarkan suatu inferioritas, ditambah dengan keangkuhan bangsa Arab yang diperlihatkan pada masa Bani Umayyah.
d. Lemahnya pemerintahan Daulah Bani Umayyah juga disebabkan sikap hidup mewah di lingkungan istana sehingga anak-anak khalifah tidak sanggup memikul beban berat kenegaraan tatkala mereka mewarisi kekuasaan. Disamping itu, golongan agama banyak yang kecewa karena perhatian penguasa terhadap perkembangan agama sangat kurang.
e. Wilayah kekuasaan yang sangat luas yang terbentang dari Andalus sampai Sungai Indus menyulitkan pemerintah melakukan pengamanan. Beberapa wilayah yang telah dikuasai melakukan gerakan dan pemberontakan untuk melepaskan kembali dari pemerintah pusat. Seperti pemberontakan yang terjadi di Kota Emessa, hal itu menguras waktu, tenaga, dan keuangan negara untuk menumpas gerakan dan pemberontakan tersebut.
f. Perubahan kebijakan pengelolaan dana Baitul mal. Pada masa Khulafaur Rasyidin, asset Baitul mal dipergunakan sebesar-besarnya untuk menunjang kepentingan dan kesejahteraan rakyat. Sedangkan pada masa Umayyah, dana Baitul mal lebih banyak dipergunakan untuk kepentingan pejabat negara dan kepentingan keluarga istana dan kurang difungsikan untuk menopang kesejahteraan rakyat. Perubahan kebijakan ini menyulut rasa tidak puas rakyat terhadap Daulah Umayyah. Tingkat kepuasan rakyat dari waktu ke waktu terhadap pemerintah semakin merosot.
g. Sikap Daulah Umayyah yang kurang mengakomodasi aspirasi dan peranan kaum agama (ulama) dalam percaturan pemerintahan. Kaum agamawan dan ulama merasa kurang mendapat perhatian dan kurang diajak dalam menjalankan roda pemerintahan. Politik peminggirab dan marginalisasi kaum agamawan dan ulama ini menyebabkan mereka merasa ditinggalkan oleh pemerintah. Hal ini mengakibatkan ketidakpuasan mereka terhadap pemerintahan.
h. Penyebab langsung tergulingnya kekuasaan dinasti Bani Umayyah adalah munculnya kekuatan baru yang dipelopori oleh keturunan Al Abbas bin Abdul Muthalib. Gerakan ini mendapat dukungan penuh dari Bani Hasyim dan golongan Syi’ah, dan kaum Mawali yang merasa dikelas duakan.
