Dalam menata administrasi pemerintahan, Bani Umayyah mengembangkan administrasi pemerintahan sebelunya yaitu khulafaurrasyidin. Pada masa Umar bin Khatab, telah ada lima bentuk departemen, yaitu Nidhamul Maaly, Nidhamul harbi, Nidhamul Idary, Nidhamul Siashi dan Nidhamul Qadhi.
Bentuk departemen ini kemudian dikembangkan lagi oleh Muawiyah bin Abi Sufyan dalam bentuk yang lebih luas dan menyeluruh, sebagai berikut.
a. An-Nidham Al-Idar.
Organisasi tata usaha negara pada permulaan Islam sangat sederhana, tidak diadakan pembidangan usaha yang khusus. Demikian pula keadaannya pada masa Daulah Bani Umayyah, administrasi negara sangat simpel. Pada umumnya, di daerahdaerah Islam bekas daerah Romawi dan Persia, administrasi pemerintahan dibiarkan terus berlaku seperti yang telah ada, kecuali diadakan perubahan-perubahan kecil. Ada empat organisasi tata usaha pada masa Bani Umayyah, yaitu:
1) Ad-Dawawin.
Untuk mengurus tata usaha pemerintahan, maka Daulah Umayyah mengadakan empat buah dewan atau kantor pusat, yang memiliki tugas dan tanggung jawab mengurus surat-surat lamaran raja, menyiarkannya, menstempel, membungkus dengan kain dan dibalut dengan lilin kemudian di atasnya dicap. Keempat dewan tersebut, adalah diwanul kharraj, diwanur rasail, diwanul mustaghilat al-mutanawi’ah, dan diwanul Khatim.
2) Al-Imarah Ala Al-Buldan.
Daulah Umayyah membagi daerah Mamlakah Islamiyah kepada lima wilayah besar. Untuk setiap wilayah besar ini, diangkat seorang Amirul Umara (Gubernur Jenderal) yang dibawah kekuasaannya ada beberapa orang amir (gubernur) yang mengepalai satu wilayah. Dalam rangka pelaksanaan kesatuan politik bagi negeri-negeri Arab, maka khalifah Umar mengangkat para gubernur jenderal yang berasal dari orang-orang Arab. Politik ini dijalankan terus oleh khalifah khalifah sesudahnya, termasuk para khalifah Daulah Umayyah. Kelima wilayah tersebut mencakup:
a) Hijaz, Yaman dan Nejed (pedalaman jazirah Arab)
b) Irak Arab dan Irak Ajam, Aman dan Bahrain, Karman dan Sajistan, Kabul dan Khurasan, negeri-negeri di belakang sungai (Ma Wara'a Nahri) dan Sind serta sebagian negeri Punjab
c) Mesir dan Sudan
d) Armenia, Azerbaijan, dan Asia Kecil
e) Afrika Utara, Libia, Andalusia, Sisilia, Sardinia dan Balyar
3) Barid.
Organisasi pos diadakan dalam tata usaha Negara Islam semenjak Muawiyah bin Abi Sofyan memegang jabatan khalifah. Setelah khalifah Abdul Malik bin Marwan berkuasa maka diadakan perbaikan-perbaikan dalam organisasi pos, sehingga ia menjadi alat yang sangat vital dalam administrasi negara.
4) Syurthah.
Organisasi syurthah (kepolisian) dilanjutkan terus dalam masa Daulah Umayyah, bahkan disempurnakan. Pada mulanya organisasi kepolisian ini menjadi bagian dari organisasi kehakiman, yang bertugas melaksanakan perintah hakim dan keputusan-keputusan pengadilan, dan kepalanya sebagai pelaksana al-Hudud. Tidak lama kemudian, maka organisasi kepolisian terpisah dari kehakiman dan berdiri sendiri, dengan tugas mengawasi dan mengurus soal-soal kejahatan. Khalifah Hisyam memasukkan dalam organisasi kepolisian satu badan yang bernama Nidhamul Ahdas dengan tugas hampir serupa dengan tugas tentara yaitu semacam brigade mobil.
b. An Nidham Al-Mali
Yaitu organisasi keuangan atau ekonomi, bahwa sumber uang masuk pada zaman Daulah Umayyah pada umumnya seperti di zaman permulaan Islam.
1) Al Dharaib.
Yaitu suatu kewajiban yang harus dibayar oleh warga Negara (Al Dharaib) pada zaman Daulah Umayyah dan sudah berlaku kewajiban ini di zaman permulaan Islam. Kepada penduduk dari negeri-negeri yang baru ditaklukkan, terutama yang belum masuk Islam, ditetapkan pajak- pajak istimewa. Sikap yang begini yang telah menimbulkan perlawanan pada beberapa daerah.
2) Masharif Baitul Mal.
Yaitu saluran uang keluar pada masa Daulah Umayyah, pada umumnya sama seperti pada masa permulaan Islam yaitu untuk:
(a) Gaji para pegawai dan tentara serta biaya tata usaha Negara;
(b) Pembangunan pertanian, termasuk irigasi dan penggalian terusan-terusan;
(c) Biaya orang-orang hukuman dan tawanan perang;
(d) Biaya perlengkapan perang; dan
(e) Hadiah-hadiah kepada para pujangga dan para ulama.
Selain itu, para khalifah Umayyah menyediakan dana khusus untuk dinas rahasia, sedangkan gaji tentara ditingkatkan sedemikian rupa, demi untuk menjalankan politik tangan besinya.
c. An Nidham Al-Harbi
Organisasi pertahanan pada masa Daulah Umayyah sama seperti yang telah dibuat oleh khalifah Umar, hanya lebih disempurnakan. Hanya bedanya, kalau pada waktu Khulafaur Rasyidin tentara Islam adalah tentara sukarela, maka pada zaman Daulah Umayyah orang masuk tentara kebanyakan dengan paksa atau setengah paksa, yang dinamakan Nidhamut Tajnidil Ijbari yaitu semacam undang-undang wajib militer.
Politik ketentaraan pada masa Bani Umayyah, yaitu politik Arab oriented, dimana anggota tentara haruslah terdiri dari orang-orang Arab atau imam Arab. Keadaan itu berjalan terus, sampai-sampai daerah kerajaannya menjadi luas meliputi Afrika Utara, Andalusia dan lain-lainnya sehingga terpaksa meminta bantuan kepada bangsa Barbar untuk menjadi tentara.
Organisasi tentara pada masa ini banyak mencontoh organisasi tentara Persia. Pada masa khalifah Utsman telah mulai dibangun angkatan laut Islam, tetapi sangat sederhana. Setelah Muawiyah memegang kendali negara Islam, maka dibangunlah armada Islam yang kuat dengan tujuan untuk:
(1) mempertahankan daerah-daerah Islam dari serangan armada Romawi; dan
(2) memperluas dakwah Islamiyah.
Muawiyah membentuk armada musim panas dan armada musim dingin, sehingga ia sanggup bertempur dalam segala musim. Armada Laut Syam terdiri dari banyak kapal perang, di zaman Muawiyah Laksamana Aqobah bin Amri Fahrim menyerang pulau Rhadas. Dalam tahun 53 H, armada Romawi menyerang daerah Islam dan terbunuh seorang panglimanya yang bernama Wardan. Hal ini membuka mata kaum muslimin sehingga para pembesar Islam bergegas membangun galangan kapal perang di Pulau Raudhah dalam tahun 64 H.
d. An Nidhamm Al-Qadhai
Pada masa Daulah Umayyah kekuasaan pengadilan telah dipisahkan dari kekuasaan politik. Kehakiman pada zaman itu mempunyai dua ciri khasnya yaitu:
(1) Bahwa seorang qadhi memutuskan perkara dengan ijtihadnya, karena pada waktu itu belum ada lagi madzhab empat atau madzhab lainnya. Pada masa itu para qadhimenggali hukum sendiri dari al-Qur'an dan As Sunnah dengan berijtihad.
(2) Kehakiman belum terpengaruh dengan politik, karena para qadhi bebas merdeka dengan hukumnya, tidak terpengaruh dengan kehendak para pembesar yang berkuasa. Para hakim pada zaman Umayyah adalah manusia pilihan yang bertakwa kepada Allah Swt dan melaksanakan hukum dengan adil, sementara itu para khalifah mengawasi gerakgerik dan perilaku mereka, sehingga kalau ada yang menyeleweng langsung dipecat.
Kekuasaan kehakiman di zaman ini dibagi ke dalam tiga badan:
(1) Al-Qadha, seorang qadhi bertugas menyelesaikan perkara-perkara yang berhubungan dengan agama;
(2) Al-Hisbah, seorang al-Muhtashib bertugas menyelesaikan perkara-perkara umum dan soal-soal pidana yang memerlukan tindakan cepat; dan
(3) An-Nadhar fil Madhalim yaitu mahkamah tertinggi atau mahkamah banding.
An Nadhar fil Madhalim merupakan pengadilan tertinggi yang bertugas menerima banding dari pengadilan yang berada di bawahnya dan mengadili para hakim dan para pembesar tinggi yang bersalah. Pengadilan ini bersidang di bawah pimpinan khalifah sendiri atau orang yang ditunjuk olehnya. Para khalifah Bani Umayyah menyediakan satu hari saja dalam seminggu untuk keperluan ini dan yang pertama kali mengadakannya adalah Khalifah Abdul Malik bin Marwan. Seperti mahkamahmahkamah yang lain, Mahkamah Madhalim ini diadakan dalam masjid. Ketua Mahkamah Madhalim dibantu oleh lima orang pejabat lainnya, dimana sidang mahkamah itu tidak sah tanpa mereka yaitu:
(1) Para pengawal yang kuat, yang sanggup bertindak kalau para pesakitan lari;
(2) Para hakim dan qadhi;
(3) Para sarjana hukum (fuqaha) tempat para hakim meminta pendapat tentang hokum; dan
(4) Para penulis yang bertugas mencatat segala jalannya siding.
Mahkamah Madhalim dipimpin oleh khalifah, kalau di ibukota negara oleh gubernur dan kalau di ibukota wilayah oleh Qadhil Qudhah atau hakim-hakim lain yang mewakili khalifah atau gubernur. Para hakim waktu mengadili perkara memakai jubah dan sorban hitam, sebagai lambang dari Daulah Abbasiyah. Jubah dan sorban hitam pada waktu itu, khusus untuk para hakim.
Selain itu, pada masa Daulah Umayyah diadakan satu jabatan baru yang bernama al-Hijabah, yaitu urusan pengawalan keselamatan khalifah. Mungkin karena khawatir akan terulang peristiwa pembunuhan terhadap Ali dan percobaan pembunuhan terhadap Muawiyah dan Amru bin Ash, maka diadakanlah penjagaan yang ketat sekali terhadap diri khalifah, sehingga siapapun tidak dapat menghadap sebelum mendapat izin dari para pengawal (hujjab).
Kepala pengawalan keselamatan khalifah adalah jabatan yang sangat tinggi dalam istana kerajaan, waktu khalifah Abdul Malik bin Marwan melantik kepala pengawalnya, antara lain dia memberi amanat, “Engkau telah kuangkat menjadi kepalapengawalku. Siapapun tidak boleh masuk menghadap tanpa izinmu, kecuali muazzin, pengantar pos dan pengurus dapur”.
