Fase abad pertama dan kedua Hijriyah belum bisa sepenuhnya disebut sebagai fase tasawuf tapi lebih tepat disebut sebagai fase kezuhudan. Tasawuf pada fase ini lebih bersifat amaliah dari pada bersifat pemikiran. Bentuk amaliah itu seperti memperbanyak ibadah, menyedikitkan makan minum, menyedikitkan tidur dan lain sebagainya.
Kesederhanaan kehidupan Nabi diklaim sebagai panutan jalan para zahid. Banyak ucapan dan tindakan Nabi Saw. yang mencerminkan kehidupan zuhud dan kesederhanaan baik dari segi pakaian maupun makanan, meskipun sebenarnya makanan yang enak dan pakaian yang bagus dapat dipenuhi. Pada masa ini, terdapat fenomena kehidupan spiritual yang cukup menonjol yang dilakukan oleh sekelompok sahabat Rasul Saw yang di sebut dengan ahl al- Shuffah.
Kelompok ini dikemudian hari dijadikan sebagai tipe dan panutan para shufi. Dengan anggapan mereka adalah para sahabat Rasul Saw dan kehidupan mereka adalah corak Islam. Di antara mereka adalah Abu Dzar al-Ghifari, Salman al-Fartsi, Abu Hurairah, Muadz Ibn Jabal, Abd Allah Ibn Mas’ud, Abd Allah ibn umar, Khudzaifah ibn al-Yaman, Anas ibn Malik, Bilal ibn Rabah, Ammar ibn Yasar, Shuhaib al-Rumy, Ibn Ummu Maktum dan Khibab ibn al-Arut.
2. Fase Abad III dan IV Hijriyah
Abad ketiga dan keempat disebut sebagai fase tasawuf. pada permulaan abad ketiga hijriyah mendapat sebutan shufi. Hal itu dikarenakan tujuan utama kegiatan ruhani mereka tidak semata-mata kebahagian akhirat yang ditandai dengan pencapaian pahala dan penghindaran siksa, akan tetapi untuk menikmati hubungan langsung dengan Tuhan yang didasari dengan cinta. Cinta Tuhan membawa konsekuensi pada kondisi tenggelam dan mabuk kedalam yang dicintai (fana fi al-mahbub). Kondisi ini tentu akan mendorong ke persatuan dengan yang dicintai (al-ittihad). Di sini telah terjadi perbedaan tujuan ibadah orang-orang syariat dan ahli hakikat.
Pada fase ini muncul istilah fana`, ittihad dan hulul. Fana adalah suatu kondisi dimana seorang shufi kehilangan kesadaran terhadap hal-hal fisik (al-hissiyat). Ittihad adalah kondisi dimana seorang shufi merasa bersatu dengan Allah Swt sehingga masingmasing bisa memanggil dengan kata aku (ana). Hulul adalah masuknya Allah Swt kedalam tubuh manusia yang dipilih.
Di antara tokoh pada fase ini adalah Abu yazid al-Busthami (w.263 H.) dengan konsep ittihadnya, Abu al-Mughits al-Husain Abu Manshur al-Hallaj ( 244 – 309 H. ) yang lebih dikenal dengan al-Hallaj dengan ajaran hululnya.
3. Fase Abad V Hihriyah
Fase ini disebut sebagai fase konsolidasi yakni memperkuat tasawuf dengan dasarnya yang asli yaitu al-Qur`an dan al-Hadis atau yang sering disebut dengan tasawuf sunny yakni tasawuf yang sesuai dengan tradisi (sunnah) Nabi dan para sahabatnya. Fase ini sebenarnya merupakan reaksi terhadap fase sebelumnya dimana tasawuf sudah mulai melenceng dari koridor syariah atau tradisi (sunnah) Nabi Saw dan sahabatnya.
Tokoh tasawuf pada fase ini adalah Abu Hamid al-Ghazali (w.505 H) atau yang lebih dikenal dengan al-Ghazali. Tokoh lainnya adalah Abu al-Qasim Abd al-Karim bin Hawazin Bin Abd al-Malik Bin Thalhah al-Qusyairi atau yang lebih dikenal dengan al-Qusyairi ( 471 H.), al-Qusyairi menulis al-Risalah al-Qusyairiyah terdiri dari dua jilid.
4. Fase Abad VI Hijriyah
Fase ini ditandai dengan munculnya tasawuf falsafi yakni tasawuf yang memadukan antara rasa (dzauq) dan rasio (akal), tasawuf bercampur dengan filsafat terutama filsafat Yunani. Pengalaman-pengalaman yang diklaim sebagai persatuan antara Tuhan dan hamba kemudian diteorisasikan dalam bentuk pemikiran seperti konsep wahdah al-wujud yakni bahwa wujud yang sebenarnya adalah Allah Swt sedangkan selain Allah Swt hanya gambar yang bisa hilang dan sekedar sangkaan dan khayali.
Tokoh-tokoh pada fase ini adalah Muhyiddin Ibn Arabi atau yang lebih dikenal dengan Ibnu Arabi (560 -638 H.) dengan konsep wahdah al-Wujudnya. Ibnu Arabi yang dilahirkan pada tahun 560 H. dikenal dengan sebutan as-Syaikh al-Akbar (Syekh Besar). Tokoh lain adalah al-Syuhrawardi (549-587 H.) dengan konsep Isyraqiyahnya. Ia dihukum bunuh dengan tuduhan telah melakukan kekufuran dan kezindikan pada masa pemerintahan Shalahuddin al-Ayubi. Diantara kitabnya adalah Hikmat al-Israq. Tokoh berikutnya adalah Ibnu Sab’in (667 H.) dan Ibn al-Faridl (632 H.)
