İlk sûfîler esas itibariyle zühhâd (zâhidler) tâifesi arasından çıkmıştır.

İlk zâhidlerin Hıristiyan münzevîlerini taklid etmiş olmaları pek muhtemeldir. Mekke’de, İslâm’dan önce de sûfîlerin bulunduğu söylenmiştir. Anlaşıldığına göre bunlar İslâm’dan önceki hayattan uzak yaşayan, üzerlerine gelecek bir İlâhî gazabdan dehşete kapılarak zühd yolunu tercih eden kişilerdi. Sûfî isminin kaynağı olan sûf (kaba yün kumaş) da bunların kıyâfetleri olmalıdır. Sûf böylece dünya hayatına kıymet vermeyişin bir sembolü olmuştur. Hicretin ilk ikiyüz yılında Medine’de ve özellikle Irak bölgesinde Zühhâd, Kurrâ, Bekkâün, Kussas, Nussak gibi çeşitli adlar altında popüler zümreler vardır ki bunların ortak karakteri halkı Allah’ın gazâbı husûsunda uyarmak idi. Bir çeşit halk vâizi olan bu adamlar halkın toplu bulunduğu yerlerde heyecân içinde Kur’ân okur ve ağlarlar, yine Kur’ân’dan aldıkları hikâyeleri süsleyerek bunlar üzerine inşâ ettikleri ahlâkî vaazlarla halkın din anlayışı üzerinde büyük tesir icrâ ederlerdi. Bunların heyecân unsuruna fazla yer veren din anlayışlarıyla ilk İslâm fıkıhçılarının -ister istemez- şekil unsuruna önem veren anlayışları arasındaki çatışma, yavaş yavaş ulemâ karşısında bir sûfî tabakasının teşekkülüne ve bunların bir zümre hâlinde şuûr kazanmalarına -ve daha sonra teşkilâtlanmalarına- yol açmıştır. İlk sûfîler esas itibariyle bu zühhâd (zâhidler) tâifesi arasından çıkmıştır.