Salman berasal dari Isfahan, suatu daerah di bawah kekuasaan Kisra Persia, yang mayoritas beragama Majusi, kaum penyembah api. Ayahnya seorang pejabat setingkat bupati yang amat menyayanginya, dan ia diberikan tugas sebagai penjaga api suci, yang bertanggung jawab agar api sesembahan tetap menyala, tidak sampai padam. Sebuah tugas mulia dalam agama Majusi.
Jalan yang dilaluinya untuk memperoleh hidayah cukup berliku. Berawal dari ketertarikannya pada cara ibadah orang Nashrani, ia masuk agama Nashrani. Orang tuanya marah dan merantainya, tapi ia berhasil kabur dan mengikuti rombongan orang-orang Nashrani ke Syiria. Ia tinggal di gereja mengikuti seorang uskup sebagai pelayan, sekaligus belajar lebih dalam tentang agama barunya itu. Sayangnya uskup tersebut mengumpulkan sedekah untuk kepentingan pribadinya. Untungnya setelah uskup ini meninggal, sebagai penggantinya diangkat seorang yang saleh, sehingga ia memperoleh banyak kemajuan secara rohaniah. Ketika uskup tersebut akan meninggal, ia menyarankan Salman untuk menemui seorang pendeta di Mosul, karena ia melihat tidak ada orang yang cukup pantas dan baik sebagai penggantinya untuk gereja tersebut.
Salman berangkat ke Mosulmenemui pendeta yang ditunjukkan uskup sambil menceritakan pengalaman dan pencariannya, dan ia diterima dengan baik. Sama seperti sang uskup sebelumnya, ketika akan meninggal, pendetatersebut menyarankannya untuk tinggal bersama seorang saleh di Nasibin. Dan menjelang ajal, orang saleh di Nasibin inipun menyarankan untuk menemui seorang pemimpin yang saleh di Amuria, suatu kotawilayah Romawi.
Salman tinggal di Amuria dengan pemimpin yang saleh ini beberapa waktu lamanya. Sebagai bekal hidupnya ia memelihara beberapa ekor sapi dan kambing. Menjelang ajal sang Pemimpin Amuria itu, lagi-lagi Salman bertanya tentang siapa yang pantas diikuti dan bisa membimbingnya, pemimpin yang saleh ini berkata, "Wahai anakku, tak ada seorangpun yang kukenal yang sama keadaannya dengan kita, yang dapat kupercayakan engkau kepadanya. Tetapi sekarang telah dekat waktunya kebangkitan seorang nabi yang mengikuti agamaIbrahim secara murni. Ia nanti akan hijrah ke suatu tempat yang ditumbuhi kurma dan berada di antara dua bidangtanah yang berbatu-batu hitam. Seandainya engkau dapat kesana, temuilah dia. Ia mempunyai tanda-tanda yangjelas dan gamblang, ia tidak mau makan sedekah, tetapi ia bersedia menerima atau memakan hadiah yang diberikan kepadanya. Ia mempunyai cap kenabian di pundaknya, yang jika engkau melihatnya, engkau pasti mengenalinya."
Ketika ada rombongan dari jazirah Arab, yang ia tahu banyak ditumbuhi kurma sampai di Amuria, iameminta untuk bisa mengikuti mereka dan memberikan imbalan ternak-ternaknya, dan mereka bersedia. Tetapi sampai di tempat bernama Wadil Qura, Salman dianiaya dan dijual sebagai budak kepada orang Yahudi.
Beberapa waktu kemudian datang seorang yahudi dari Bani Quraizhah, membelinya sebagai budak dan membawanya ke Yatsrib (nama Madinah pada masa jahiliah), untuk dipekerjakan di kebun kurmanya. Begitu tiba di Yatsrib, yakinlah ia bahwa ini negeri yang dimaksudkan oleh pemimpin yang saleh di Amuria. Karena itu ia bekerja dengan gembira walau sebagai budak, sambil menunggu kabar tentang munculnya nabi sebagaimana diramalkan oleh pemimpin Amuria tersebut.
Suatu ketika ia sedang di puncak pohon kurma, tiba-tiba datang sepupu majikannya dan berkata,"Bani Qilah celaka, mereka mengerumuni seorang lelaki dari Mekkah yang mengaku sebagai nabi. Merekasedang berkumpul di Quba…."
Saat itu memang Nabi SAW bersama Abu Bakar baru saja tiba di Quba, singgah pada Bani Amr bin Auf. Mendengar kabar tersebut tubuh Salman bergoyang keras dan hampir jatuh menimpa tubuh tuannya di bawahnya. Ia bergegas turun dan tanpa sadar statusnya sebagai budak, ia menuju tamu tuannya dan berkata, "Apa kata anda? Ada kabar apakah?"
Majikannya memukulnya sekuatnya dan berkata, "Apa urusanmu dengan semua ini, cepat kembali bekerja."
Sore harinya setelah pekerjaannya selesai, ia mengumpulkan bahan makanan yang dimilikinya dan bergegas ke Quba menemui Nabi SAW dan para sahabatnya yang berkumpul. Ia berkata, "Tuan-tuan adalah perantau, kebetulan aku memiliki persediaan makanan untuk sedekah. Tentu tuan-tuan sangat membutuhkannya…."
