Awalnya bangunan masjid ini berbentuk menyerupai padepokan yang bergaya khas Jawa Barat, namun setelah beberapa kali mengalami pemugaran hingga menjadi bangunan mesjid yang kekinian.
“Pada tahun 1826 syekh yusuf mulai mendirikan mesjid di sini, mesjid agung ini sekaligus alun-alun kiansantang, kenapa di bangun disini karena yang menjadi sasaran penyebaran islam itu adalah para badega padjajaran atau galuh pakuan, badega itu adanya diantaranya di daerah kutawaringin yang sekarang pasar rebo dan sindang kasih dekat dengan mesjid ini,” ujar Iing yang juga sebagai pengurus DKM Mesjid Agung Baing Yusuf, Selasa, 4 April 2023.
Proses penyebaran agama Islam yang dilakukan oleh Syekh Yusuf berlangsung dari Bogor, Banten, hingga Karawang. Perjalanan penyebaran agama Islam oleh Syekh Yusuf berlanjut hingga Kabupaten Purwakarta, Iing mengatakan, penyebaran tersebut terjadi karena adanya Perang Makau sehingga dibuatlah Karesidenan di wilayah Wanayasa 1821.
Selain bangunan masjid, peninggalan syekh yusuf yang masih bisa ditemukan di komplek masjid ini adalah karya syekh yusuf yakni kitab fikih dan tasawuf berbahasa sunda dengan tuliskan huruf arab, mushaf dengan tulisan tangan, serta sebuah pedang panjang yang digunakan sebagai pegangan saat khutbah jumat kala itu.
Di mesjid inilah syekh yusuf atau baing yusuf menyebarkan agama islam di purwakarta, beliau melakukan penyebaran secara lisan kepada warga ataupun sekelompok orang yang belum sempurna keislamannya.
