Groblje je smešteno u novopazarskom naselju Potok, između ulica Gornji Aleksinac i Đurđevi Stupovi. Jevreji se prvi put pominju u Novom Pazaru u 18. veku. Moglo bi se pretpostaviti da je groblje tada i formirano. Za vreme turske vladavine zvalo se jahudijsko ili čifutsko groblje. Kako je zabeležio Omer Koničanin, Jevrejsko groblje je između dva svetska rata bilo najlepše uređeno groblje u Novom Pazaru. Prestalo je da se koristi nakon zarobljavanja i likvidacije Jevreja 1942. godine. U ovom groblju su sahranjeni i Jevreji iz Sjenice, Tutina i Raške.
