Ktitor Altun-alem džamije naložio je i dao da se sagradi i „kuća da se u njoj podučava Kur'anu i da se uče mala deca“, zapisano je u vakufnami. U dvorištu džamije formirala se nekropola u kojoj su sahranjene ugledne ličnosti, paše, subaše, službenici i drugi. Ovde je sahranjen i Bosanski valija Ismail-paša koji je trebalo da zameni velikog vezira u Sarajevu, ali se u Novom Pazaru razboleo i umro 1199. (17. jula 1785.) godine.
Altun-alem džamija (džamija sa zlatnim alemom – dragim kamenom) je smeštena u središnjem delu Prvomajske ulice, nekadašnjeg Stambolskog (Carigradskog) druma, i predstavlja jednu od najlepših građevina te vrste u Srbiji.
Sagradio je Muslihedin Abdul Gani poznat i kao Mujezin hodža Al Medini.
Bio je bogat i učen čovek. U vakufnami iz 1550. godine navedeni su objekti koje je ovaj graditelj podigao u Novom Pazaru: džamija, mekteb u dvorištu džamije, tri kuće za stanovanje imama, han, šest dućana pored hamama, šest kožarskih dućana u Tabačkoj čaršiji na obali Raške i sedam mlinova pored mosta. Ne zna se tačna godina izgradnje Altun-alem džamije, ali je izvesno da je podignuta u godinama između 1516. i 1526. godine.
Prema legendi džamiju je podigla jedna od tri pašine ćerke Altuna.
Zbog njihove lepote, bogatstva i ugleda niko se nije usuđivao da ih zaprosi. Ostale su neudate. U starosti su novac potrošile u dobrotvrne svrhe. Altuna je podigla džamiju, Hadžira je dala zemljište za potrebe osnivanja groblja u naselju Hadžet i Halima je podigla česmu Halimaču u naselju Lug.