Зграду Пашиног конака саградио је моћни Раиф-бег Џиноли 1765. године. Састоји се из две спратне зграде спојене висећим мостом, које су типични представници балканско-оријенталне архитектуре. Зграде имају приземље и спрат, са симетрично постављеним просторијама.
Холови су неправилних облика основе. Из њих се улази у простране собе, између којих су мање просторије, такозване оџаклије. Све собе су украшене богато обрађеним дрвеним таваницама.
У првој згради, Селамлуку, живео је Паша са својом мушком пратњом. Данас је ту смештен Народни музеј. У другој, Харемлуку, одвијао се породични живот. У њему су живеле Пашине жене, деца и служинчад. Хол Харемлука на спрату има полукружно проширење – диванхана, а испод њега у приземљу мањи отворен трем.
