Siedzibą muzeum jest gotycko-renesansowy zamek z przełomu XV i XVI w. wybudowany na wyspie, otoczony fosą; rozbudowywany i przebudowywany w końcu XVI i na pocz. XVII w., modernizowany w końcu XVIII i na pocz. XIX wieku. Od lat 50. XX w. remontowany i adaptowany na cele kulturalne.
Powstało w 1968 r. jako Oddział Muzeum Świętokrzyskiego w Kielcach. Zbiory własne zaczęło gromadzić od 1969 r. m.in. zakupując kolekcje instrumentów od twórców ludowych; zostało udostępnione zwiedzającym w 1975 r., a od 1976 r. jest placówką samodzielną.
Zbiory - rekonstrukcje ludowych instrumentów historycznych, typowych dla różnych regionów Polski w podziale na cztery grupy: idiofony, membranofony, chordofony i aerofony, m.in. suka lubelska, skrzypice polskie, tubmaryna, burczybas, kotły z XVII i XVIII w., harmonie z warsztatów polskich, dudy, ligawy, czy grzechotki ze świńskich pęcherzy a także elementy wyposażenia wnętrz dworu polskiego - srebra XIX-wieczne, żyrandole, porcelana.