Варнавинский историко-художественный музей расположен в двухэтажном каменном особняке – бывшем главном доме городской усадьбы купца Селиванова, которая является объектом культурного наследия регионального значения, памятником истории и культуры. В усадьбу входят также ограда с двумя воротами и флигель. Все постройки были возведены из красного кирпича в 1880-е годы. К началу XX века дом Селиванова отошел в казну, в нем была устроена почтовая станция. С 1992 года в этом здании размещается музей.
В 2017 году при Варнавинском историко-художественном музее была открыта галерея. На протяжении многих лет музей работал над формированием собственной художественной коллекции: картины покупались, передавались в дар, некоторые были написаны на заказ для музея. Среди представленных работ – картины заслуженных художников и членов Союза художников России. Большая часть коллекции посвящена Ветлужским пейзажам, истории и культуре Варнавинского края.
Бывший Троицко-Варнавинский монастырь, давший начало городу Варнавину, не сохранился, был снесен в советский период. В музее можно увидеть его реконструкцию в виде макета в масштабе 1:100, созданного в 1993 году. Автор – архитектор Д. Г. Монахов, при участии архитектора М. В. Виноградовой.
На 1 января 2022 года основной фонд музея составляет 5 699 предметов. Наиболее ценные коллекции фондов: коллекция предметов из кости варнавинских мастеров косторезов; личный архив историка-краеведа М. А. Балдина.
