Музей основан 1 августа 1968 г. В собрании – более 9 тысяч экспонатов. Около 2 тысяч – произведения русских и советских живописцев XIX–ХХ вв., иконы XIX в. Коллекция графики насчитывает около 5 тысяч оригинальных и печатных работ отечественных и зарубежных авторов конца XIX – ХХ в.
В собрании ДПИ – более 1,6 тысяч экспонатов конца XIX – ХХ в.: народная глиняная игрушка, ткачество и вышивка мастеров Брянщины, медное литье юго-западных районов области, работы из хрусталя и стекла художников Дятьковского хрустального завода.
В коллекции представлена русская и советская скульптура ХХ в. (около 300 экспонатов).
14 сентября 1995 г. открыт филиал «Музей братьев Ткачевых», хранящий более 700 работ А. П. и С. П. Ткачевых: полотна, ставшие классикой изобразительного искусства второй половины ХХ в.; работы периода обучения в изокружке Бежицкого дома пионеров; учебные постановки академического периода; серии, посвященные тютчевским местам, европейским поездкам; этюды и наброски к произведениям разных лет.