В 1960 году Хвалынскому краеведческому музею для организации в нем картинной галереи был отдан бывший дом правнуков А. Н. Радищева, построенный в 1877 году и сохранивший зримое единство стиля модерн в архитектуре и декоративном убранстве (росписи стен и печей, двери, встроенная в стены мебель). В этом доме в гостях у Радищевых бывал до революции К. С. Петров-Водкин.
Картинная галерея в Хвалынске открылась 1 мая 1961 года. В декабре 1964 года ей было присвоено имя К. С. Петрова-Водкина, во многом это произошло благодаря ходатайству известного графика В. А. Фаворского.
Начало будущей коллекции работ К. С. Петрова-Водкина положил сам мастер: в 1931 году он подарил музею свою раннюю картину «Семья художника» (1903). В течение более 70 лет эта коллекция формировалась благодаря художнику и членам его семьи.
В 20-е годы XX века коллекцию составляли картины хвалынских художников. В 1960-е годы коллекция пополнилась произведениями известных российских художников: П. Кузнецова, Е. Бебутовой, А. Лентулова, Н. Ромадина, В. Попкова.
В 1997 году картинная галерея и Дом-музей К. С. Петрова-Водкина были объединены в Художественно-мемориальный музей К. С. Петрова-Водкина, с 2003 года являющийся филиалом Саратовского государственного художественного музея имени А. Н. Радищева.
В настоящее время в состав коллекции входят живописные и графические произведения, архивные материалы, предметы декоративно-прикладного искусства, скульптура хвалынских, саратовских, столичных художников.
