Музей открыт в 1974 в бывшей усадьбе А. Н. Оленина – президента Академии художеств и Императорской публичной библиотеки. Его жена Елизавета Марковна в 1795 купила у барона Г. И. Фредерикса 776 десятин земли между р. Лубьей и Смольным ручьем в 16 верстах от Петербурга. Усадьба, которой Оленины владели до 1841 г., в пору расцвета включала два господских дома, оранжереи, многочисленные хозяйственные постройки, пейзажный парк на берегу пруда.
Здесь, как и в петербургских домах Олениных, в разные годы бывали литераторы Г. Р. Державин, А. С. Пушкин, Н. М. Карамзин, И. А. Крылов, В. А. Озеров, Н. И. Гнедич, В. А. Жуковский, К. Н. Батюшков, П. А. Вяземский, А. С. Грибоедов, П. А. Плетнев, А. Мицкевич; музыканты М. И. Глинка, А. Ф. Львов, А. Н. Верстовский, А. А. Алябьев; художники В. Л. Боровиковский, А. Г. Вененцианов, К. П. Брюллов, О. А. Кипренский, Г. Г. Гагарин, А. О. Орловский, И. А. Иванов, Ф. П. Толстой, Ф. Г. Солнцев, скульптор И. П. Мартос, архитектор А. П. Брюллов и др. В спектаклях на сцене домашнего театра участвовали актеры Е. С. Семенова, И. И. Сосницкий, В. А. Каратыгин, А. М. Колосова.
Современная экспозиция открыта в главном усадебном доме в 1990 г. после завершения реставрационных работ. В комнатах первого этажа воссозданы кабинет, гостиная, галерея, столовая, спальня. Дополняют картину усадебного быта первой трети XIX в. жилые покои на мужской и женской половинах второго этажа. Здесь можно увидеть разнообразные экспонаты, в том числе личные вещи семьи Олениных, бытовые предметы, изделия пушкинского времени, портреты гостей приютинской усадьбы и другие материалы.
В парке восстановлены здание молочной и кузница на берегу пруда. В первом господском доме усадьбы открыта экспозиция, включающая в себя 10 залов. Она построена по принципу сочетания в каждом помещении типологически воссозданного интерьера дворянского дома первой трети ХIХ века и выставочной части. Выставочная часть включает в себя изобразительные материалы, документы, книги, а также мемориальные вещи, связанные с семьей Олениных. На втором этаже наибольший по площади зал отведен для размещения временных выставок. Для фотовыставок, выставок детских рисунков и других плоскостных материалов используется также коридор второго этажа. Музейный фонд включает 14 коллекций с общим количеством музейных предметов 10 834 единицы хранения.
