Музей был основан в 1893 г. по инициативе Терского статистического комитета. Открылся на волне интереса к археологии, который возник в регионе с обнаружением знаменитого кобанского могильника с уникальными бронзовыми предметами, которые и составили основу музейной коллекции наряду с коллекцией оружия и нумизматики. Старейший музей на Юге России.
Сегодня основное здание музея расположено в особняке купца Ходякова, построенном в начале XX в. Фонд составляет около 300 тыс. единиц хранения. В музейной коллекции есть уникальные предметы археологии, редкие образцы кавказского и восточного оружия, богатый фотофонд.
В структуру входят головной музей и 11 филиалов: Музей осетинской литературы им. Коста Хетагурова, Мемориальный дом-музей Коста Хетагурова, Мемориальный дом-музей И. А. Плиева, Музей истории г. Владикавказа, Мемориальный дом-музей Г. Цаголова, Ардонский музей народного образования и др.
