В 1912 году в Касторном была организована изба-читальня, в которой можно было найти 3 241 экземпляр политической и художественной литературы. В 1958 году построено новое здание, в котором Касторенская центральная библиотека находилась 40 лет. В 1998 году она переехала в здание бывшей школы на ул. 1 Мая, где и находится по сегодняшний день. С 2010 года носит имя поэта-земляка В. Г. Гордейчева.
Библиотека осуществляет следующие виды деятельности:
Книжный фонд – 15 681 экземпляр. Количество пользователей – 1 307 человек, посещений – 12 610.