Библиотека появилась в городе еще в первой трети XX века как Свердловская районная библиотека им. Рочдельских пионеров. В годы Великой Отечественной войны при ней были организованы курсы по подготовке к противовоздушной и противохимической защите.
27 июня 1944 года в связи с 40-летием со дня смерти А. П. Чехова учреждению было присвоено имя писателя. С 1979 года библиотека находится в доме № 250 по ул. Горького.
Библиотека сегодня – место, где посетители могут не только познакомиться с книжными новинками, встретиться с нижегородскими поэтами, писателями, бардами, но и представить собственное творчество, улучшить самочувствие вместе с членами клуба «Здоровье» и влюбиться в культурное наследие А. П. Чехова.