Образование станции Ярцево можно связать со строительством железной дороги Москва-Смоленск, концессия на строительство которой была утверждена 15 декабря 1868 года. Официальный «день рождения» станции Ярцево — 20 сентября 1870 года. Именно в этот день через Ярцево торжественно прошел первый поезд. Появилось паровозное депо, а вместе с ним — целый поселок железнодорожных рабочих.

Первоначально вокзал в Ярцеве располагался немного западнее — он был деревянным и сгорел вскоре после революции. Отстроенный впоследствии кирпичный вокзал был разбит в годы войны, нынешнее здание — уже послевоенное.