Паровозное (ныне локомотивное) депо на 12 стойл было открыто на ст. Ртищево 29 января 1871 г. Построено оно было при прокладке главной линии Тамбово-Саратовской железной дороги. В 1890-х годах на станции Ртищево было построено ещё одно паровозное депо. В 1895 году открылось движение по линии Пенза-Балашов, и депо стало обслуживать эти направления. 1 января 1938 года депо Ртищево-II было сдано в эксплуатацию. Депо-1 и депо-2 существовали независимо друг от друга и подчинялись Ртищевскому отделению паровозного хозяйства Рязано-Уральской железной дороги. В конце 1930-х годов в них начинает внедряться горячая промывка паровозов, позволившая в пять раз сократить их простой в ремонте. В годы Великой Отечественной войны за самоотверженную трудовую помощь фронту коллективу депо Ртищево-II трижды присуждалось переходящее Красное знамя Комитета обороны Союза ССР. В 1956 году в депо начали поступать первые тепловозы ТЭ3, линия Пенза-Поворино, как наиболее грузонапряжённая, с 1957 года переводится полностью на тепловозную тягу. В 1960 году локомотивные депо на станциях Ртищево-I и Ртищево-II были объединены. 15 июня 1965 года в депо Ртищево поступил первый электровоз ВЛ60, тогда ещё на ртутных выпрямителях. С февраля 1967 года в депо начали поступать электровозы ВЛ80к.
Вот что рассказала директор Ртищевского краеведческого музея С.Е. Ашкапова: «В январе 2021 года исполняется 150 лет старейшим железнодорожным предприятиям города. В архиве Ртищевского краеведческого музея хранятся документы, рассказывающие о событиях полуторавековой давности. Впервые вопрос о строительстве железной дороги от Тамбова до
Саратова возник еще в 1866 году. Спустя два года были утверждены ходатайства саратовского губернского земства и саратовского городского общества о сооружении Тамбово-Саратовской железной дороги протяженностью 554 версты. Были обозначены земли, отведенные под строительство, сюда вошли и полевые наделы земледельцев села Ртищево, давшего свое название будущей станции. Работы начались летом 1868 года. Строилось все одновременно: насыпалось земляное полотно, производились выемки, сооружались станционные здания и паровозные депо, временные и постоянные мосты, пассажирские и товарные платформы, станционные службы. С 10 по 19 декабря 1870 года комиссия в составе 4 инженеров, крупных чиновников Министерства путей сообщения провела экспертизу отстроенного участка Тамбово-Саратовской железной дороги от станции Умет до станции Аткарск. Все увиденное и принятое комиссией заносилось в журнал, хранящийся сегодня в Центральном государственном историческом архиве Санкт-Петербурга. Копия этого документа находится в краеведческом музее. Благодаря ему мы имеем схему станции Ртищево на момент ее открытия. Она была построена как станция второго класса. Здесь было сооружено пассажирское каменное двухэтажное здание, пассажирская каменная платформа, товарная крытая платформа, один одноэтажный и два двухэтажных жилых деревянных дома для служащих, паровозное здание на 12 паровозов с малыми мастерскими, поворотный круг, товарный сарай, 6 будок для стрелочников и резервуар для воды, которой заправляли паровозы. Станция Ртищево на период открытия движения состояла из пяти главных и нескольких подъездных путей.
14 января 1871 года на станцию II-го класса Ртищево прибыл из Кирсанова первый грузопассажирский поезд, который открыл регулярное движение по новому участку железной дороги. Он состоял из паровоза серии Б, двух пассажирских вагонов с рабочими-строителями и шести товарных вагонов. Вел состав Илларион Васильевич Васильев, машинист, приписанный к новой станции Ртищево, уроженец села Песчанка, который навсегда вошел в историю Ртищева, став человеком-легендой.
Илларион Васильевич Васильев проработал в депо более полувека. Первый ртищевский машинист стал родоначальником большой семейной династии железнодорожников. Он воспитал целую плеяду паровозных машинистов, вписавших славные страницы в историю депо, где под № 1 значится имя первого ртищевского машиниста Васильева Иллариона Васильевича».