Шварц - филолог. Читал лекции на историко-филологическом факультете Московского университета. С 1900 г. Шварц - попечитель Рижского, а позднее Варшавского учебного округа. В 1908 г. назначается министром народного просвещения. На этом посту им был проведен целый ряд реакционных мероприятий в области средней и высшей школы. Наиболее крупные из них следующие: отмена студенческих организаций, отмена приема женщин вольнослушательницами в высшие учебные заведения, строгое проведение процентной нормы для приема в учебные заведения евреев. В начале 1910 г. Шварц вышел в отставку, уступив свое место Кассо.