Сергей Александрович Жаров родился в 2 апреля 1896 года в городе Макарьеве Костромской губернии в купеческой семье. В 5 лет начал петь в церковном хоре, а в возрасте десяти лет поступил в Московское Синодальное училище хорового пения. В разгар Первой мировой войны 18-летнего Жарова назначают регентом хора военных инвалидов, находившихся под опекой Великой Княгини Елизаветы Феодоровны и Марии Н. Муромцевой. Хор выступал не только по лазаретам: им привелось петь молебен и в Храме Христа Спасителя.

После получения диплома Синодального училища в марте 1917 года, Жаров поступил в Александровскую Военную академию, где был произведен в сотники.

В годы гражданской войны Жаров сражался на стороне белых в бригаде Донских казаков. В 1920 году вместе с армией генерала Врангеля был интернирован в турецкий город Чилингире, где в русском лагере создал хор донских казаков (1921 год) и был его долголетним дирижером и регентом. В репертуаре хора были духовные песнопения, романсы, русские народные песни и песни эмиграции первой волны.

В 1923 году хор выступил в Австрии, в церемониальном зале Вены «Хофбург», а уже в следующем году дал первые концерты в Германии. Потом были Бельгия, Голландия, Англия, в 1926 году – Франция.

Сергей Жаров и его хор много гастролировали по миру до 1939 года. С началом второй мировой войны хор перебрался в США, где все его участники получили американское гражданство. Затем были гастроли хора в Мексике, Кубе, Южной и Центральной Америке. В Голливуде Сергей Жаров с хором снялся в нескольких фильмах.

В 1945 году хор с концертом посетил Германию и выступал перед американскими войсками. В 1956 году хоровой коллектив совершил семинедельное турне по Японии. Они были первыми западными артистами, которым позволили петь в императорском дворце самому императору. Затем были гастроли в Австралии.

Последнее большое турне было в сезоне 1978—1979 годах, но Жаров продолжал ещё работать дирижёром в Америке до 1981 года. 20 марта 1981 года он передал права на свой хор своему другу и менеджеру Отто Хофнеру. Хофнер в 2001 году отдал права на хор Ване Хлибка, самому молодому солисту хора Жарова. Ныне существует два хора Жарова: в Германии и США, которыми руководят его ученики.

Сергей Александрович Жаров скончался в 1985. Похоронен на Свято-Владимирском кладбище в городе Джексон, штат Нью-Джерси, США.

С 2009 года в Костроме один раз в три года проводится Международный фестиваль мужских хоров и ансамблей «Жаровские певческие ассамблеи», посвящённый памяти выдающегося хормейстера, руководителя всемирно известного казачьего хора, крупнейшего регента русского зарубежья. Предтечей фестиваля стал состоявшийся в филармонии в 2008 году большой торжественный концерт «Всему миру пели «Верую».