Armin fuhr zunächst in verschiedenen deutschen Rallyeserien und errang einige Siege, in den Jahren 1987 und 1988 war er Deutscher Rallyemeister. Ab 1988 nahm er an der Rallye-Weltmeisterschaft teil und gewann 1991 die Rallye Spanien. Außerdem wurde er 1996 auf Toyota Celica GT-Four Europameister. Zusammen mit Manfred Hiemer fuhr Armin für Škoda in der Rallye-Weltmeisterschaft und beendete seine Karriere in der Rallye-WM zum Ende der Saison 2005. Ein Jahr später übernahm er den Posten des Team-Managers beim österreichischen Red-Bull-Rallye-Team.
Zwischen 2007 und 2012 war Armin im All German Motorsports Team und nahm bei den Off-Road-Rennveranstaltungen der amerikanischen Wüstenrennserie SCORE International Off-Road Racing Series (u. a. Baja 1000) teil. 2009 holte Schwarz die Rennserie nach Deutschland und war Mitinitiator der BAJA 300 POWERDAYS Germany, der heutigen Baja Europe.
