Geboren wurde er in Budapest,gestorben ist er in Salzburg.
Er war mit Anton Webern und Richard Strauss befreundet und arbeitete am Libretto zu dessen Oper "Capriccio" mit.
1945-46 war er GMD Stuttgart,von 1946-1947 war er Chefdirigent der Wiener Symphoniker,1957-59 Chefdirigent des Scottish National Orch. Edinburgh und ab 1959 ständiger Dirigent an der Wiener Staatsoper.
1946-1975 war er Dirigentenlehrer an der Wiener Musikakademie,wo er zahlreiche bis heute bekannte Dirigenten ausbildete, darunter Claudio Abbado, Adam und Iván Fischer, Mariss Jansons, Jesus Lopez-Cobos, Zubin Mehta, Heinrich Schiff, Giuseppe Sinopoli, Bruno Weil.
Von seinen zahlreichen Rundfunk- und Schallplattenaufnahmen haben es nur wenige auf CD geschafft.
Der Schallplatten- und CD-Sammler muß berücksichtigen, dass Alfred Scholz (alias Henry Adolph, Dirigent) Tonaufnahmen produzierte und mit dem Namen Hans Swarowsky als Dirigent veröffentlichte, wo nicht sicher ist, dass Swarowsky tatsächlich dirigierte. Viele der Ausführenden sind Pseudonyme. Süddeutsche Philharmonie(South German Philharmonic), Stuttgarter Kammerorchester,Südwest-Studioorchester, Philharmonia Slavonica, Mozart Festival Orchestra u.a.
1968 spielte er den kompletten Ring des Nibelungen von Richard Wagner ein, eine CD-Neuauflage erschien Mitte 2013.