Ha studiato con tre maestri molto diversi e distinti: Franco Ferrara, Sergiu Celibidache e Charles Bruck. All'inizio della sua carriera di direttore d'orchestra, Varga si è concentrato sul lavoro con orchestre da camera, in particolare con la Tibor Varga Chamber Orchestra, prima di affermarsi rapidamente nel repertorio sinfonico. È stato Direttore Principale degli Hofer Symphoniker (1980-1985); Direttore Principale della Philharmonia Hungarica di Marl (1985-1990), dirigendone la tournée di debutto in Ungheria con Yehudi Menuhin; Direttore Ospite Permanente della Stuttgart Chamber Orchestra (1991-1995); e Ospite Principale della Malmö Symphony Orchestra (1997-2000).
Nel 1997 è stato nominato Direttore Musicale dell'Orchestra Nazionale Basca, guidandola per dieci stagioni e in diverse tournée internazionali, e tra il 2013 e il 2018 è stato Direttore Principale della Taipei Symphony Orchestra, dirigendola in tournée in Europa, Stati Uniti e Giappone. Dal 2019 al 2021 è stato Direttore Principale della Pannon Philharmonic Orchestra, residente presso il prestigioso Kodály Center di Pécs, in Ungheria, dove torna regolarmente. Come direttore ospite, ha diretto molte delle migliori orchestre del mondo, tra cui la Philadelphia Orchestra, la Radio Symphony di Berlino, l'Orchestra di Parigi, la Filarmonica di Oslo e la Sydney Symphony Orchestra.