Nehéz korban született. Igaz, már önmagában az is a történelem egyik csodájának számított, hogy világra jöhetett.
A mai Törökország területén élt örmény családból származik – az eredeti neve Arklián -, ami édesapja gyerekkorában nem számított biztonságosnak azon a területen. Amikor az Oszmán Birodalom felbomlott, az új török kormány passzivitása mellett a török nacionalisták véres terrorba kezdtek. A történészek ezt ma már Örmény holokausztként emlegetik, mivel 300.000 – 800.000 örmény embert öltek meg pogrom során. Az öldöklésnek áldozatul estek Agárdy Gábor nagyszülei is, ám az akkor még gyermek édesapját egy jó szándékú ember egy szekéren elrejtette, így megmenekülhetett a biztos haláltól. Ezt követően a sors úgy hozta, hogy az édesapja Magyarországon telepedett le és kötött házasságot az édesanyjával.
