Urodził się w Kijowie jako Jewgienij Finkelstein. Jego ojcem był Ukrainiec, o którym niewiele wiadomo. Matka Anna Jakowlewna Primakowa, rosyjska Żydówka, akuszer-ginekolog, po urodzeniu syna wyjechała do Tbilisi (Gruzja), gdzie mieszkała jej rodzina i gdzie Primakow dorastał. Po szkole podstawowej podjął naukę w wojskowej szkole morskiej w Baku; po dwóch latach przerwał naukę w celu wyleczenia gruźlicy płuc. Szkołę średnią ukończył w Tbilisi.
Absolwent Moskiewskiego Instytutu Orientalistyki. W 1959 został członkiem KPZR. Od 1962 – współpracownik organu KPZR „Prawda”, a w latach 1966–1970 jej korespondent na Bliskim Wschodzie. Wykonywał wtedy zadania wywiadowcze dla KGB jako Maksym. Stacjonował głównie w Kairze, a w czasie podróży do Bagdadu w 1969 poznał Saddama Husajna. W latach 1977–1985 był dyrektorem Instytutu Orientalistyki Akademii Nauk ZSRR. Od 1985 do 1989 następca Aleksandra Jakowlewa na stanowisku dyrektora Instytutu Ekonomiki Światowej i Stosunków Międzynarodowych (IMEMO).
W czasie rządów Michaiła Gorbaczowa był zastępcą członka Biura Politycznego (1989–1990). W 1990 został członkiem Rady Prezydenckiej, a w 1991 jednym z członków Rady Bezpieczeństwa. Był przewodniczącym Izby Związku ZSRR w 1989 oraz deputowanym do Rady Najwyższej ZSRR. Naczelnik I Zarządu Głównego KGB ZSRR oraz pierwszy zastępca szefa KGB w 1991, następnie zaś dyrektor Służby Wywiadu Zagranicznego Rosji w latach 1991–1995. Od 1996 minister spraw zagranicznych Federacji Rosyjskiej, zaś od 11 września 1998 do 12 maja 1999 jej premier.
Odznaczony m.in. Orderem „Za zasługi dla Ojczyzny” I, II i III klasy (2009, 1998), Orderem Honoru (2004), Orderem Czerwonego Sztandaru Pracy (1975), Orderem Przyjaźni Narodów (1979), Orderem „Znak Honoru” (1985), Order Świętego Księcia Daniela Moskiewskiego (2009), białoruskim Orderem Przyjaźni Narodów (2005), kirgiskim Orderem „Danaker” (2005), kazachskim Orderem Przyjaźni (2007), ukraińskim Orderem Księcia Jarosława Mądrego V klasy (2004), mołdawskim Orderem Republiki (2009). Laureat Nagrody Państwowej ZSRR.
Jego pierwszą żoną była pochodząca z Gruzji Laura Charadze (1930–1987). Ostatnią żoną była Irina Borisowna Primakowa (ur. 1952), z zawodu lekarz. Na przełomie lat 80. i 90 związany z Tatianą Anodiną, późniejszą przewodniczącą Międzypaństwowego Komitetu Lotniczego. Niektóre źródła podają, że Anodina została w 1992 jego żoną. Zmarł po ciężkiej chorobie 26 czerwca 2015. Jest pochowany na Cmentarzu Nowodziewiczym w Moskwie.