William Barr uppgav på lördagen att Trump avsatt Geoffrey Berman som federal åklagare vid södra distriktet i New York, rapporterar flera amerikanska medier.
Justitieministern säger att han har informerat Berman om beslutet i ett brev.
Geoffrey Berman utsågs i januari 2018. Under sin tid på posten har han bland annat utrett president Donald Trumps personlige advokat Rudy Giuliani. Hans kontor har även åtalat Trumps tidigare advokat Michael Cohen. Berman har också lett utredningen mot den sexbrottsmisstänkte miljardären Jeffrey Epstein.
I ett pressmeddelande i fredags meddelade William Barr att Berman skulle lämna sin tjänst och att president Donald Trump skulle nominera Jay Clayton, ordförande för USA:s finansinspektion SEC, till posten, skriver Reuters.
Geoffrey Berman har själv sagt att han fick beskedet när han såg pressmeddelandet.
"Jag har inte avgått och har inga planer på att lämna min post", sade han i ett uttalande några timmar efter pressmeddelandet kommit.
Berman sade vidare att hans arbete kommer fortsätta utan avbrott fram till att senaten godkänt en ersättare som presidenten nominerat.