Antoine François Passy wurde als Sohn von Louis-François Passy geboren, der als Beamter beim Finanzamt arbeitete. Sein Bruder Hippolyte Passy war Politiker und Wirtschaftswissenschafter.

Auch Antoine Passy nahm eine politische Karriere in Angriff, daneben war er aber auch ein bekannter Geologe und Botaniker.
Er begann seine berufliche Laufbahn 1813 als Sekretär bei seinem Onkel. 1830 wurde er zum Präfekten der l'Eure ernannt, eine Position, die er bis 1837 inne hatte. Anschliessend wurde er in den 3. Wahlkreis von l'Eure gewählt.

1839 folgte die Ernennung zum Direktor der Abteilungsverwaltung im Ministerium des Innern. Es folgten weitere wichtige Posten, darunter Generalkonsul von l'Eure von 1841 bis 1848 und die Neuorganisation des Nationalmuseums für Naturgeschichte 1849.

Schon früh zeigte er ein Interesse an der Geologie und Botanik. Bereits 1814 erschien eine Studioe über die Flora rund um Brüssel. In diesem Gebiet fand er auch seine Beschäftigung, nachdem er sich 1848 aus dem politischen Leben zurückgezogen hatte. In den kommenden Jahren entstanden zahlreiche wissenschaftliche Arbeiten. 1854 gründete er die botanische Gesellschaft Frankreichs und 1857 wurde er in die Akademie der Wissenschaften gewählt.