Am 01.04.1785 wurde dem Pädagogen Ludwig Heinrich Ferdinand Olivier und dessen Ehefrau Louise Neidhart, die Opernsängerin war, der zweite Sohn Johann Heinrich Ferdinand geboren. Er war der jüngere Bruder des Malers Heinrich Olivier (1783-1848) und älterer Bruder von Friedrich von Olivier (1791-1859).

Wie sein Brüder genoss auch Ferdinand Olivier in den Jahren 1801 und 1802 ersten künstlerischen Unterricht bei den Malern Karl Wilhelm Kolbe und Johann Christian Haldenwang.

Im Jahre 1802 ging Olivier nach Berlin und erlernte bei Johann Friedrich Unger Holzschnitttechniken. In jener Zeit entwickelte sich bei dem jungen Mann auch der Wunsch seinen zukünftigen Lebensweg als Künstler zu beschreiten.

Vom Sommer 1804 bis zum Sommer 1806 hielt er in Dresden auf. Dort fertigte er meistenteils Kopien von Landschaftsbildern, die Claude Lorrain und Jacob Izaaksoon van Ruisdael gefertigt hatten, an. In Dresden wurde er auch Schüler von Jakob Wilhelm Mechau und Carl Wilhelm Kaaz, dem Schwiegersohne Anton Graffs. Über seine Freundschaft zu Friedrich August Klinkowström lernte er auch die Maler Friedrich und Runge kennen. Sein älterer Bruder Heinrich folgte ihm aus Leipzig ebenfalls nach Dresden.

Durch den Krieg wurde Olivier zunächst in seiner Vaterstadt Dessau festgehalten. Durch eine Bekanntschaft mit August von Rode kennen. Dieser vermittelte ihn eine Anstellung als Botschaftssekretär an der preußischen Vertretung in Paris. Noch im gleichen Jahr, wenige Monate später gefolgt von seinem Bruder Heinrich, trat er seinen Dienst in Paris an. Doch blieb er nicht lange in dieser Funktion, da ihm die Zeit für seine künstlerischen Ambitionen fehlte. Durch die Vermittlung Rodes erhielt er drei Aufträge von Herzog Leopold III. von Anhalt-Dessau übertragen. Dies ermöglichte es ihm, seinen Aufenthalt in der französischen Metropole bis zum Jahre 1810 zu verlängern.

Im Sommer 1810 trat er mit seinem jüngeren Bruder Friedrich eine gemeinsame Harzreise an. Die auf der Reise entstandenen Bilder zeigten bereits den Einfluss Caspar David Friedrichs. Im folgenden Jahr reiste Ferdinand Olivier über Dresden nach Wien. Dort traf er mit Joseph Anton Koch. In Wien erfuhr der Künstler seine religiöse Erweckung, die eine Vertiefung seines protestantischen Glaubens zur Folge hatte. Sein Wiener Atelier wurde zum Mittelpunkt protestantischer Künstler in Wien, wobei er jedoch auch einen freundschaftlichen Austausch mit den Nazarenern oder den Kreis um August Wilhelm Schlegel suchte. Im Jahre 1816 wurde der Künstler in die Lukasgilde aufgenommen. Hier ist besonders zu bemerken, dass Olivier, der sich zeitlebens nie in Rom aufgehalten hatte, zu einem der bedeutendsten Vertreter der Nazarener gehörte. In jener Zeit wohnten auch sein Bruder Heinrich und der Maler Julius Schnorr von Carolsfeld in seinem Hause.

Nachdem die Befreiungskriege geendet waren, reiste Olivier zusammen mit Philipp Veit durchs Salzburger Land und beide entdeckten diesen Landstrich für die deutsche Landschaftsmalerei. Auf einer zweiten Reise in diese Landschaft wurde er von seinem jüngeren Bruder Friedrich sowie Carl Ludwig Frommel, Johann Christian Rist und Julius Schnorr von Carolsfeld begleitet.

Im Jahre 1830 verließ der Maler Ferdinand von Olivier Wien und siedelte sich in München an. Hier wurde er Dank der Fürsprache Peter von Cornelius’ zum Generalsekretär der Königlichen Akademie der Bildenden Künste berufen. Im Jahre 1833 wurde er auch noch eine Professur für Kunstgeschichte übertragen.

Im Jahre 1812 ging er die Ehe mit Margret Heller, einer Witwe mit drei Kindern, ein.

Professor Johann Heinrich Ferdinand Olivier starb am 11.02.1841 im Alter von 56 Jahren in München.