Geboren wurde Josef Abel als Sohn des Schreinermeisters Johann Melchior Abel in Aschbach in Oberösterreich. Er begann eine kaufmännische Ausbildung, erregte dort jedoch mit seinen spontanen Kunden-Zeichnungen die Aufmerksamkeit eines durchreisenden Wiener Beamten. Dieser empfahl den jungen Abel an die Wiener Kunstakademie.

Im Jahre 1782 bestand Abel die Aufnahmeprüfung mit Bravour und durch sein Talent wurde ihm das Schulgeld komplett erlassen. Seine Lehrer waren Friedrich Heinrich Füger (1751-1818) und Franz Anton von Zauner (1746-1813), die das junge Talent in der Historienmalerei ausbildeten. Im Jahre 1794 erhielt er die Goldmedaille der Akademie für sein Werk »Dädalus und Ikarus«.Auf Grund seiner Leistungen als Jahrgangsbester vermittelte ihm Füger ein äußerst großzügiges Stipendium, das er 1801 für einen mehrjährigen Romaufenthalt nutzte. Bevor er jedoch seine Polenreise antreten konnte, verpflichtete ihn Fürst Adam Czartoryski als Zeichen- und Hauslehrer nach Polen.

Nach seiner Rückkehr aus Polen 1796 kehrte Abel nach Wien zurück und wirkte als freier Maler. Durch seine Freundschaft zu seinem alten Lehrer Füger bestand immer noch eine enge Bindung an die Akademie.

Im Jahre 1801 konnte er dann über Venedig und Florenz nach Rom reisen. Dort schloss er sich bald den Künstlerkreis um die deutschen Romantiker an. Durch Abels Studien zu Raffael und Micheangelo wurden die Arbeiten von Johann Christian Reinhart (1761-1847), Joseph Anton Koch (1768-1839) und Bertel Thorvaldsen (1770-1844) beeinflusst. Er schloss sich dem Künstlerbund Lukasgilde an. Sein wohl wichtigstes Werk dieser Phase ist das Familienbild der Familie von Fries. Reichsgraf Moritz Christian von Fries (1777-1826) betreute die Stipendiaten der Kunstakademie.

Nach seiner Rückkehr aus Rom siedelte Abel sich im Jahre 1807 wieder in Wien an und arbeite erneut als freier Künstler. Sein alter Lehrer Füger  begeisterte den Maler für die Werke Klopstocks. Mit dem Künstlerkollegen Martin Johann Schmidt – den Kremser Schmidt – schuf er ein Bild mit dem Titel »Klopstock in Elysium«. Klopstock wurde auf diesem Bilde von einer Muse geleitet und von den berühmtesten Dichtern alter und neuer Zeit, an ihrer Spitze Homer, in Elysium empfangen. Auch sein Freund aus römischen Tagen Reinhart wirkte an dem Werke mit.

In seiner Wiener Zeit schuf er auch mehrere Altarblätter. Eines war für die Pfarrkirche in Gumpendorf bei Wien bestimmt. Es handelte sich dabei um den »Heiligen Aegydius« mit 15 Lebensgroßen Figuren. Ein weiteres Altarbild schuf er für die Pfarrkirche zu Krems und für die Kirche von Gainfahrn bei Baden. Weitere Werke wie »Oreste, der sich seiner Schwester Elektra zu erkennen gibt« und »Prometheus an den Kaukasus geschmiedet« entstanden in dieser Epoche.  Auch mehrere Darstellungen von Sokrates schuf er in jener Zeit.

Sein Werk »Junger Mann mit Brille« wird aktuell in der Kunstszene als Jugendbild des Komponisten Franz Schubert (1797-1828) gehandelt. In seinem letzten Werk verewigte er Kaiser Franz II. im Kaiserornat.

Am 04.10.1818 verstarb Josef Abel, der am 08.02.1815 zum Mitglied der Akademie der Bildenden Künste ernannt wurde, an der Auszehrung in Wien. Seine umfangreiche Arbeitsbibliothek ging mangels Erben an die Stadt Wien.