Josep Maria Llompart de la Peña neix el dia 23 de maig de 1925 a Palma (Mallorca). El 1926, quan només tenia un any, marxa amb la família a Galícia, on és destinat el seu pare com a coronel d'infanteria. Aquest sojorn a Galícia dura fins al 1930. Els primers records de la infantesa del poeta es remunten a una Galícia mitificada per la distància i la memòria.

L'ambient militar de la família i l'origen castellanoparlant de la mare, Dolores de la Peña, determinen que la primera llengua parlada del poeta fos la llengua castellana. L'any 1930 el coronel Llompart passa a la reserva, per la qual cosa la família torna a Mallorca i s'instal·la definitivament a Palma. El retorn a Mallorca posa el nostre poeta en contacte amb la llengua catalana, i se li revela com a pròpia en descobrir el tresor lingüístic de les Rondaies mallorquines que li llegeix el seu pare.

Entre 1935 i 1942 cursa el batxillerat a l'Institut Balear, on fa amistat amb Miquel Llodrà. Aquest posteriorment l'introdueix en els cenacles literaris de la postguerra mallorquina, on coneix Llorenç Moyà, Miquel Gayà i Jaume Vidal Alcover. El 1942 inicia estudis de Dret com a alumne lliure a la Universitat de Barcelona, on coneix el jove catalanista Lluís Casasses, el qual li mostra les joies de la literatura catalana contemporània. L'any 1947 obté la llicenciatura en Dret. En aquesta època comença a escriure els primers poemes en català.

El 1951 M. Sanchis Guarner treu a la llum l'antologia Els poetes insulars de postguerra, que inclou quatre poemes de Josep Maria Llompart. Durant els anys cinquanta s'inicia en el món de la crítica literària a les revistes Raixa, Vida Nova i als volums anuals de Cap d'Any de la "Biblioteca Raixa"; i també el 1954 participa en les celebracions del centenari de Costa i Alcover i en l'homenatge a Rimbaud. El 1956 comença a treballar a la Jefatura de Obras Públicas de Baleares, una feina que li proporciona estabilitat laboral i els capvespres lliures per tal de poder dedicar-se a les lletres. El 30 d'agost d'aquest mateix any contreu matrimoni amb Encarnació Viñas Olivella, germana de la poeta Cèlia Viñas.

Del 1956 fins al 1961 Josep Maria Llompart treballa amb Camilo José Cela en la revista Papeles de Son Armadans, la qual cosa és per a ell una finestra oberta a la literatura contemporània d'altres cultures, amb noms com ara Celso Emilio Ferrerio, Vicente Aleixandre, Michel Butor, Italo Calvino, José Luis Aranguren, Blas de Otero, etc.

En la dècada de 1960 participa en nombroses activitats literàries, culturals i cíviques. El 1961 publica Poemes de Mondragó i comença a treballar d'assessor literari a l'Editorial Moll. El 1964 publica La literatura moderna a les Balears, primer manual de la literatura contemporània a les illes i, per aquest motiu, és durant molts anys una de les fonts més consultades. Col·labora al Diario de Mallorca amb nombrosos articles sobre autors catalans i estrangers. El 1962 intervé en la fundació de l'Obra Cultural Balear, de la qual és President des de 1978 fins al 1986.

Des de 1969 a 1972 Josep Maria Llompart imparteix classes de literatura i cultura catalanes a la delegació a Palma de la Facultat de Filosofia i Lletres de la Universitat de Barcelona. El 1987 reprèn, com a professor associat, la docència a la Universitat de les Illes Balears fins al 1991 en què es jubila. Durant els anys 1966-68 intervé en moltes activitats cíviques d'oposició al règim franquista, entre les quals destaquen les Aules de Poesia, Novel·la i Teatre de la Casa Catalana de Mallorca.

Les dècades de 1970 i 1980 són els anys de màxima fecunditat literària. Publica els poemaris La Terra d'Argensa (1972) i Memòries i confessions d'un adolescent de casa bona (1974), els quals presenten algunes pinzellades personals del realisme històric. Els segueixen els volums Urbanitat i Cortesia (1979), Mandràgola (1980, Premi de la Crítica Serra d'Or i el Premio Nacional de la Crítica), La Capella dels Dolors i altres poemes (1981, guardonat amb la Lletra d'Or). També durant els anys setanta enceta una etapa de traduccions: el 1976 surt a la llum el volum de Quinze poetes gallecs, al qual seguiren Poesia galaico-portuguesa (1984), Poesia gallega, portuguesa i brasilera moderna (1988) i Poemes de Luis Pimentel i Celso Emilio Ferreiro (1992). Fruit d'aquesta labor, el 1990 participa a Lisboa en el I Encontro Luso-Catalão de Poetas.

Entre 1976 i 1980 col·labora en la secció "La Columna de Foc", al diari Última Hora, amb múltiples articles: un sobre autors illencs a la pàgina titulada "Els Nostres Escriptors" (aplegats pòstumament als volums Els Nostres Escriptors: Nostres Scriptors, 1996), i d'altres sobre qüestions sociolingüístiques i nacionalistes.

Els anys 1980 i 1990 Josep Maria Llompart mereix un seguit de càrrecs i de reconeixements públics tant per la seva creació literària com per la seva labor pública. Entre 1983 i 1987 presideix l'Associació d'Escriptors en Llengua Catalana. El 1985 és nomenat membre de la Secció Filològica de l'Institut d'Estudis Catalans i el 1990, president de la Federació Llull d'Entitats Culturals dels Països Catalans. Aquest mateix any, designat pel Centre Català del PEN, pren part en el festival europeu de poesia que se celebra a Lovaina.

El 1982 rep el Premi d'Honor de les Lletres Catalanes i la Generalitat de Catalunya el condecora amb la Creu de Sant Jordi. Aquest mateix any assisteix al Tercer Col·loqui de la NACS, celebrat a Toronto, on parla de Les Illes Balears dins el context dels Països Catalans. També publica dos volums de la crítica literària titulats Retòrica i Poètica (Premi d'assaig literari de la Generalitat de Catalunya).

El 1983 apareix l'Obra Poètica, que inclou tots els poemaris publicats fins aleshores. El 1990 el poemari Jerusalem. I el mes de juny d'aquest mateix any la Institució de les Lletres Catalanes el nomena Escriptors del mes. El 1991 apareix un recull d'articles de tema lingüístic, cultural i nacional, intitulat Països Catalans? i altres reflexions. A més a més durant el 1992 s'editen dos volums: un de poesia titulat Spiritual i un altre de crítica literària denominat La narrativa a les Illes Balears. I poc temps després del seu traspàs veu la llum el llibre de memòries compartit amb Antònia Vicens: Vocabulari Privat (1993). Encara pòstumament s'edita el recull d'articles literaris El llac i la flama (1998).

Mor el 28 de gener de 1993 en la plenitud de la seva vida artística i enmig d'un seguit d'actes d'homenatge a la seva labor que les institucions culturals mallorquines, promogudes per l'Obra Cultural Balear, havien iniciat l'any 1992.