Jordi Rubió i Balaguer neix a Barcelona el 30 de gener de 1887. És net de l'escriptor Joaquim Rubió i Ors, conegut com lo Gaiter del Llobregat, i fill de l'historiador i intel·lectual Antoni Rubió i Lluch. Als dinou anys es llicencia en Filosofia i Lletres a la Universitat de Barcelona, i als vint aconsegueix el doctorat a Madrid amb la tesi Consideraciones generales acerca de la historiografía catalana medio-eval y en particular de la crónica de Desclot. El mateix any entra a treballar de secretari a l'Institut d'Estudis Catalans. Entre 1911 i 1913 exerceix un lectorat de Filologia Hispànica a la Universitat d'Hamburg, i aprofita l'estada per iniciar unes recerques sobre els manuscrits lul·lians i per aprendre alemany.

Torna a Barcelona per dirigir la Biblioteca de Catalunya, càrrec que ocupa fins al 1919. Introdueix la classificació decimal i organitza el fons creixent de la Biblioteca, i a partir de 1915, també ho fa amb la recentment creada xarxa de Biblioteques Populars. Sobre aquesta època ens diu: "Va ésser allò que si fa bon vent, s'infla la vela. Tot va col·laborar a fer que les coses anessin bé. Quin esperit que hi havia! Arribaven llibres de pertot i la gent tenia una ànsia immensa de llegir. Treballàrem, treballàrem molt… […] Va ésser com reconquerir una part de Catalunya, això de recollir llibres d'aquí i d'allà. Sí, com el vent: quina confiança, que teníem tots, d'anar endavant!" (Serra d'Or, núm. 116, maig del 1969, p. 31-38).

Ensenya Biblioteconomia i Bibliografia a l'Escola de Bibliotecàries des de la seva fundació, l'any 1915, i el 1919 obté les càtedres de Bibliologia i de Literatura Espanyola a la Universitat de Barcelona. El 1925 succeeix el seu pare en la càtedra de Literatura Catalana dels Estudis Universitaris Catalans, un ensenyament de caràcter universitari iniciat el 1903 en resposta a la negativa de la Universitat de Barcelona a acceptar el català com a llengua docent. A partir de 1930 és director de l'Escola de Bibliotecàries i l'any següent és nomenat professor de Literatura Catalana i de Bibliologia a la Universitat Autònoma de Barcelona. Des del 1925 fins al 1936 dirigeix la revista Estudis Universitaris Catalans. Durant la Guerra Civil trasllada el fons de la Biblioteca de Catalunya, del Palau de la Generalitat, on era ubicada la biblioteca, a l'antic Hospital de la Santa Creu, i possiblement amb aquesta pensada salva el tresor bibliogràfic. Al mateix temps dirigeix el servei de biblioteques del front, que feia arribar llibres als soldats mitjançant una xarxa de biblioteques ambulants. Després de la guerra, el 1939, és destituït de tots els càrrecs oficials i comença a treballar a l'editorial de Santiago Salvat, on dirigeix l'Enciclopedia Salvat. També escriu els pròlegs d'edicions castellanes de Diego de San Pedro, Garcilaso de la Vega i Cervantes. El 1943 publica Vida española en la época gótica.

Durant la dictadura franquista col·labora en els esforços de redreçament cultural a Barcelona. El 1942 ingressa a l'Institut d'Estudis Catalans, concretament a la Secció Historico-arqueològica, i posteriorment s'encarrega de la càtedra de Literatura Catalana i Història de la Literatura dels Estudis Universitaris Catalans. Les classes que impartia s'organitzaven en la clandestinitat, al voltant de la taula del menjador de casa seva. El 1948 és nomenat cap de la secció catalana del Consell Superior d'Investigacions Científiques, i el 1957 ingressa a l'Acadèmia de Bones Lletres de Barcelona.

Durant tots aquests anys publica diversos manuals de biblioteconomia, com ara Classificació decimal de Brussel·les: adaptació per a les biblioteques populars de la Mancomunitat de Catalunya (1920). També publica nombrosos estudis i monografies sobre temes d'historiografia i literatura catalana, com les grans cròniques catalanes, principalment la de Bernat Desclot, l'obra de Ramon Llull i la seva influència, la prosa de la Cancelleria Reial, l'humanisme a Catalunya, el primer teatre valencià, i d'altres temes més moderns com les causes de la "Decadència" dels segles XVI a XVIII, o els inicis de la Renaixença del XIX. Tots els seus estudis estan basats en una extensa i minuciosa recerca documental dins biblioteques i arxius catalans i europeus. Tal com ell diu, "la bibliografia és la mare de la història literària". Per aquest fet, Lola Badia el considera "un positivista amb totes les de la llei", i per això la seva obra té un especial interès per a l'estudi de la història de la cultura. Entre les obres més importants sota aquest aspecte destaquen De l'Edat mitjana al Renaixement: Figures literàries de Catalunya i València (1948), la part destinada a la literatura catalana dins la Historia de las literaturas hispánicas de Díaz-Plaja (1949-58), Documentos para la Historia de la Imprenta y Librería en Barcelona (1474-1553) (juntament amb Josep M. Madurell) (1955), els estudis que figuren en l'edició de les Obres essencials de Ramon Llull (1957-60), recollits posteriorment a Ramon Llull i el lul·lisme (1985), i La cultura catalana del Renaixement a la Decadència, un recull d'articles publicat el 1964.

Tot i el seu positivisme metodològic, sempre intenta anar més enllà del material aplegat i intenta interpretar-lo segons les circumstàncies ambientals i personals en què el text va ser escrit. En aquest sentit, Jordi Malé diu: "I és que, per a ell, els textos, essencialment els literaris, no eren simples documents de lletra morta dels quals calia fer una dissecció descriptiva, sinó que els contemplava sempre com el resultat –amb paraules seves– de 'la síntesi vital dels impulsos interiors i de les influències de l'ambient elaborada en l'ànima [de qui els havia escrit]' (OC, Vol. 2, p. 305). Els considerava, doncs, la confluència d'un doble joc de forces: les de la interioritat de l'autor i les de l'ambient en què es movia, la seva psicologia i les influències del context cultural i social que la determinaven." (Revista de Catalunya, núm. 148, febrer del 2000).

L'any 1967, amb motiu del seu 75è aniversari, es publiquen dos volums d'homenatge a la revista Estudis Romànics, i el 1978, el Congrés de Cultura Catalana li'n dedica un altre, La recerca als Països Catalans. El 1969 és guardonat amb la primera edició del Premi d'Honor de les Lletres Catalanes, instituït per Òmnium Cultural aquell mateix any. És membre fundador i soci número 1 de l'Associació d'Escriptors en Llengua Catalana. L'any 1980 rep la Medalla d'Or de la Generalitat de Catalunya, en reconeixement de la seva trajectòria.

Jordi Rubió i Balaguer mor a Barcelona el 25 de juliol de 1982, a l'edat de 95 anys. Dos anys més tard, Publicacions de l'Abadia de Montserrat, amb la col·laboració del Departament de Cultura de la Generalitat de Catalunya, inicia la publicació de la seva Obra completa, prop de cinc mil pàgines escrites en català, castellà i alemany, que finalitza el 1999 amb la publicació del tretzè volum. L'any 2004, per celebrar el vintè aniversari de la publicació del primer volum, apareix el catorzè i últim volum, l'Índex de les obres de Jordi Rubió i Balaguer, a cura de Núria Mañé, que conté índex de matèries, toponímic, onomàstic i d'obres anònimes, que permeten consultar millor la seva obra.