Su abuelo, José María, abogado de prestigio, fue Ministro de Hacienda de la administración de Julio Roca y de Roque Sáenz Peña.
Se recibió a la temprana edad de 20 años y luego de un breve paso de ejercicio de la profesión y ejerció la función de juez de instrucción en Santa Fe. De de esa experiencia como juez compuso su primer libro "Más allá del código".
Posteriormente se dedicó a la enseñanza, tanto en cátedras universitarias como secundarias; en la Facultad de Derecho dictó “Historia de las Instituciones”.
En esa ciudad, junto con otros estudiosos de la historia fundó en 1938 el "Instituto de Estudios Federalistas", desde donde se dictaron conferencias, se establecieron lazos con entidades similares en el país y en el exterior y a través de ellas se perfiló una vigorosa corriente de los que buscaban "revisar" la historia y sobre todo mirándola desde un ángulo social.
Su militancia política comenzó en las filas de la Democracia Progresista pero su interés por la historia lo llevó al encuentro con una línea de mayor contacto empírico con los sectores pobres.
En 1942 sale su primer libro de historia Argentina, "Defensa y pérdida de nuestra independencia económica" principio de una larga serie de publicaciones, algunas de las cuales se cuentan en estas páginas.
El peronismo llegó al poder exhibiendo un pensamiento político debido casi exclusivamente a su líder. Perón venía exponiendo sus ideas desde 1942. El nuevo presidente contaba con la incondicional adhesión de grandes sectores populares, sustentada a través por su especial aptitud para manejar un lenguaje directo con los trabajadores.
José María Rosa sumado a la naciente corriente nacionalista de pensamiento y acción y aparte por desinteligencias con el rectorado y algunos centros de estudiantes, fruto de su militancia política e histórica, se trasladó a La Plata, centrando su actividad en la universidad y ejerciendo también cátedra en colegios secundarios.
Por entonces publicó "Nos Los Representantes del Pueblo", "La Misión García ante Lord Strangford" y "El Cóndor Ciego".
La "Revolución Libertadora" lo dejó cesante y lo encarceló en ocasión de la detención de su amigo John W. Cooke, a quién había dado refugio en su casa.
Aunque parezca demencial, la acusación que le imputaron era corromper a la juventud con su "rosismo".
Luego de varios meses de prisión salió para militar en forma más activa y decididamente, enrolándose en el fallido y trágico intento del General Valle el 9 de junio de 1956.
La asustada reacción del gobierno de entonces lo buscó para fusilarlo pero consiguió pasar a Montevideo y de allí, aceptando una invitación del Instituto de Cultura Hispánica, que le promete la edición de su libro "La Caída de Rosas" viajó a España donde permaneció hasta 1958, ejerciendo el periodismo y dando conferencias en distintos ámbitos.
Regresó para sobrevivir de lo poco que le producían sus publicaciones y artículos y eventuales cursos de historia, que daba permanentemente en sindicatos de todo el país.
Entre 1955 y 1970 realizó publicaciones en los semanarios nacionalistas "Azul y Blanco" y "Segunda República" que dirigían Marcelo Sanchez Sorondo, Ricardo Curutchet y Luis Rivet , y cuya redacción funcionaba en el estudio del Dr Jorge Ramos Mejia en la calle Charcas 684 de la Ciudad de Bs As.
Su actividad tenía como marco el Instituto de Investigaciones Históricas Juan Manuel de Rosas, entidad de la que fue presidente en varias oportunidades.
De esa época son sus libros "Rivadavia y el Imperialismo Financiero" y "La Guerra del Paraguay y las Montoneras Argentinas".
A raíz de esta última publicación su nombre pasó a ser muy conocido en el Paraguay, a donde fue invitado permanentemente a dar conferencias o asistir a eventos relacionados con el prócer máximo paraguayo.
Mientras tanto participó activamente en lo que se llamó la Resistencia Peronista convirtiéndose en uno de sus referentes más respetados y queridos. Es en ese período que el movimiento Peronista, antes indiferente tomaba con entusiasmo las banderas revisionistas y las hace suyas.
Rosa integraría la comitiva de notables que van a buscar a Perón en el famoso vuelo chárter del 17-11-72.
Para entonces ya se había publicado su Historia argentina, obra en 13 tomos a los que luego de su muerte se le agregaron cuatro más.
El General Perón, dispuso que se hiciera cargo de la embajada en Asunción, considerando que su prestigio en Paraguay pudiese ser positivo para los intereses nacionales dado que en ese tiempo se jugaban en las cotas de altura de la represa de Corpus, la factibilidad de construir Yaciretá.
Muerto Perón, tuvo desinteligencias con el canciller Vignes y optó por aceptar la embajada en Atenas, donde permaneció hasta el golpe militar de 1976.
Regresó a Buenos Aires, donde sus libros eran retirados de las bibliotecas y su nombre puesto en un "cono de silencio". Entonces fundó la revista "Línea" (por pretender abarcar a todo el pensamiento de la línea nacional), "la voz de los que no tienen voz".
No pudieron los militares acusar a Pepe Rosa de ser guerrillero solo porque su figura era demasiado visible y conocida. Pero buscaron todos los medios para acallarlo, desde el secuestro de la revista hasta los innumerables juicios entablados en su contra.
Pero "Línea", cada vez con más coraje, salió adelante y fue la única voz distinta que se escuchó durante esos años de plomo.
Mientras tanto continuó con la publicación de libros y artículos en algunos medios que poco a poco se animaban a expresarse.
Falleció el 2 de julio de 1991.
En el sepelio de Rosa dijo José María Castiñeira de Dios, por ese entonces subsecretario de Cultura de la Nación: “Pudo decir que él no defendía a Rosas. Porque Rosas se defiende solo…Vivió el reconocimiento en vida. No importa si los grupúsculos académicos desoyeron la seriedad profunda de sus papeles. Lo escuchó el pueblo, y el pueblo lo supo y lo sabe intérprete real de la realidad histórica de nuestra tierra”.