Serra nace en La Habana, en una familia de clase trabajadora, y solo recibe educación primaria básica. Sin embargo, como obrero tabacalero, tiene la oportunidad de ampliar sus conocimientos a través del lector de tabaquería, una práctica establecida ya en ese momento en las fábricas de tabaco en Cuba, que permitía amenizar las horas de trabajo mediante lecturas destinadas a mejorar la cultura general de los obreros, práctica que también contribuiría a politizarlos.

Desde muy joven, se inicia en la lucha independentista y abolicionista, en particular fundando escuelas para hijos de obreros. Primero en 1879, en Matanzas, donde crea, junto a Martín Morúa Delgado, la Sociedad de Instrucción y Entretenimiento La Armonía y el periódico del mismo nombre. Luego se exilia en Cayo Hueso (1884), donde se une como lugarteniente a un intento de insurrección (el Plan Gómez-Maceo), que no tuvo éxito. Entre 1884 y 1885, de nuevo con Morúa Delgado, viaja a Panamá y después a Jamaica, para tratar de reunir apoyo para la lucha armada. Es durante ese último viaje que publica su primer libro, Ecos del alma. Ensayo literario (1885), dedicado a María Cabrales, la esposa de Antonio Maceo. A su regreso a los Estados Unidos, publica otra compilación, Ideas y pensamientos. Álbum poético, político y literario (1886), en el que expone sus reflexiones (e impresiones) en relación con su situación de exilio.

En Nueva York, alrededor de 1888, entabla una profunda amistad con José Martí. Juntos, y con otros compatriotas de color como Juan Bonilla y Manuel de Jesús González, fundan la Sociedad de Instrucción La Liga, para los obreros cubanos y puertorriqueños. José Martí da allí clases nocturnas gratuitas y se gana el apodo de «Maestro». En 1892, cuando este crea el Partido Revolucionario Cubano, Rafael Serra se adhiere a él y recauda fondos para la causa. Cuando estalla la última guerra de independencia en 1895, José Martí le pide a Serra que permanezca en los Estados Unidos para continuar su labor fundacional y preparar los elementos de una sociedad restauradora. Después de la muerte de Martí en mayo del mismo año, Serra crea los periódicos El Nuevo Criollo y La Doctrina de Martí. Durante toda su vida se opone a la discriminación racial de manera pacífica y legal, permaneciendo fiel a los ideales de aquel a quien contribuye a consagrar como el «Apóstol», y del que es uno de los primeros exégetas. Para ello, en 1896 compila una primera serie de artículos de su puño y letra, Ensayos políticos, que completa y reedita en 1899 bajo el título de Ensayos políticos, sociales y económicos.

Entre 1899 y 1904, desde Nueva York, y luego, a su regreso a Cuba en 1904 para asumir sus funciones como diputado del Partido Moderado (será reelegido en 1908), durante el gobierno de Tomás Estrada Palma, Rafael Serra comienza a denunciar la marginación de la población de color, a través de panfletos publicados en El Nuevo Criollo, que serán reunidos y publicados en 1907 en Para blancos y negros. Ensayos políticos, sociales y económicos.

En 1905, hace un breve viaje a los Estados Unidos con Evaristo Estenoz, el futuro líder del Partido Independiente de Color. Serra, cercano a ese partido cuando es creado en 1908, muere en octubre de 1909. Su último ensayo, titulado La república posible, se publica unos días después.