Hijo de un matrimonio italiano, desde muy temprana edad la familia de Canaro se instaló en Buenos Aires en 1897, donde vivieron en conventillos, sin que el dinero sobre Radicado en el barrio San Cristóbal, antes de cumplir los diez años él trabajaba en las calles. Rafael Canaro se crio en una familia de artistas ligados al género del tango. Entre ellos se encontraban su otro hermano el cantor Juan Canaro y el pianista y compositor Humberto Canaro.

En 1905, mientras Francisco Canaro había adoptado el violín, Rafael se desempeñaba como guitarrista acompañante de payadores.

Se inició como músico en la orquesta de su hermano Francisco en 1925 haciendo giras por París, específicamente como contrabajista y en serrucho. En el grupo también estaban Fioravanti De Cicco (piano), Romualdo Lomoro (batería) y Asprela (canto y guitarra).


En 1926 viaja a Nueva York con la misma compañía y al cabo de esa gira vuelve a Francia donde capitanea orquesta propia hasta 1939 que por causas de la guerra retorna a Buenos Aires, luego de recorrer toda Europa, con elementos criollos y europeos que se convirtieron al tango, y el Medio Oriente.

En Europa tuvo en su orquesta como vocalistas a las figuras del canto español Carmen Sevilla y Luis Mariano, y de los locales famosos de la Villa Lumière en que actuó se cuentan Ambassadeurs, Florida, Ermitage, Claridge y grabó discos en la Odeón de Francia. En el mes de mayo de 1929 debuta en el Teatro Empire de París teniendo como principal estribillista al cantor Carlos Dante. En Niza tiene ocasión de tocar en un programa junto a Carlos Gardel, y luego viaja a Alemania y España. En este país su orquesta efectúa grabaciones para Regal (una subsidiaria de la poderosa Columbia).3​

Compuso junto a su hermano Franscisco y con letra de Juan Andrés Caruso el tango Sentimiento gaucho, tema que se hizo muy popular y se mantuvo vigente por varias décadas. Por ello fue premiado en el primer concurso de tangos de los discos "Nacional" a fines de 1924 con el primer premio.

Estuvo unido a Carlos Gardel por sincera y leal amistad compartida en París, Madrid y en cualquier otra parte que se encontraran.

En 1941, trabajó con el rubro José Tinelli- Chola Bosch, compartieron un exitoso programa en LR6 Radio Mitre, junto a la popular cancionista Adhelma Falcón.

Por su orquesta pasaron figuras como los vocalista Aldo Campoamor, Héctor María Artola, Mario Beltrán, Ricardo Duarte, Raúl Sanders, Luis Scalon, Alberto Tagle, Luis Mariano y Jorge Cardoso. El prestigioso músico Lucio Demare también formó parte de su orquesta típica.

5 TANGOS POR RAFAEL CANARO Y SU ORQUESTA

RIEN QUE NOUS DEUX

EL QUE A HIERRO MATA

OLVIDAME

VIEJO GAUCHO

TIEMPOS VIEJOS