Es conocido sobre todo por su trabajo de 1951 a 1952 y de 1953 a 1954 con el trío de Red Norvo (reemplazando a Tal Farlow) y más tarde de 1962 a 1963, con Stan Getz en la difusión de la Bossa Nova fuera de Brasil. En 1954 y 1955 gana el premio de Down Beat para guitarra.​ Raney trabajó en diversos estilos de jazz, incluyendo cool jazz, bebop, post bop, hard bop y mainstream jazz.

En 1946 comienza trabajando durante un tiempo como guitarrista con el Cuarteto de Max Miller en el club Elmer en Chicago. Raney también ha trabajado en la Orquesta de Artie Shaw y colaborado con Woody Herman durante nueve meses en 1948. También ha colaborado y grabado con Buddy DeFranco, Al Haig y más tarde con Bob Brookmeyer. En 1967 el alcoholismo y otras dificultades profesionales le impulsaron a dejar Nueva York y regresar a su ciudad natal de Louisville.​ Resurgió en los años 70 y también trabajó con su hijo Doug, quién también es guitarrista.

Raney padeció durante treinta años la enfermedad de Ménière, una dolencia degenerativa que finalmente le llevó a la sordera completa de ambos oídos y a pesar de esto no paró de tocar. Murió de fallo cardíaco en Louisville el 10 de mayo de 1995. Su necrológica en el New York Times le definió como "uno de los más dotados guitarristas de jazz de la posguerra e influyente en todo el mundo".