Burrell nació en Detroit. Sus padres tocaban instrumentos y él comenzó a tocar la guitarra a la edad de 12 años después de escuchar las grabaciones de Charlie Christian. Durante la Segunda Guerra Mundial, debido a la escasez de metal, abandonó la idea de convertirse en saxofonista y compró una guitarra acústica por $ 10. Se inspiró para tocar jazz después de escuchar a Oscar Moore, pero fue Django Reinhardt quien le mostró "que puedes obtener tu propia individualidad en un instrumento". Luego pasó a estudiar composición y teoría con Louis Cabara y guitarra clásica. con joe fava Mientras estudiaba en la Universidad Estatal de Wayne, hizo su debut discográfico como miembro del sexteto de Dizzy Gillespie en 1951,[8] seguido del sencillo "Rose of Tangier"/"Ground Round" grabado con su propio nombre en Fortune Records en Detroit. . Mientras estaba en la universidad, Burrell fundó el colectivo New World Music Society con sus compañeros músicos de Detroit Pepper Adams, Donald Byrd, Elvin Jones y Yusef Lateef.

Burrell realizó una gira con Oscar Peterson después de graduarse en 1955[6] y luego se mudó a la ciudad de Nueva York en 1956 con el pianista Tommy Flanagan. En cuestión de meses, Burrell había grabado su primer álbum como líder de Blue Note y tanto él como Flanagan eran buscados como acompañantes y músicos de estudio, actuando con los cantantes Tony Bennett y Lena Horne y grabando con Billie Holiday, Jimmy Smith, Gene Ammons y Kenny Dorham, entre otros. De 1957 a 1959, Burrell ocupó la antigua silla de Charlie Christian en la banda de Benny Goodman. Desde su debut en Nueva York, Burrell ha tenido una carrera discográfica prolífica, y los críticos han citado The Cats con John Coltrane en 1957, Midnight Blue con Stanley Turrentine en 1963 y Guitar Forms con el arreglista Gil Evans en 1965 como puntos destacados.

En 1978, comenzó a impartir un curso en la UCLA llamado "Ellingtonia", en el que examinaba la vida y los logros de Duke Ellington. Aunque los dos nunca colaboraron directamente, Ellington llamó a Burrell su "guitarrista favorito",  y Burrell ha grabado una serie de tributos e interpretaciones de las obras de Ellington. Desde 1996, Burrell se ha desempeñado como Director de Estudios de Jazz en UCLA, asesorando a ex alumnos tan notables como Gretchen Parlato y Kamasi Washington.