Aunque nació en Dayton, Ohio, se crio en Wilton, Connecticut, donde se aficionó al blues y al rock and roll. Tocó por primera vez una guitarra con 12 años de edad, pero no empezó a practicar en serio hasta los 15, cuando asistió a clases de jazz con un profesor de la zona. En su adolescencia, Scofield tocaba Rythm & Blues, blues urbano, soul y rock and roll de grupos locales, pero pronto se sintió fascinado por la guitarra de jazz y asimiló muy deprisa los estilos de Wes Montgomery, Tal Farlow, Barney Kessel y Jim Hall, todos ellos destacados jazzistas de los sesenta. Dejó el instituto en 1970 y marchó a Boston para estudiar jazz en la Berklee School of Music con Jim Hall y Mick Goodrick, dos de los guitarristas de jazz más importantes de todos los tiempos.
Su primer trabajo como músico fue en colaboración con el vibrafonista Gary Burton, otro profesor de Berklee. Su segunda y gran oportunidad le llegó cuando, recomendado por Mick Godrick, fue invitado a tocar con una banda liderada por el saxofonista Gerry Mulligan y el trompetista Chet Baker en un concierto en el Carnegie Hall. La forma de tocar de Scofield llamó enseguida la atención de otros músicos y el grupo de jazz rock del batería Billy Cobham lo invitó a unirse a ellos en 1975. También trabajó con el famoso bajista de jazz Charles Mingus y con el teclista George Duke a finales de los setenta.
Poco después de grabar un disco en solitario, Sinola (1982), Scofield se unió a la banda del trompetista Miles Davis. Miles siempre tuvo la habilidad de extraer lo mejor de sus músicos, y Scofield no fue una excepción. En los tres años que trabajó con él, su música se perfeccionó. Desarrolló un estilo único caracterizado por originales licks propios del blues y un inusual fraseo across-the-beat. Scofield comentó más adelante: "Trabajar con Miles me demostró que era posible hacer música funky e improvisada a la vez". Esta polinización cruzada entre el funk y el jazz improvisador era aún más evidente en algunas de las magníficas grabaciones que hizo con su propia banda en los ochenta: Electric Outlet (1984), el funky still Warm (1986), Blue Matter (1987) y Loud Jazz (1988). Todos estos discos exhibían un impulso y un carácter que habían faltado en los de 1982.
A lo largo de los años, la forma de tocar de Scofield maduró todavía más y le llevó a producir una serie de álbumes de jazz originales y aclamados por la crítica como Time on My Hands (1990), Hand Jive (1994), el excepcional Quiet (1996), que acusa la influencia de Gil Evans y A Go Go (1998). También ha tocado y grabado con muchos otros jazzistas del más alto nivel, como los guitarristas Pat Metheny, Bill Frisell y John Abercrombie, los bajistas Steve Swalow y Charlie Haden y los percusionistas Dennis Chambers y Jack DeJohnette.