Conoció la guitarra desde niño, probablemente en la localidad de Villacarrillo, próxima a la ciudad de Linares, donde nació pero que abandonó muy pronto y a la que no regresó hasta la década de 1950. Fue bautizado en Jaén, y a una edad indeterminada se trasladó a Villacarrillo. Posteriormente marchó a estudiar guitarra a Granada. Es posible, si bien esto no puede afirmarse con seguridad a falta de más datos, que su primera incursión en el mundo de la guitarra viniera de la mano del flamenco. Sin embargo, muy pronto, desde su temprana adolescencia, optó por explorar otras posibilidades por formarse como autodidacta en la tradición de la guitarra española clásica.
Realizó su primera aparición pública en Granada a los catorce años y, con pocos más, ofreció en Madrid su primer concierto, en el que interpretó, entre otras piezas, transcripciones para guitarra de Francisco Tárrega.
Sabiendo que los concertistas de piano en ocasiones alquilan el instrumento, y deseoso de encontrar un instrumento que se ajustara a sus propósitos, acudió en Madrid para dar ese concierto al establecimiento del constructor de guitarras Manuel Ramírez, con intención de proponerle al dueño que le alquilara un instrumento. Después de probarlo y de ensayar durante un tiempo la música que había preparado para el recital, el asombrado Ramírez le rogó que aceptara la guitarra elegida a modo de obsequio.
A la vez que progresaba en su carrera y ofrecía recitales para audiencias cada vez mayores, descubrió que las guitarras existentes no producían el volumen suficiente como para llegar al público en grandes salas de conciertos. Esto le animó a buscar entre los avances tecnológicos para intentar mejorar la amplificación natural de la guitarra.
Trabajando conjuntamente con los fabricantes, ayudó a diseñar lo que conocemos hoy en día como guitarra clásica, realizada con una madera de más calidad y con cuerda de nailon. La forma de la guitarra se modificó también para mejorar la acústica.
Realizó aportes a la técnica del instrumento, como tañer las cuerdas, a la vez, con la uña y la yema de los dedos de la mano derecha y colocar ésta en posición vertical con respecto a las cuerdas, con lo que se incrementa la fuerza al tocarlas y como resultado se incrementa el volumen de la guitarra que es un instrumento un poco limitado en este aspecto.
Tras realizar sus primeras giras mundiales en Europa y América en la década de 1920, autores como el británico Cyril Scott, el italiano Mario Castelnuovo-Tedesco, el brasileño Heitor Villa-Lobos y el español Federico Moreno Torroba empezaron a componer piezas especialmente para él; asimismo, el compositor mexicano Manuel M. Ponce realizó una copiosa producción de obras para la guitarra sola y orquesta dedicadas a este insigne guitarrista. Segovia transcribió también muchas piezas clásicas, incluido el repertorio vihuelístico del Renacimiento y el repertorio laudístico del Barroco.
Desatada la cruenta Guerra Civil Española, Segovia decide abandonar España y fijar su residencia en Montevideo (República Oriental del Uruguay), entre 1937 y 1946. Posteriormente residió en Nueva York y, a comienzos de la década de 1950, regresó a España estableciéndose en Madrid, ciudad en la que residió hasta su fallecimiento en 1987.
Durante la década de 1950 Segovia impartió regularmente clases en la Academia Chigiana de Siena, y luego, durante la década de 1960, en Santiago de Compostela. Posteriormente lo haría en prestigiosas universidades de todo el mundo, como la Universidad de California. Entre los discípulos de Segovia se encuentra guitarristas como Abel Carlevaro, John Williams, Oscar Ghiglia, Alirio Díaz o Christopher Parkening.
En 1970, fue nombrado, en presencia de SS MM los Reyes de España, académico de la Real Academia de Bellas Artes de Nuestra Señora de las Angustias de Granada. En reconocimiento a su contribución a la música y las artes, Segovia fue ennoblecido el 24 de junio de 1981 por el rey Juan Carlos I, quien le nombró como primer Marqués de Salobreña.
Andrés Segovia murió en Madrid a causa de una insuficiencia respiratoria a la edad de 94 años. Contrajo matrimonio tres veces: con Adelaida Portillo, Paquita Madriguera (una discípula de Granados) y Emilia Corral Sancho. Y tuvo cuatro hijos: el pintor Andrés Segovia Portillo, Leonardo Segovia Portillo (que murió siendo aún niño), Beatriz Segovia Madriguera y el filósofo e historiador Carlos A. Segovia.
Entre sus discípulos pueden citarse a Abel Carlevaro, John Williams, Julian Bream, Oscar Ghiglia, Christopher Parkening, Alirio Díaz, José Luis González Juliá, Stefano Grondona o Antonio Membrado