Comenzó a estudiar violín en la Escuela de Música (actualmente Escuela de Música de Igumnov), pero después de haber escuchado tocar a Andrés Segovia en el Conservatorio Estatal de Moscú en 1926, pasó a la guitarra de seis cuerdas.
En 1930, ingresó en la Escuela de Música de la Revolución de Octubre para estudiar con Peter Agafoshin (quien era parte de la Unión Internacional de Guitarristas). También estudió composición con Nikolai Rechmensky y dirección con Konstantin Saradzhev. Posteriormente, continuó sus estudios con Agafoshin en el Conservatorio de Moscú.
Apareció por primera vez en la radio soviética en 1932. Más tarde, trabajó en Maly Theatre. En 1939-1945 dirigió el coro soviético NKVD, y en 1946-1952 dirigió la orquesta de instrumentos folclóricos del estudio Gosteleradio.
En 1939, obtuvo el segundo premio en el concurso de instrumentistas populares soviéticos. Grabó 40 LP como guitarrista y director.
Ivanov-Kramskoy acompañó a cantantes, incluidos Nadezhda Obukhova, Ivan Kozlovsky, Alexandra Yablochkina, y también tocó con los cuartetos de cuerda de Beethoven y Komitas, con Leonid Kogan, Alexandre Korneyev y otros músicos famosos.
En 1936, Ivanov-Kramskoy escribió su primera pieza "Vals lírico para guitarra solista". Este vals se hizo extremadamente popular entre los guitarristas rusos. Ivanov-Kramskoy compuso más de quinientas obras para guitarra: dos conciertos, sonatas, arreglos de canciones populares y muchas piezas originales. Su música se utilizó en la película «Несрочная весна».
Cuando terminó la guerra, Ivanov-Kramskoy, siendo el primer guitarrista de concierto ruso, tuvo que luchar por el futuro de la guitarra clásica, tratando de restaurar la clase de guitarra clásica que fue cancelada a mediados de los años 30.