Viola creció en una familia italiana en Brooklyn y aprendió a tocar la guitarra y la mandolina cuando era adolescente. Se alistó en el Ejército durante la Segunda Guerra Mundial de 1942 a 1945 y tocó en una banda de jazz del Ejército. Después de ser dado de baja en 1946, él y Page Cavanaugh, a quien había conocido mientras servía en el ejército, formaron un trío con el bajista Lloyd Pratt. La banda apareció en varias películas, incluyendo Romance on the High Seas con Doris Day, y tocó en algunas fechas en 1946 y 1947 con Frank Sinatra. Viola continuó trabajando con Sinatra regularmente, acompañándolo en varios cientos de grabaciones de estudio y fechas de conciertos entre 1956 y 1980.

Viola fue músico de sesión en Los Ángeles y actuó en películas, televisión y comerciales. Su mandolina se puede escuchar en la banda sonora de El padrino. Otros créditos incluyen West Side Story y ¿Quién teme a Virginia Woolf?. Continuó tocando jazz también, con Bobby Troup, Ray Anthony, Harry James, Buddy Collette, Stan Kenton, Gerald Wilson y Terry Gibbs. También trabajó como músico de sesión en más de 500 álbumes, incluidos lanzamientos de Jimmy Witherspoon, Helen Humes, June Christy, Natalie Cole, Neil Diamond, Ella Fitzgerald, Marvin Gaye, Steve Lawrence, Julie London, Anita O'Day, Nelson Riddle, Linda Ronstadt y Joe Williams. Viola y Cavanaugh se reunieron en la década de 1980 con Phil Mallory y continuaron tocando regularmente en Los Ángeles hasta finales de la década de 1990.