Empezó a tocar y a estudiar la guitarra clásica siendo un niño muy pequeño en Madrid. La capital española tenía una gran tradición de talleres de guitarra y música folclórica que influyeron en su formación.Vivió en Madrid hasta los 19 años. En 1951, siendo ya un joven con buena técnica musical, dejó España para trasladarse definitivamente a Israel. Creció junto a sus hermanos en los años previos y posteriores a la guerra civil española. El ambiente de la posguerra era muy difícil, lo que motivó a su familia a buscar un nuevo futuro. Al poco tiempo de llegar, empezó a tocar su guitarra en la radio nacional de Israel (llamada Kol Israel). Su música se escuchaba en las casas de todo el país. En 1958, el famoso grupo musical The Dudaim lo buscó para que fuera su guitarrista principal. Juntos grabaron canciones folclóricas que se volvieron grandes éxitos. Además de dar conciertos, Josef dedicó muchos años de su vida a enseñar a tocar la guitarra a los niños y jóvenes israelíes. Josef Pelta murió en febrero de 2020  en la ciudad de Tel Aviv.