Né d'un père coiffeur et d'une mère violoniste, Joseph Joffo passe son enfance dans le 18e arrondissement de Paris. Sous l'Occupation allemande, il doit fuir Paris en 1942 avec son frère plus âgé, Maurice, pour se réfugier en zone libre. Il rentre à Paris à la fin de la guerre et retrouve le reste de sa famille, sauf son père qui a été déporté. Il arrête ses études à 14 ans, au certificat d'études et reprend avec ses frères le salon familial. Il publie en 1973 Un sac de billes, succès immédiat. D'autres romans suivent comme Anna et son orchestre (1975) pour lequel il reçoit le Prix RTL grand public.