Dans les années 1930 à Shanghai, les étrangers qui habitent la concession internationale mènent grand train. Mais pour Joseph Schoene, cela n'est qu'un à-côté : c'est la ville qu'il aime passionnément. Ses trottoirs grouillants, ses venelles odorantes, le Bund qui s'étire le long du fleuve boueux. Il aime Shanghai, envers et contre tout : les revers de fortune, l'invasion japonaise, les geôles communistes... Il l'aime tant qu'il laisse sa femme retourner seule aux Etats-Unis avec leur fille Anna. Pour celle-ci, la narratrice, Joseph restera à jamais "l'homme de Shanghai".