Le narrateur est un avocat allemand d'une soixantaine d'années. Il a brillamment réussi et se considère plutôt heureux. Mais lors d'une mission en Australie, son équilibre s'effondre quand il voit par hasard un tableau intitulé Femme sur l'escalier dans une galerie à Sydney. Car il a déjà vu ce portrait en pied... Retour en arrière : au début de sa carrière, il est contacté par le peintre Schwind qui veut trouver un règlement à l'amiable avec l'industriel Gudlach à qui il a vendu le portrait en question.
Irène, la femme de Gudlach et modèle du tableau, a quitté son mari pour le peintre. Depuis, Gudlach procède régulièrement à de petits actes de vandalisme sur le tableau. Surgit alors l'idée folle d'un troc : Gudlach propose à Schwind de lui rendre son tableau si Irène revient vivre avec lui. Le narrateur se prête à la rédaction du contrat qui doit préciser les modalités de cet échange, mais au cours des négociations, il tombe amoureux d'Irène.
Tous deux décident de duper Gudlach et Schwind, de récupérer le tableau et de s'enfuir ensemble. Quand Irène disparaît avec le tableau, le narrateur comprend qu'il a été trahi. Trente-cinq ans plus tard, il décide de mener l'enquête : Irène vit retirée du monde sur une île. Les retrouvailles avec la femme qu'il a passionnément aimée sont étranges : quand il apprend qu'elle est en phase terminale d'un cancer, il décide de rester.
