Parti en 1722 sur l'Atalante, avec son ami Joseph François Dupleix, envoyé à Pondichéry comme membre du Conseil supérieur de la Compagnie des Indes orientales, Olivier va connaître durant un peu plus de trente ans la vie intense des concessions européennes : la concurrence avec les autres compagnies, les luttes de pouvoir, la tentation des jolies femmes, la découverte du Bengale et de la côte de Coromandel, et enfin l'amitié avec un grand aventurier, Dupleix.