Le roman se découpe en quatre parties et se déroule sur une île des Caraïbes, bien que les personnages se remémorent parfois des événements survenus à Paris. Il possède comme narrateur Léon, qui a repris dernièrement une correspondance épistolaire avec Joseph Rivière, un auteur talentueux mais mal aimé, qui a quitté la capitale française pour Odessa, un rocher isolé au milieu de l’océan, où il vit avec sa compagne, Mathilda. Dès le début du récit, Léon révèle ses sentiments vis-à-vis de l'écrivain, c’est-à-dire une admiration toute relative, car matinée par une certaine aversion. Il espère, en rendant visite à son « ami », réaliser un documentaire sur cet homme de lettres intrigant.
Dans la première partie du livre, Léon raconte son arrivée sur l’île, et l’accueil plutôt froid que lui réserve Rivière. Tandis qu’il se demande s’il était judicieux de venir à Odessa, Rivière se livre enfin et explique que sa compagne est la victime d’une maladie qui la rend difficile à vivre.
Le deuxième quart de Vivarium laisse majoritairement la parole à Joseph Rivière. Il y narre comment il a rencontré celle qui partage aujourd’hui sa vie, et comment leur relation a évolué, avec l’apparition de l'affection, et jusqu’à ce qu’ils décident de s’installer sur Odessa.
Dans la suite du roman, Léon découvre que Mathilda, décrite par son conjoint comme extrêmement malade et d’un comportement incohérent, s’avère en réalité une femme tout à fait normale. La vérité se fait jour. En tout cas une vérité différente que celle livrée par Joseph, tant vis-à-vis de la maladie de Mathilda, que des raisons de leur installation sur l’île, que concernant le quotidien du couple.
Vivarium débute par les deux phrases suivantes, particulièrement alléchantes : « J'ai rencontré Mathilda au milieu d'un cauchemar. Je n'aurais pas pu la rencontrer ailleurs ». Cette introduction en dit long sur ce que va vivre, et nous raconter Léon de son séjour à Odessa. Le roman se présente en effet comme le portrait d’un couple atypique. Le narrateur décrit Joseph ainsi : « un homme cynique, mégalomane, voire tout simplement haïssable ». De Mathilda, il indique qu’elle « était jolie, courtoise, de compagnie agréable, et plutôt vive d'esprit. Elle avait des sautes d'humeur, des jugements fantaisistes et tranchés qui lui donnaient un air de peste plutôt ravissant, mais il se dégageait également de sa personne un calme, une résignation qu'on ne voit d'habitude que chez des personnes beaucoup plus âgées, des vieillards qui n'attendent plus rien de la vie, et qui ne gardent de leurs expériences passées que des souvenirs en demi-teinte. Quelque chose en elle suggérait la fatalité, le refus de l'aventure ». Ces deux personnes sont en proie à des troubles, psychologiques, physiques, qui provoquent chez eux des comportements qu’on pourrait qualifier d’anormaux. Mais il se cache peut-être derrière ces attitudes la pression exercée par une « présence hostile », comme l’annonce la quatrième de couverture. Tu laisseras le lecteur découvrir le fin mot de l’histoire par lui-même. Léon se retrouve donc, dès son arrivée, englué dans des situations inconfortables, qui lui font d’abord se demander s’il est le bienvenu, puis, plus tard, s’il doit rester plus longtemps, s’échapper.
Le narrateur se place ainsi, dans la maison de Rivière et de Mathilda, comme dans un vivarium. La configuration de la demeure, construction criblée de grandes baies vitrées donnant sur la jungle, s'avère suggestive. Mais surtout, dans cet « enclos », Léon peut à loisir étudier les deux spécimens qui ont élu domicile. Toutefois, lui aussi y est enfermé, sous la menace de ces individus ou de ce qui les rend menaçants.
Difficile d’en dire plus sur ce livre qui, même une fois refermé, ne semble pas avoir révélé tous ses secrets. Un passage, une citation de Mathilda, bien qu’évoquant en réalité un roman fictif, imaginé comme une mise en abîme de Vivarium, résume cette impression d’insaisissabilité que lui et ses personnages peuvent donner : « L'Orthocentre, un roman de Joseph. Tu ne l'as pas lu ? C'est son meilleur livre. Il obtiendra un prix, le jour où il sera achevé. C'est l'histoire d'un narrateur diminué mentalement qui rend visite à un couple de vieillards. Il s'incruste dans leur quotidien, comme un ami, ou un parasite. Une relation étrange prend forme ; ils ne sont que trois, mais leur combinaison donne naissance à une force étrangère – comme un triangle avec un quatrième côté. Les héros sont liquides, instables ; ils s'écoulent entre mort et renaissance, amour et trahison. On les voit changer de forme, de nom, de physique ; le caractère seul est constant. Il y a un point de gravité qui se déplace entre eux, à chaque phrase, chaque chapitre. Les trois personnages occupent un point dans l'espace, mais ces points fluctuent, et il faut après chaque dialogue recalculer leur position sur une carte, au gré de leurs métamorphoses. Un narrateur externe – Saint Augustin ? Un syphilitique ? – calcule la position d'un orthocentre après chaque déplacement. Cet orthocentre représente le vide au milieu de la matière, ou un point d'équilibre, ou Dieu sait quoi ».