Von Anfang Mai bis Ende Oktober 1881 hielt sich Paul Cézanne (1839-1906) zusammen mit Camille Pissarro in Pontoise auf, einer kleinen Ortschaft an der Straße von Paris nach Rouen. Die gemeinsame Arbeit mit dem 10 Jahre älteren Mentor und dessen dezente Unterweisungen hatten schon zuvor zu einer Aufhellung von Cézannes Palette und einer regelmäßigeren Pinselschrift beigetragen. Auch im Sommer 1881 war die Zusammenarbeit der beiden Maler äußerst fruchtbar, fanden sie doch beide dort zu einer gereiften Landschaftsschilderung.
„Die Eremitage in Pontoise“ gehört zu Cézannes ersten Werken, bei denen er die Felder und die dahinter liegenden Häuser konsequent auf die Grundformen von Rechteck, Zylinder und Kegel zurückführte und aus der Ansicht des Dorfes eine fest gefügte, architektonische Ordnung entwickelte. Alles Zufällige und Augenblickliche hat hier keinen Platz mehr. Dem Streben nach einer festen Bildordnung entspricht auch die Farbgebung, die auf wenige beherrschende Braun-, Ocker- und Grüntöne beschränkt ist. Licht und Schatten sind ebenso in Farbe umgesetzt. An die Stelle von Körpermodellierung setzte Cézanne die Farbmodulation, die die einzelnen Motive durch Abstufungen fein strukturiert. Mit seiner eigenen Bildrhythmik überwand er so die Bestrebungen der Impressionisten. Durch die Reduzierung der Gegenstände auf stereometrische Formen und die neue Art der Farbmodulation wurde er zum wichtigsten Vorbild Picassos und der Kubisten, die seine Errungenschaften beharrlich weiterentwickelten.
Das Gemälde verblieb lange im Besitz von Camille Pissarro, der im Sommer 1881 zu einer ähnlichen Landschaftsauffassung gelangte. Aus dessen Besitz erwarb es der Elberfelder Industrielle Julius Schmits, der es 1912 dem Von der Heydt-Museum schenkte.