Cuando Aviñón era sede papal (entre 1309 y 1377), el lugar donde ahora se encuentra la ciudad de Villeneuve quedó ocupada por los palacios y residencias de los grandes dignatarios de la corte, estas grandes edificaciones se extendían bajo los muros del castillo conocido como fuerte de Saint-André que a su vez se había levantado en el lugar de una abadía benedictina (la abadía de Saint-André) existente desde el año 999.  

El cardenal Aubert (1295? -1362), personaje influyente de la corte de Felipe VI de Francia, era propietario de uno de esos palacios, fue elegido papa en 1352, con el nombre de Inocencio VI. Fue entonces cuando adquirió varias propiedades cercanas a su antiguo palacio y se edificó una iglesia.  

El 2 de junio de 1356 fundó en este lugar una cartuja que puso bajo la advocación de san Juan Bautista, y que fue cambiada en 1362, pasando a conocerse como Cartuja de Notre-Dame de Val-de-Bénédiction. Las primeras construcciones se hicieron alrededor de los jardines del palacio de Inocencio VI (el actual claustro de San Juan), con la capilla de San Juan Bautista a levante.  

Desde aquí se fueron añadiendo otros claustros y construcciones hasta que la comunidad desapareció en 1790, como consecuencia de la Revolución.