Un cop els Caputxins abandonaren les construccions del puig de Sant Martirià, aquestes varen ser aprofitades pels pares Servites, que n’ocuparen l’església, les cases i el monestir. Amb el pas dels anys, però, les edificacions heretades se’ls van anar quedant petites, de manera que l’any 1723 van començar les obres per aixecar un nou edifici. Es consagraria el 24 de gener del 1784 dedicant-lo a Déu Nostre Senyor i en honor de Maria S. S. dels Dolors y de Sant Martirià.

Actualment, encara es pot resseguir la seva planta rectangular, on perduren les restes d’alguna dependència, amb l’arrencament de la volta. La tècnica constructiva dels murs és a base de pedra irregular i ceràmica lligada amb morter de calç. La base de l’església, en la que encara s’observen parts del paviment original, és l’element més ben conservat del convent, que té planta rectangular, amb un absis pentagonal. Els murs laterals compten amb potents contraforts interiors, de manera que forma un seguit de petites capelles laterals.

Malauradament, la vida d’aquest nou edifici fou força curta, ja que en el decurs de la Guerra del Francès fou ocupat per les tropes napoleòniques. Tanmateix, tampoc no van romandre-hi massa, ja que el dia 7 d’abril de 1810 uns dos-cents Miquelets, ajudats en bona part pels ciutadans banyolins, van ocupar la fortalesa i van capturar la petita guarnició francesa que la defensava. L’agost d’aquell mateix any, el coronel Luís de Greff va ordenar l’enderrocament dels edificis per evitar un nou atrinxerament per part de les tropes enemigues.

Foragitats del seu primitiu emplaçament, els frares es dispersaren per la vila, instal·lant-se en diversos edificis que tenien a Banyoles. Acabada la conflagració, l’any 1814 començaren les obres de reconstrucció d’alguns d’ells, concretament dels que tenien a l’actual Placeta dels Estudis (actual Museu Darder) per tal de convertir-los en un nou convent de l’orde. Les mancances en el tema educatiu van fer que l’Ajuntament de la Vila demanés al Servites si se’n volien fer càrrec, motiu que els va dur a adaptar una de les sales del nou edifici per tal d’ubicar-hi un Estudi. Poc després, però, el conjunt se’ls va quedar petit i el 10 d’octubre de 1817 rebien “...el correspondiente permiso para ensanche de la Iglesia y el Convento...”. Aquesta nova església estava projectada en estil grecoromà, amb una nau central amb volta de mig punt i capelles laterals. Sembla ser que només se’n va arribar a edificar la part dels peus, és a dir, la propera al carrer, ja que pocs anys després, el 1820, s’iniciava un període revolucionari conegut com el Trienni Liberal que, entre altres moltes conseqüències, portararia l’exclaustració dels religiosos en general. En concret, el 18 d’octubre de 1822 els Pares Servites van ser exclaustrats i no van retornar a Banyoles fins el primer d’agost de l’any 1823, quan van tornar a fer-se càrrec de l’escola.

Poc a poc, però, la relació entre el poble i els Servites es va anar deteriorant. Una mostra la trobem en un informe de l’Ajuntament del 17 de novembre de 1834, on es fan evidents moltes queixes dels veïns sobre l’estat de decadència en què es troba l’escola de llatinitat, a càrrec dels Servites. Finalment, després d’un llarg període de protestes i de queixes, el 27 de novembre l’Ajuntament ordena als Pares Servites que deixin l’escola i que en tornin les claus.

Tot i haver abandonat l’ensenyament, els servites van romandre al seu convent fins al mes d’agost del 1835, quan el van haver d’abandonar definitivament degut a la llei de desamortització de Mendizábal; l’edifici va passar a mans de l’Estat per ser venut en pública subhasta.

El 25 d’agost de 1842, el Intendente de la Provincia comunicava a l’Ajuntament de Banyoles la cessió gratuïta de l’edifici per a destinar-lo a escoles, hospital o parròquia. L’any 1843, el Consistori es va decidir per la primera opció i el va convertir en escoles públiques i habitatge per als mestres fins l’any 1873, any en què, després d’haver servit de caserna de la guarnició de la vila (1848) i de «casa cuartel de los voluntarios de la libertad» (1854, 1869 i 1872), va ser enderrocat per ordre del comandant en cap de les tropes carlines, Francesc Savalls.

Una part de l’antic convent dels Servites, actualment, és la plaça dels Estudis.