In 1883 kochten ze ook de aanpalende voormalige directeurswoning met bijbehorende schuur en terreinen. In 1885 werd de fabriek verbouwd tot een tijdelijk klooster, met de kapel in de machinekamer. Architect A. de Beer ontwierp de plannen voor een nieuw missiehuis, P.J.H. Cuypers corrigeerde ze en vulde ze aan. Op 13 augustus 1890 werd het Missiehuis ingewijd. De kapel was pas in 1897 klaar, ook hierbij was A. de Beer betrokken.

En bijna veertig jaar later was er opnieuw een architect De Beer in het spel, dit keer F.C. , toen er in 1934 een rechtervleugel bijgebouwd moest worden voor het kleinseminarie. In 1956 werd de parallel aan de kapel gebouwde Broedersbouw ingewijd. Na de opheffing van het kleinseminarie in 1967 werd deze vleugel gebruikt door de R.K. Leergangen.

In 1974 trok men Jos Bijnen uit Oss aan voor de verbouwing van het Missiehuis tot kloosterverzorgingshuis. De gebouwen met de voormalige boerderij en het terrein zijn in 2010 verkocht. De nieuwe bestemming combineert wonen en een representatieve functie. In de tuin worden woningen gebouwd.

Het pand vertoont de invloed van P.J.H. Cuypers met elementen van de neogotiek en de chaletstijl. Boven de hoofdingang bevindt zich een natuurstenen reliëf van de hand van L. Petit en T. van Eindhoven, naar een ontwerp van F.C. de Beer uit 1933. Het werd door de bevolking geschonken bij het vijftigjarige bestaan van de Tilburgse vestiging en stelt een missionaris voor die vertrekt naar de missie.

Haaks op het hoofdblok staat de kloosterkapel met een door vijf straalkapellen omsloten koor. Onder de kapel bevinden zich enkele zalen. De spitsboogvensters met glas-in-lood worden op de begane grond afgewisseld met segmentboogvensters in de straalkapellen.

Het interieur van het klooster is deels verbouwd. De lange middengangen en de trappenhuizen zijn nog herkenbaar. Bijzonder gaaf zijn de twee grote zalen met chambrettes op zolder. Ook het interieur van de kapel is gaaf bewaard, met glasramen, polychromie en altaren van H. van der Geld.

In de achtertuin bevindt zich een kerkhof met kerkhofhuisje. Deze tuin wordt omheind door kloostermuren aan de kant van de Bredaseweg en Diepenstraat. Er staan enkele tuinbeelden en 32 beuken, esdoorns en lindebomen die allemaal de status van gemeentelijk monument hebben.