Il romitorio funge da elemento di cerniera con il palazzo già sede del seminario arcivescovile. Fu l’arcivescovo Giovanni Falces (1605-36) a disporre nel 1608, giuste le disposizioni tridentine, l’erezione e fondazione in Brindisi del seminario ” de’ chierici” col fine esplicito di sottoporre “all’educazione dell’ecclesiastica disciplina la deviata gioventù della diocesi tutta”. L’istituzione ebbe sede in locali adiacenti l’episcopio, acquistati dal Falces ma ritenuti inadatti dall’arcivescovo Francesco de Estrada (1659-71) che preferì affidare 1’educazione dei futuri sacerdoti al collegio delle Scuole Pie, dal presule voluto in Brindisi. L’arcivescovo Francesco Ramirez (1689-97), rilevato “il trapazzo e divagamento de’ chierici convittori che giornalmente dovean portarsi alle scuole in quel collegio”, dispose il 7 marzo 1690 il ritorno alla diretta gestione dell’istituzione. Il successore Barnaba de Castro (1700-7) nel 1703 sospese l’esperienza non potendosi “nell’angusta casa avere la dovuta necessaria cura per l’educazione de’ chierici”. Sarà Paolo de Vilana Perlas (1715-23) a risolvere il problema; acquistati, ai primi del 1720, vari immobili adiacenti l’episcopio e demolitili, il 26 maggio dello stesso anno benedisse “tutto il luoco del seminario avendo primariamente cavate le fondamenta”; il mattino seguente pose la prima pietra della nuova costruzione il cui progetto era stato commesso all’architetto salentino Mauro Manieri (1678-1744). Il Seminario brindisino richiama le fabbriche romane dell’Oratorio dei Filippini e del Collegio de Propaganda Fide; fra le lesene, innalzantesi dallo zoccolo, si aprono due ordini di finestre incorniciate, come l’ingresso sormontato dal balcone ora con ringhiera in ferro a petto d’oca, di marmo bianco ricavato dalla basilica di San Leucio. Oltre la possente trabeazione che funge da cornice partipiano è, scandito da semplici fasce, il piano attico su cui sono le statue, in pietra di Carovigno, rappresentanti la Matematica, l’Eloquenza, l’Etica, la Teologia, la Filosofia, la Giurisprudenza, la Poetica e l’Armonia. Lo stemma di Paolo de Vilana Perlas, cui l’intrapresa costò 25.000 ducati, è ammurato al di sopra del balcone del primo piano e sullo spigolo di sud-ovest.
Il successore Andrea Maddalena (1724-43) non rese operativa la struttura ed anzi annesse alcuni locali ai propri appartamenti; conseguentemente, si vide “tal magnifico luoco all’intutto derelitto e reso soltanto un quieto abitacolo de’ topi e de’ ragni”
Il primo febbraio del 1728 vi venne rappresentata “un’opera in musica nominata la Lucinda“. Il sisma del 20 febbraio 1743 “tracollando l’intiero cornicione, atterrò tre delle statue ed altre ne deturpò, come tutto infranto e deturpato ne rimase lo sporto tutto delle balconate e schiacciate benanche le balaustrate di ferro”. Il Manieri, cui si commissionò anche il rifacimento della cattedrale, rese agibile il complesso; già il 21 novembre 1744 l’arcivescovo Antonino Sersale (1743-50) lo aprì “colla pubblica vestizione de’ convittori”, riprendendo l’attività didattica sospesa dal 1703. Lo ricorda l’epigrafe nel chiostro che precisa come il prelato volle il palazzo “elegantius ac magnificentius“; in realtà la deformata prospettiva del Seminario fu riattata solo nel 1757 adottando per “l’intero cornicione più stabile artifizio quanto umanamente si é potuto: rinnovati si sono gl’infranti sporti delle balconate e loro balaustrate di ferro rimesse le tre nuove mancanti statue e riparate ancora le altre da quei danni, che patirono per lo cennato tremuoto del 1743. E’ peranche già disposto per questo corrente anno 1758 il rinnovarsi i logorati pavimenti”. Da qui le difformità riscontrabili rispetto al progetto del Manieri, già peraltro modificato da ripensamenti in corso d’opera come testimoniato dallo scalone che, impostato nel vano aperto a destra sull’androne, fu poi realizzato con accesso dal chiostro. Nel 1758, per volontà dell’arcidiacono Carlo Arrisi, si ha la costituzione del Sacro Monte degli Alunni per il quale si manterranno in Seminario dodici alunni, col pagamento di 36 ducati per ciascuno di loro; l’istituzione cesserà la propria attività nel 1940.
Grande prestigio ebbe il seminario di Brindisi durante l’episcopato di Annibale De Leo (1797-1814) che, nato nel 1739, pure in quell’istituzione aveva studiato filosofia e teologia; durante il periodo napoleonico fu uno dei pochi nel Sud a rimanere aperto. Ciò anche “per gli sceltissimi professori nelle diverse facoltà che vi faceva insegnare” per merito dei quali il seminario “si rendè cospicuo a tal segno che, nel concorso di convittori d’altre diocesi ebbe a fare aggiungere nuovi saloni a’ preesistenti”. A confermare il rapporto di fiducia che legava l’arcivescovo Annibale De Leo al tenente generale francese Giacomo Ottavy è la circostanza che per il 1811 risulta che “Bonaventura Ottavy figlio del tenente generale d. Giacomo” è studente di 17 anni nel seminario di Brindisi. Qui, nel 1799, insegnava filosofia e matematica il padre scolopio Oronzo Rapanà di Campi; nel 1804 ne era prefetto Parlati, sottoprefetto Saracino. Dopo l’episcopato del De Leo il seminario attraversò una notevole crisi; nel 1819 il vicario generale capitolare della sede arcivescovile vacante emette il 12 settembre editto in cui ricorda che “bisogna certamente deplorare le circostanze de’ tempi, per i quali il nostro [seminario] di Brindisi è decaduto dal suo splendore in cui era pochi lustri addietro, e per cui formava l’invidia delle vicine diocesi”. Si trattava di problemi soprattutto economici; nel 1827 l’arcivescovo Pietro Consiglio (1826-39) in una lettera inviata il 2 novembre al nunzio apostolico in Napoli evidenzia “la povertà del seminario arcivescovile di Brindisi, il quale non ha di rendita, che soli trecento ducati circa, si mantiene aperto, e in attività ristrettamente, e a forza di economia, ma non si possono avere maestri valenti per mancanza di rendite a poterli compensare”. Proprio al fine di migliorare il dato economico, il 21 aprile 1830 si annunzia il deposito dell’atto di acquisto da parte del Seminario e Monte degli Alunni, per 1900 ducati, di un fondo di Antonio Laviano in contrada Formoso. In quell’anno insegnano nel seminario don Francesco Tommaso Oronzo Emanuele De Castro, nato nel 1801, “ingegno preclaro, profondo cultore di etica, filosofia, diritto che insegnò per molti anni nel seminario diocesano e privatamente”, don Vincenzo La Colina e il chierico Francesco Trinchera di Ostuni. Nella prima metà del secolo vi compiono i loro studi Giovanni Tarantini (1805-89) che qui poi insegnerà discipline teologiche e Giuseppe De Roma (1821-89) che, ottenuto un posto gratuito nel seminario di Brindisi, vi si perfezionerà negli studi letterari.