1225-ben Bertalan pécsi püspök itt gyűjtötte össze a Mecsekben élő remetéket, és épített számukra kolostort. Ez a rendház lett az egyetlen magyar alapítású szerzetesrend, a pálosok első háza. Legalábbis így emlékezik meg az eseményről a rend 16. század elején élt generálisa és történetírója Gyöngyösi Gergely, aki rendtörténeti munkájában megőrizte számunkra a kolostor alapításának történetét. A régészeti kutatások bizonyították, hogy a Jakab-hegyi remeték a már korábban itt állt falusi templomot kapták meg, de a legkorábbi rendház nyomai nem kerültek elő. Az 1978-as ásatások során azonban néhány sírból 1225-ös dátummal ellátott középkori dénár került elő. Ebből egyrészt tudható, hogy a kolostor alapítóinak sírjait találták meg, másrészt, hogy a ma látható romok az 1220-as pálos kolostorra épültek rá. 1234-ben és 1252-ben már oklevelek is említik az ekkor már Ürög határához tartozó Szent Jakab-kolostor remetéit. 1315-ben és 1326-ban is oklevelek említik a kolostort, de 1334-ben a szerzetesek a rablók zaklatásai miatt kénytelenek voltak elhagyni házukat és a hegy lábához, Patacsra távozni. Hamarosan azonban visszaköltöztek a hegyre: 1369-től újra megjelenik az oklevelekben az Ürög feletti Szent Jakab-kolostor neve, bár a patacsi, Szűz Máriának szentelt rendházuk is fennmaradt.
A Jakab-hegyi kis templomot valamikor, ismeretlen időpontban nyugat felé meghosszabbították, majd 1500 körül az apszisa mögé új, poligonális záródású, támpilléres szentélyt emeltek. Miután a szentély falait felhúzták, a román kori apszist lebontották. Az új szentély diadalívét a román kori templom közepén helyezték el. Innen indították a kereszt- és csillagboltozati szakaszokból álló bordás boltozatot. A szentélyzáradék falában mérműves ablakokat helyeztek el, de egy reneszánsz nyíláskeret-töredék is ehhez az építkezéshez köthető. A szentéllyel együtt építették fel az annak déli szomszédságában álló sekrestyét, amit valószínűleg egy kis torony kötött össze a szentéllyel. A középkori kolostorépületről alig tudunk valamit. A barokk kori kolostor nyugati szárnya alatt előkerült ugyan egy, feltehetően középkori falcsonk, és a déli szárny alatt is vannak csekély épületmaradványok, ezeknek azonban sem a pontosabb korát, sem építészeti összefüggéseit nem ismerjük. Lehetséges, hogy középkori eredetű a kerengő délnyugati sarkának közelében lévő falazott kút is. Az mindenesetre bizonyosnak látszik, hogy a középkorban soha sem épült ki a templom mellett szabályos kolostornégyszög.
Nem sokkal később úgy folytatták az építkezést, hogy a keleti szárnyhoz és a templom nyugati homlokzatához két új kolostorszárnyat csatoltak, miáltal a templom déli oldalán zárt kerengőudvart hoztak létre. Az új szárnyak mindenben követték a korábban elkészült keleti rész tagolását: a boltozatok, padlók és a nyíláskeretek a korábbiak mintájára készültek. A zöldmázas kályhaszemekből épült cserépkályhák fűtőnyílásait is kőkeretekkel látták el. A déli szárnyban kapott helyet a bejárati folyosó, egyik oldalán egy cellával, a másik, nyugati oldalán egy nagyméretű refektóriummal, amelynek később a nyugati végét egy új konyha számára leválasztották. Itt, a konyha mellett, a déli kerengőfolyosó folytatásában helyezték el a kettős árnyékszéket, amelyből kőből épült, boltozott csatorna vezette el a szennyvizet. Az árnyékszék emésztőjét a konyha szemétgyűjtőjeként is használták: számos törött edényt: üvegeket, ónmázas habán, és egyszerűbb, folyatott ólommázas edényeket, valamint ételmaradékokat szórtak belé. A nyugati szárnyban egy fűtetlen kamra, két cella, egy emeletre vezető lépcső és egy, a kertbe vezető átjáró-folyosó kapott helyet. A szárny északi folytatásában, a templom nyugati homlokzata előtt két kicsiny szobából álló lakást, valamint tágas előcsarnokot építettek. Ez utóbbiból új ajtót nyitottak a templomba. Az előcsarnok északra néző ablakát később ajtóvá alakították. A kolostor főépületét kőkerítéssel vették körül. A kerítés falai mentén három kisebb házat emeltek: kettőt nyugaton, egyet délkeleten. A kerítés nyugati oldalához egy kétfelé osztott kertet csatoltak. A kert déli részébe egy újabb kis kőházat építettek. Kelet felől egy terasz és egy hatalmas méretű külső kert készült. A nagy kert sarkain, és oldalainak közepén kerek tornyokat emeltek.
A kolostor barokk kori virágzása rövid ideig tartott. Amikor II. József 1780-ban feloszlatta a szerzetesrendeket a Jakab-hegyi házat is elhagyták a remeték. A terület a püspökség birtokába került, de 1828-ra teljesen lakatlanná vált. A fedélszéket és a nyílászárókat elhordták, a falak pedig lassú romlásnak indultak. A helyi hagyomány szerint a templom berendezéséből egy barokk feszület a szomszédos Kővágószőlős plébániatemplomába került. Valamelyik erdész később bonthatta ki a templom romjaiból, és vitte le a faluba azt a gótikus szentségfülkét, amely ma szintén a kővágószőlősi templomban van. Egy 1846-ból ránk maradt kép szerint a kolostor falai akkor még szinte sértetlenül álltak. 80 évvel később, 1926–27-ben Gosztonyi Gyula mérte fel a romokat. Ekkor már az emeleti ablakok boltövei, a boltozatok és az emeleti válaszfalak, valamint a kerengő falai is beomlottak, de a templom és a kolostor külső falai még szinte párkánymagasságig álltak. Gosztonyi helyreállítási terveket is készített, miszerint a lefedett kolostorban egy turistaszállót alakított volna ki. A terv nem valósult meg, sőt nem sokkal később – feltehetően a közeli erdészház építése miatt – a kolostor falait nagyrészt lerombolták, csak a földszint alsó része maradt meg a törmelék alatt.
A régészeti feltárások és az első romkonzerválási munkák 1976-ban indultak meg, Kárpáti Gábornak, a pécsi Janus Pannonius Múzeum régészének irányításával. Az 1980-as évek közepére a feltárási és az állagmegóvási munkák is megszakadtak. 2006–2007-ben újabb romkonzerválásra és hitelesítő ásatásra került sor.
| Elhelyezkedése | |
 
Jakab-hegyi pálos kolostor
Pozíció Magyarország térképén
| |
| é. sz. 46° 05′ 42″, k. h. 18° 08′ 35″ |
