A jelenlegi könyvtár elődei a középkori káptalani- és érseki magánkönyvtárak voltak. Szent István korától kezdődően a 16. század elejéig feltehetően már 300-400 kötet kódexet és ősnyomtatványt gyűjtöttek össze Kalocsán, melyeket elsősorban a főszékesegyházi iskola tanárai, diákjai és az egyházmegye papjai használtak. 1526-ban Tomori Pál érsek elesett a mohácsi csatában, majd 1529-ben a török felégette Kalocsa városát. A káptalan tagjai elmenekültek, és magukkal vitték értékeiket, könyveiket. A középkori gyűjteményből csak két ősnyomtatvány került vissza a 20. század elején Kalocsára, néhány példányt a világ más könyvtáraiban őriznek, a legtöbb könyvnek azonban – elsősorban a török idők viszontagságai következtében – nyoma veszett.

A 18. század elején az egyházmegyét újjáépítő érsekek első teendői közé tartozott a káptalan újjászervezése. A Főszékesegyházi Káptalan tagjai, a kanonokok voltak az érsekek első munkatársai, s az ő hiteleshelyi- és liturgikus tevékenységükhöz, a szemináriumban folyó oktatáshoz, és az érsekek egyházkormányzati munkájához egyaránt könyvekre volt szükség. A káptalan 18. századi könyvtárának állományáról tanúskodnak a fennmaradt leltárkönyvek és katalógusok. Az egyik legkorábbi leltárkönyvet Házy György olvasókanonok készítette a káptalani könyvtár állományáról 1752-ben. A leltárkönyvben 287 mű szerepel, összesen 602 kötetben.

  1776-ban Batthyány József kalocsai érseket kinevezték esztergomi érsekké s a megüresedett érseki széket Patachich Ádám nagyváradi püspök foglalta el. Az érsek 7825 kötetet hozott magával Nagyváradról Kalocsára, amikor elkészült az Érseki Palota keleti szárnyában Anton Maulbertsch grisaille fatáblaképeivel díszített barokk teremkönyvtára 1780-ban. A tágas, 23 m hosszú nyolcablakos teremben a falak mentén s a terem belsejében három oszlopban s a praktikusan kialakított íróasztalokon sorakoztak a könyvek egységes barna aranyozott bőrkötésben. 1782-ben került sor a káptalani könyvtár és magángyűjteménye egyesítésére. Az érsek könyvtárát ügynökei segítségével bővítette, akik felvásárolták számára a könyvpiacra kerülő könyveket. A püspök összeköttetésben állt bécsi, római könyvkereskedőkkel, a magyarországi könyvkereskedőkkel rendszeresen levelezett folyamatosan tájékozódott a hazai könyvpiacról is. Kalocsai érseksége idején jelentősen növekedett könyveinek száma, halálakor 1784-ben gyűjteménye már 19.000 kötetből állt. Ugyanebben az évben kelt ajándékozási okmányában könyveit utódaira hagyományozta, hogy azokat a főszékesegyházzal és a káptalannal együtt birtokolják. A végrendelet szerint a Bibliotheca Metropolitanae Ecclesiae Colocensis fenntartója és tulajdonosa a Főszékeskáptalan és a mindenkori kalocsai érsek.

Patachich Ádám utóda az érseki székben Kollonich László, aki folytatta elődje könyvgyűjtő tevékenységét. A II. József által feloszlatott szerzetesrendek könyvtáraiból nagy mennyiségben vásárolt értékes köteteket. Az ősnyomtatvány és kéziratgyűjtemény az ő vásárlásai révén tovább bővült. 1791-től Katona István történetíró segítette Kollonich érseket könyvbeszerzéseiben. Az ő szakértelmének és könyvismeretének is köszönhető, hogy ekkoriban számos történelmi-, földrajzi-, valamint tudománytörténeti vonatkozású kötettel gyarapodott a gyűjtemény. Halálakor az egyházmegye 23.000 kötetes könyvtárát örökölte. A mai napig e két 18. századi bibliofil érsek gyűjteménye adja a Főszékesegyházi Könyvtár magját. Művelődéstörténeti és tudományos értékét unikumaival együtt e 42.000 kötet képviseli.

A későbbiekben az állomány már többnyire csak érseki, kanonoki hagyatékokból bővült. A 19. sz. második felében – az iskolahálózat kiépülésének következtében – megnőtt az olvasók, kölcsönzők száma. A 19. század érsekei koruk irodalmi termékeivel gyarapították a könyvtárat, közülük kiemelkedik Haynald Lajos bíboros érsek, kiváló tudós és könyvgyűjtő. Császka György érsek történelmi, genealógiai, heraldikai könyveket gyűjtött. Várossy Gyula történelem és irodalomkutató volt. Könyvhagyatéka e tárgykörből magyar, német, francia, angol nyelvű. Grősz József érsek hagyatékát modern lelkipásztori és a szentírás-tudománnyal foglalkozó művek alkotják.

A Könyvtár a 20. században már helyhiánnyal küszködött, az érseki palota keleti szárnyának első és második emeletén szinte valamennyi helyiséget elfoglalta. 1945 után kedvezőtlen anyagi feltételek között működött, fő szerzeményezési forrását továbbra is a papi hagyatékok (pl. Hopf János, Huber Lipót, Tantos Gyula, Szedlay István, Kujáni Ferenc) jelentették. Az ideiglenes zárva tartás után (1951-1962) még hosszú ideig elmaradt a kutatók száma a 20. sz. első felének adataihoz képest.

  A mai állomány kb. 150.000 kötetet tartalmaz. A régi könyvek az összállományból mintegy 90.000 kötetet tesznek ki. Különösen értékes a több, mint 800 kötetes kéziratgyűjtemény, amelyből 64 középkori kódex. A legrégebbi pergamenkódex 1040-ből származik; a legszebb művészi díszítésű egy 15 századi zsoltároskönyv. A könyvtár tulajdonában 514 ősnyomtatvány van. Szinte valamennyi 15. századi nyomdászműhelyből (pl. Anton Koberger nürnbergi, Nicolas Jenson velencei stb.) megtalálható egy-egy példány. A 16. századból több mint 4.000, a 17. századból kb. 10.000 nyomtatványt őriz a könyvtár.

Jelenleg elsősorban teológiai, filozófiai, történelmi, művelődéstörténeti, – és az olvasók igényeihez igazodva – társadalomtudományi (pedagógia, szociológia, jog stb.) művekkel gyarapodik a gyűjtemény.