Der überreich ausgeschmückte Bau wurde beinahe 500 Jahre in seiner weitestgehend unveränderten, spätantiken Grundform als Gotteshaus genutzt. Lediglich die Ostapsis wurde unter Erzbischof Hildebold um 800 durch einen kleinen, rechteckigen Chor ersetzt. Ebenfalls unter Hildebold wurde ein Chorherrenstift für hochadelige Männer gegründet; seit 839 ist St. Gereon als Stiftskirche. Das Stift hatte aufgrund seiner wohlhabenden Angehörigen nach dem Dom den größten Grundbesitz, zu dem sogar Weingärten gehörten.
Unter Erzbischof Anno (1056-1075) wurden erstmals größere Umbauarbeiten begonnen. Ein neuer, langgestreckter und über einer großen Krypta gelegener Chor für die Stiftsherren wurde an den Kuppelbau angebaut, die östliche Mauer des Zentralbaus wurde dafür durchbrochen. Etwa 100 Jahre später wurden der Chor und die darunter liegende Krypta vergrößert und zusätzlich zwei Türme errichtet.
Unter Norbert von Xanten wurde ab 1121 im Umfeld der Kirche nach Reliquien der thebäischen Märtyrer gesucht. Dabei wurden Gebeine gefunden, die man für die des Hl. Gereon und der mit ihm gestorbenen thebäischen Legionäre hielt und die hier seitdem verehrt werden. 1191 wurde ein neuer Gereonsaltar geweiht.
Im Rahmen der dritten und bis dato größten Stadterweiterung Kölns lag St. Gereon seit 1179/80 nicht mehr vor, sondern innerhalb der Stadtmauern. In der Folgezeit wurden die Aus- und Umbauarbeiten an dem Kirchbau intensiviert. Ein neuer Gereonsaltar wurde geweiht und die Reliquien der thebäischen Märtyrer aus den Nischen des Ovalbaus in die Confessio unter dem Gereonsaltar und somit in die Krypta überführt (Altarweihe und Erhebung der Reliquien im Jahr 1212).
Ab 1220 schließlich wurde der im Laufe der Jahrhunderte baufällig gewordene, ovale Kuppelbau von Außen ummantelt und um drei Stockwerke mit Emporen, Laufgang und großen Fenstern erhöht. Dabei erhielt dert Zentralbau seine bis heute sichtbare, zehneckige Gestalt (Dekagon) und wurde damit für viele Jahrhunderte zum größten freitragend überwölbten Zentralbau nördlich der Alpen. Auch die Stiftsgebäude wurden in der Folgezeit vergrößert und umgebaut.
