Ce bâtiment fut construit sur les terrains de l’ancienne abbaye en 1710, lorsque Patricius Fraeys fut abbé. La légende raconte que les moines demandèrent à l’abbé nouvellement élu, avant son départ pour Rome, s’ils pouvaient lui préparer une surprise pour son retour. Lorsqu’il rentra, il trouva un colombier avec 1132 cases.
Un colombier était auparavant un symbole de prestige. Uniquement les grands féodaux et les seigneurs d’une seigneurie disposaient du droit d’élever des pigeons.
