Das Gebäude wurde, zur Zeit als Patricius Fraeys Abt war, 1710 auf dem Gelände der früheren
Abtei errichtet. Die Legende erzählt, daß die Mönche den neugewählten Abt vor seiner Abreise nach Rom fragten, ob sie ihm für seinen Rückkehr eine Überraschung bereiten dürften. Als er zurückkam, fand er den Taubenturm mit 1132 Kästchen. Ein Taubenturm war damals ein Statussymbol. Nur die Großgrundbesitzer und die Herren einer Herrschaft hatten das Recht Tauben zu halten.
