L’origine de l’église remonte au XVe siècle, lorsqu’une femme pieuse reçut l’autorisation de bâtir une humble chapelle, non loin de l’emplacement de l’église actuelle. On y vénérait déjà une petite statue de Notre-Dame, provenant du Cap Finisterre en Galice, qui est sans doute à l’origine du nom de l’église, qui marquait également la « fin des terres » de la ville.
Détruite lors de l’invasion néerlandaise au XVIe siècle, l’église put être reconstruite et consacrée en 1617. Elle fut élevée au rang d’église paroissiale en 1646. Devenue trop petite, elle sera reconstruite en style italo-flamand au 18e siècle, chantier qui s’acheva en 1725.