Reeds in de dertiende eeuw stond in Abbenbroek een eenvoudige kerk met een eenbeukig middenschip, met steunberen tegen de zijgevels. In het begin van de veertiende eeuw werd het gebouw uitgebreid met een koor. Aanvankelijk was de kerk een parochie met een eigen pastoor, maar in 1483 veranderde het in een kapittelkerk en kwamen er een deken en zeven kanunniken.
Het was de deken Jan van Coudeberghe die in Abbenbroek de verering van Onze Lieve Vrouw van Zeven Smarten introduceerde. Tussen 1483 en 1492 liet Jan van Coudenberghe een schilderij in de kerk plaatsen en in 1492 richtte hij een broederschap ter ere van de nieuwe Mariadevotie op. Van Coudeberghe was tevens pastoor van de Sint-Salvador in Brugge en pastoor te Reimerswaal en had daar al eerder soortgelijke broederschappen opgericht. Hij was een ijverig aanhanger van de devotie van de Zeven Smarten: hij schreef er onder meer twee boeken over.
Het schilderij toonde Maria met het kind Jezus op de linkerarm. Maria draagt een sluier en heeft een bol of appel in haar rechterhand, terwijl Jezus een zegenend gebaar maakt. Onder het schilderij stonden de zeven smarten beschreven: de voorspelling van Simeon dat een zwaard het hart van Maria zal doorboren, de vlucht naar Egypte, het verlies van de twaalfjarige Jezus in de tempel, de ontmoeting tussen Maria en Christus tijdens de kruisdraging, de kruisiging, de kruisafname en de graflegging. Het waren de momenten van beproeving gedurende het leven van Maria.
Abbenbroek groeide vervolgens uit tot een bedevaartplaats van bovenregionale betekenis; niet alleen mensen uit de omringende dorpen kwamen op de verering af, maar zelfs gelovigen uit Leiden, Den Haag en Middelburg trokken naar Voorne. De broederschap verkreeg internationale bekendheid en aanhang, onder meer dankzij de lidmaatschap van Philips en diens zoon Karel V. Vanaf die tijd werden jaarlijkse ommegangen ter ere van Maria van Zeven Smarten te Abbenbroek gehouden. Het beeld werd in processie door het dorp gedragen, en en werden plechtige hoogmissen gevierd.
In 1494 was de devotie door de bisschop van Utrecht goedgekeurd en een jaar later door paus Alexander VI. De snelle goedkeuring is waarschijnlijk vooral te danken aan de vele wonderbaarlijke genezingen die plaatsvonden. Tot circa 1520 wordt in brieven melding gemaakt van maar liefst 48 mirakels.
De populariteit van de bedevaartplaats was weliswaar groot, maar duurde niet lang. Tijdens de tweede helft van de zestiende eeuw raakte het katholieke geloof op Vorrne in verval. In een verslag uit 1571 van het Aartsbisdom Utrecht werd al geen melding meer gemaakt van de devotie, en na de reformatie zijn de laatste restanten die aan het bedevaartsoord herinnerden, verdwenen.