La Chiesa sorge sull'attuale Corso Vittoria Colonna di Ischia Porto, nel borgo sei-settecentesco a pochi metri dalla spiaggia. Il Parroco di San Vito Martire e dello Spirito Santo: Don Antonio Moraldi, ideò la costruzione di questa Chiesa, non riuscendo a tollerare che gli abitanti di Villa dei Bagni, dovessero raggiungere la Chiesa dei Frati Minori. Il tempio prese allora il nome di Chiesa del Purgatorio o, più precisamente di Santa Maria delle Grazie e delle Anime Purganti, probabilmente a ricordo della Cappella, ormai inclusa nella Reggia, ed insieme a conforto della tradizione che voleva cosi dedicate le chiese cimiteriali: infatti il piano sottostrada era adibito appunto a cimitero comunale.
Ciò spiega anche perché il gentiluomo Pasquale Battistessa, impiccato durante la Rivoluzione del 1799 sulla spiaggia della Mandra e creduto morto, vi fu trasportato, ma, riavutosi durante la notte, fu finito dai carnefici proprio ai piedi dell'altare maggiore. Oggi la strada e la piazza a Lui dedicate nei pressi, ricordano quell'infame delitto. Inoltre, poiché nella Cappella anzidetta dedicata alla Madonna delle Grazie, si venerava una statuetta di S. Pietro, che gli abitanti di Villa dei Bagni dediti per lo più alla pesca e molto devoti al Santo, amavano recare in processione ogni anno il 28 giugno, fino al Tempio eretto dal Moraldi, con il passare degli anni si prese ad indicare la chiesa anche con il titolo di S. Pietro.
La Chiesa si eleva dal piano stradale ed e in posizione arretrata su un piccolo spiazzo ed e preceduta da un rustico sagrato pavimentato con pietre di lava. La facciata e di forma convessa, mentre lo spazio interno e di forma ellittica con un suo particolare carattere unitario molto lontano dalle soluzioni più correnti e provinciali adottate nelle altre chiese dell'isola. La parte superiore della cupola e rivestita di embrici maiolicati gialli e verdi che danno uno straordinario effetto cromatico e paesistico, ben visibile dalla spiaggia e dalla pineta dell'"Arso". Purtroppo rammarica il fatto che le scarse fonti storiche non ci consentono di identificare il nome dell'architetto, anche se da un'attenta lettura dell'opera, è possibile dedurre almeno in quale corrente di cultura e di gusto essa può collocarsi.