Altmelon wurde 1259 erstmals urkundlich erwähnt und gehörte zum Stammgebiet der Kuenringer. 1263 gründete Heinrich von Kuenring ein Zisterzienserinnenkloster, das aber bereits 1277 wegen des unwirtlichen Klimas nach St. Bernhard bei Horn verlegt wurde, wo es bis zu seiner Aufhebung Ende des 18. Jh. blieb.
Von dem nur 14 Jahre bestehenden Kloster blieb keine Spur erhalten, obwohl anzunehmen ist, dass die heutige Pfarrkirche einen Nachfolgebau darstellt.
Die Pfarrkirche, dem Hl. Jakob dem Älteren geweiht, wird als mittelalterlicher Saalbau in das 13. Jh. datiert. In dieser Zeit bestand die Kirche wahrscheinlich nur aus Langhaus und Apsis. Als Pfarre wurde Altmelon 1374 erstmals genannt. Im 15. Jh. wurden der heutige Chor mit dreiseitigem Schluss und der etwas eingestellte, südseitige Turm errichtet.
1563 bis 1630 war die Pfarre protestantisch, nach der Rekatholisierung wurde Altmelon eine Filiale von Arbesbach und verlor seinen Pfarrstatus.
1783 fand im Zuge der Wiedererrichtung als eigene Pfarre die Barockisierung statt. Das Langhaus wurde erhöht und eingewölbt, die Empore eingebaut, der kleine Torvorbau im Süden errichtet und dem Turm eine Glockenstube aufgesetzt. 1815 fanden Renovierungsarbeiten statt. Der Friedhof wurde im Jahr 1826 an seinen heutigen Standort verlegt. Besonders zu erwähnen sind die barocken Seitenaltäre und die Kanzel, sowie der Taufstein aus Granit.
1881 wurde die heutige Sakristei errichtet. Im Jahr 1894 wurden die beiden Seitenaltäre renoviert und es wurden neue Statuen für beide Altäre angeschafft. Die alten Statuen des Hl. Leopold und der Hl. Theresia befinden sich heute noch in der Kirche, wobei die Statuen des Hl. Isidor und der Hl. Notburga in die Kapelle nach Dietrichsbach kamen.
In den folgenden Jahrzehnten gab es immer wieder Vorschläge zur Vergrößerung der Kirche, die aufgrund der beiden Weltkriege aber nicht umgesetzt werden konnten.
Im Jahr 1945 fiel die Kirche einer örtlichen Brandkatastrophe zum Opfer, wobei der Turm, das Dach und die Orgel verbrannten. Die Kirche wurde notdürftig repariert und im Jahr 1947 kam es zu ausgedehnten Sanierungsarbeiten, wobei auch der Triumphbogen von Prof. Alexander Brunner neu gestaltet wurde. 1949 wurde das Turmdach mit Blech neu gedeckt und 1950 der elektrische Strom eingeleitet. 1952 folgte eine Außenrenovierung und 1953 wurden die beiden Seitenaltäre und die Kanzel renoviert.
1981 wurden bei einer Innenrenovierung die Bürgerstühle entfernt und später Kanzel und Hochaltar restauriert. In den Jahren 2012 bis 2019 wurde die gesamte Kirche innen und außen renoviert, ebenso der Pfarrhof, in dem eine neue Mietwohnung entstand. (Quellenangabe: auszugsweise aus: Untersuchungsbericht der Pfarrkirche Altmelon von Mag. Ralf Wittig, 2016; Festschrift der Marktgemeinde Altmelon, 1985)