麥迪遜遵循了其前任創(chuàng)下的慣例，沒有謀求第三次當選總統(tǒng)，指定詹姆斯·門羅作為他的政治繼承人，競選第5任美國總統(tǒng)。選民們對麥迪遜的政績大力贊揚并大力支持門羅順利當選。

晚年生活 卸任后，麥迪遜回到養(yǎng)育了他的蒙彼利埃，決心全面退出政壇。他一面讀書、寫信、會友，一面致力于農場的科學化經營。他要建立一座全國第一流的農場，其目的：一是要使晚年生活過得更加充實，二是要填補幾年來農場經營不善的虧空，另外要償還不爭氣的繼子欠下的債務。

與杰斐遜一樣，麥迪遜對教育事業(yè)十分熱心，贊同并參與創(chuàng)建弗吉尼亞大學，出任該校董事會的董事，杰斐遜去世后接任該校校長。與此同時，他還進行研究和寫作，整理自己在各個歷史階段所寫的論文。

1829年，麥迪遜出席了弗吉尼亞憲法會議，擔任聯(lián)合主席。該會議的使命是修訂州憲法。這是麥迪遜卸職后公開參加的唯一一次政治活動，足見其對法制建設事業(yè)的高度關注。

麥迪遜始終捍衛(wèi)他所參與創(chuàng)建的聯(lián)邦及其憲法。為此，他在晚年卷入了一場爭論：南方人認為，各州有權宣布聯(lián)邦法令違憲而無效，并可以和平地退出聯(lián)邦。麥迪遜公開駁斥了這種觀點，他否認了南方人主張擁有的這些權利的合法性并指出他從未有過把聯(lián)邦權力授予各州的主張。

麥迪遜是個大種植園主，但他對奴隸制持否定的態(tài)度，一貫認為：長期保持奴隸制會破壞聯(lián)邦。但他的主張是溫和的：逐步解放黑奴，將他們移殖到國外。他退休后仍然堅持這一主張，對美國殖民協(xié)會的建設工作給以極大的關注。

麥迪遜是開國元勛中最長壽的人之一，親眼目睹了工業(yè)革命在美國創(chuàng)造出的各種奇跡，看到了美國經濟的繁榮和疆域的迅速擴展，同時也看到了由于黑奴制問題所導致的國內爭端。而且，他的晚年生活陷入困頓，不得不出賣了一部分地產和重要的歷史文件。

1836年6月28日，麥迪遜在親屬的圍繞下與世長辭，葬于祖父留下的莊園的家族墓地。他的墓碑上只刻有他的姓和生卒年月，其質樸無華與墓主人的風格十分吻合。