父母對麥迪遜的教育頗為重視，再加上他身體虛弱，所以他的啟蒙教育是由父母在家中進行的。十一歲時，父親送他到名師唐納德·羅伯遜的學校就讀，主要學習數(shù)學、地理、文法和拉丁文等科目。羅伯遜先生的治學態(tài)度雖有幾分刻板，但十分嚴謹，講求實效，五年的學習生涯使得麥迪遜終生獲益。16歲時，麥迪遜又拜托馬斯·馬丁牧師為師，在學習人文和自然科學的同時，他還認真研究了神學。1769年，他進入了普林斯頓的新澤西學院。在這里，麥迪遜讀書、交友、娛樂，生活豐富多彩，充滿情趣。他學習的范圍十分廣泛，涉獵過自然科學和社會科學的許多領域，尤其擅長演說，這為他后來從事政治活動提供了便利。他酷愛讀書，經(jīng)常手不釋卷，特別喜歡讀洛克、伏爾泰、孟德斯鳩等著名啟蒙思想家的作品，深受啟蒙思想的影響。他大學時代的幾位密友大都才華橫溢，抱負遠大，后來成為美國獨立和建國時期的風云人物，其中菲利浦·弗雷諾后來成為優(yōu)秀的詩人；威廉·布雷德福在政治上初露頭角早于麥迪遜，曾出任美國第2任司法部長。

在業(yè)余時間，麥迪遜喜歡散步、騎馬、欣賞大自然的景色，也喜歡下棋。他還是一位出類拔萃的社會活動家，顯示出天才的鼓動性和組織才能。他還養(yǎng)成了做事情有條不紊的習慣，看不起那些不遵守社會規(guī)則的人。有時也搞點惡作劇，但由于他一貫品學兼優(yōu)，后來院長在回首往事時說，麥迪遜 從未做過或說過任何不妥的事 。由于學習勤奮，刻苦鉆研，麥迪遜只讀了兩年大學就獲得文學學士學位，提前畢業(yè)，并留校隨院長約翰·威瑟斯龐進行神學和希伯來文法方面的研修。

1772年春，麥迪遜因病棄學返鄉(xiāng)。父親希望他承擔起種植園的管理和經(jīng)營工作，發(fā)展和擴大祖上留下的產(chǎn)業(yè)。但青年麥迪遜另有凌云壯志，他決心繼續(xù)在法律和政治等領域進行研讀，為將來在政治舞臺上施展才華打下堅實的基礎。

1774年，他取得了律師資格，但從未從事這一職業(yè)。

麥迪遜信仰圣公會的基本教義。他相信有救世主存在，但認為它并不干預宇宙和世界萬物的正常運轉(zhuǎn)，從這一點來看，他很接近于自然神論者。

麥迪遜身材不高，只有五英尺四英寸，身體單薄。儀表也談不上英俊或威武，棕發(fā)碧眼黃面，鼻子有凍傷的痕跡。他衣著整潔考究，為人靦腆謹慎，還有點神經(jīng)過敏，給人的第一印象并不佳。但與他相處稍久就會發(fā)現(xiàn)，麥迪遜具有堅韌的個性，深邃的洞察力和超人的智慧，他處事機敏靈活，但在大的原則上從未發(fā)生過動搖，這便是他日后成為一位深孚眾望的政治領袖的最基本的素質(zhì)和品格。

投身獨立戰(zhàn)爭取得律師資格后，父親再次動員他繼承家業(yè)，肩負起管理種植園的責任，但他仍未接受。不久，他就投入了反抗英國殖民壓迫的革命浪潮之中。

1774年，麥迪遜被選為奧蘭治縣安全委員會委員。獨立戰(zhàn)爭爆發(fā)后，他立即參加了該縣的民兵，被授予上校軍銜，而他父親則是該縣民兵的負責人。

兩年后，麥迪遜進入特權與選舉委員會，鑒于他具有豐富的法學和政治學知識，他的主要工作是起草各種法律文書和一份重要的權利法案。同年又入選第一屆弗吉尼亞議會，參加了起草州憲法的工作。在這次會議中，麥迪遜在法學方面的才華和愛國精神得到了初步展示。此時，他與剛從大陸會議載譽歸來的杰斐遜相識，遂結(jié)下終生友誼。在州議會中，他通常支持杰斐遜提出的開明的議案。為了實現(xiàn)宗教信仰自由，他成了杰斐遜的弗吉尼亞《宗教自由法案》的最強有力的支持者。

1777年4月，麥迪遜競選連任州議員失敗，原因大概是他過于清高，不善于 逢迎討好 選民。與他有姻親關系的州長帕特里克·亨利此時幫了他一把，派他在州政會議任職。但他對這一機構十分厭惡，稱它為 埋葬一切才能的墳墓 ，因為它試圖侵犯行政權力。麥迪遜在該會議任職兩年，與歷任州長通力合作，在處理戰(zhàn)時事務方面成績卓著。在此過程中，他沒有間斷學業(yè)，仍博覽群書并主攻法律。