憲宗皇帝開始重新重視余子俊的提議，余子俊也趁勢再次上疏："欲于明年摘取陜西運糧軍民五萬，免徭給糧，備加優(yōu)恤，急乘春夏之交，虜馬疲弱不能入寇之時，相度山界，鏟削如墻。"他特別指出，倘若蒙古人不渡黃河北去，帝國的各項邊防耗費將永無終止，因此，修筑長城已成燃眉之急。

憲宗皇帝最終力排眾議，允許余子俊的工程立即上馬。按余子俊的設計，該長城計劃是從依托橫山山脈的走向，從東北方向的黃河邊向西南修一道城墻，直抵緊靠定邊西邊的花馬池營，全長"一千七百七十里一百二十三步"，這一千七百多里的城墻包括"守護壕墻崖寨八百一十九座，守護壕墻小墩七十八座，邊墩一十五座"。在城墻的內側，余子俊還鏟山添壑，修造了一條和城墻平行的"夾道"，以利兵馬運動，策應捷便。余子俊的工程完工后，此地駐扎著"原額馬步官軍八萬一百九十六員名，除節(jié)年逃故外，實有官軍五萬一千六百一十一員名。原額馬四萬五千九百四十匹，除節(jié)年倒失外，實有馬二萬七千八百五十一匹。"當朝有一位官員后來考察這項工程后曾上疏說，邊墻、壕塹都是余子俊修浚完固的，"北虜知不能侵犯，遂不入套者二十余年"。

據(jù)史料記載，這條全長一千七百多里的延綏長城，余子俊僅"役軍四萬人，不三月而成"。完工后，余子俊立即就上書皇帝"因母老乞歸"，憲宗"慰留不許"。余子俊這個時候最想做的事情就是好好休息一下，而根本不管皇帝是否封賞之事了。

延綏長城在不久后的作用就展現(xiàn)出來。當蒙古軍隊來到延綏河西清水營一線時，明朝在前方監(jiān)督軍務的太監(jiān)汪直和前敵統(tǒng)帥總兵王越的調兵抵御下，大獲全勝。這是明軍在防御戰(zhàn)中取得了少有的一次大勝仗，明史給出了原因："蓋由尚書余子俊鏟削邊墻，虜人為官軍所逐，漫散而不得出路故也然。"

此時的余子俊已經由兵部尚書轉為戶部尚書，邊防建設已經不關他的事情了。但他仍舊對長城保持著高度的熱情。他在帝國取得這場勝利不久，就上書朝廷，建議重修黃河東岸至山海關長城，他把這段長城起名為"宣大長城"，設計一千三百余里，在舊墩一百七十處基礎上再增筑四百四十墩，墩高三丈，役八萬六千人施工，余子俊向皇帝保證，幾月內就可以完工。

倘若這一項國防工事得以建設，明帝國的北部邊防將無懈可擊。但是，余子俊似乎過于樂觀了。在得到憲宗皇帝的允許后，他并沒有親自督促此事，而是讓邊將全權負責。帝國的邊將并不全是余子俊，肯為帝國出一切力而不求回報。在動工過程中，邊將越來越感覺到經濟壓力。他們集體抗議，認為這是不可能完成的任務。余子俊的工作受到下屬質疑的同時，他的同僚也開始騷動起來。