1900年，張作霖得到一個改變他一生的機會——他在岳父的幫助下，在趙家廟成立了一個二十人的保安團，他擔任團長。張作霖在管轄區(qū)內很守規(guī)矩，不僅遵章守紀，而且賣力地維護治安。沒多久，這個地區(qū)的匪患得到了極大遏制。張作霖得到了村人的交口稱贊，他由此聲名鵲起。漸漸地，他管轄的范圍逐漸擴大，達到了二十多個村子。

幾年后，社會秩序逐步穩(wěn)定，張作霖苦心經營的勢力范圍也有所擴展。就在這時，他接受了官府的“招安”，當了一個營長。他的隊伍亦移駐新民府，負責地方治安，并兼剿胡匪。

就這樣，張作霖由一個民團武裝的頭目搖身一變，成為了政府官軍的軍官。這是他人生的一個重大轉折。從此，依靠這支武裝，他便平步青云，扶搖直上。

張作霖為人機敏，長于計謀。1904年2月，在我國東北爆發(fā)了臭名昭著的日俄戰(zhàn)爭。兩個帝國主義國家在我國東北展開廝殺。而無能的清政府竟然宣布遼河以東為戰(zhàn)區(qū)，以西為中立區(qū)。

可是戰(zhàn)爭一打響，哪還有什么中立區(qū)？　　

處在遼西的新民府是個重鎮(zhèn)，盤踞在此的張作霖除了要維護境內的治安外，還在盤算如何增強自己的實力，向外擴張。他的原則是誰給我好處，我就幫助誰。

一開始，俄軍強大，他就接受俄軍的槍械和金錢，幫助俄軍打日軍。

后來日軍扭轉了局勢，他被日軍俘虜，差點被處死。但由于他同日軍簽訂了誓約，“立誓援助日本軍” ，張作霖撿回了一條小命。也正是從此開始，張作霖同日軍攀上了關系。

在日俄兩國戰(zhàn)爭夾縫中生存的張作霖，充分顯示了他處理復雜問題的能力。1905年日俄戰(zhàn)爭結束后，他的部隊不但沒受損失，反而擴編成了3個營。

1906年，張作霖又晉升為統(tǒng)管5個營的統(tǒng)帶。

此后，張作霖經過一番明槍暗箭、閃轉騰挪的斗爭，漸入“佳境”。

 1912年，清朝滅亡，袁世凱出任大總統(tǒng)后，張作霖被任命為第27師中將師長。袁世凱稱帝后，他又被封為子爵、盛武將軍，督理奉天軍務兼巡按使。袁死后，他被北京政府任命為奉天督軍兼省長，1918年9月又被任命為“東三省巡閱使”，同時取得了日本人的支持，利用日本的勢力控制了黑、吉、遼三省，成為奉系軍閥的首領。