在约翰·马歇尔出生后几年，他家迁至日耳曼镇西方约30英里的落基山一处山谷。在那儿，他度过了童年并一直住到18岁。年幼时，他和弟妹均系由其父亲亲自教育，并深受其爱好文学和历史的影响。其后，他曾接受住在他家的教区牧师苏格兰裔的詹姆斯·汤普森一年的教育。当汤普森婚后住在附近沙林（Salem）地区时，也是他可能和教区里其他儿童一起前往接受汤普森教育的一段时期。他非常喜欢运动，擅长跑、跳和掷铁环，并爱好乡间接近大自然的自由生活，时常长程徒步穿越附近的林野。他的个子高瘦，但却充满活力和身手矫健。1773年1月，他的父亲在邻近的橡树村购置了1700英亩的土地。在这背负落基山脉，俯瞰青绿的山谷和蜿蜒的小河，景色如画的农庄里，18岁的约翰开始学习法律。1772年刚在美洲殖民地出版的布莱克斯通的《英国法律评论》所给予他的吸引和影响力，更大于他幼年时所读的蒲伯（Alexander Pope）诗集。不但他的双亲决心使他成为律师，连他自己也说"从孩提之时，我便已注定是当律师的了。"Albert J Beveirdge,The Life of John Marshall，Cambridge Massachusetts,The Riverside Press, 1947, Voll, p56不过，在这一段时期，他只是间断地阅读布莱克斯通的著作；他所专注的却是军事操练和研究。大约就在这时候，他被送往威斯特摩尔兰郡坎贝尔牧师所开设的学校（the school of the Reverend Archibald Cawpell in Westmoreland County）就读，他在这所萌芽中的"学院（academy）"虽然只肄业了几个月，但却从该校仅有的讲师--坎贝尔牧师那儿学会了思想和研究的方法。

美国独立战争爆发后，约翰·马歇尔很快便随同其父亲加入抗英的行列，协助组训一连志愿兵，开始显示出他演讲和领导的才能。经过了大桥（Great Bridge）和"小邦克山"（Little Bunker Hill）两番血战，1776年3月，他们那一营的志愿兵，在萨福克（Suffolk）奉命解散。但他们父子并未因而解甲，却加入了大陆正规军（Continental service）的弗吉尼亚第三团。同年12月，约翰·马歇尔从少尉晋升为中尉（captainliteutenant），并调至弗吉尼亚第十五阵线（Fifteeth Virginia Line）。翌年，他先后参与布兰地维恩（Brandywine）及日耳曼镇两次战役，更表现出他的英勇。是年冬季，他们父子两人追随华盛顿在福治山谷（Valley Forge）饱受饥寒的威胁。然而年轻的马歇尔中尉却常以轻松的心情，欢乐的笑语，使那些显得沮丧的士兵获得鼓舞，甚至消弭了一些人原先打算逃亡的念头。就在那时，马歇尔中尉受命兼任美国陆军的副军法官（Deputy Judge Ad vocate of the Army of the United States）。他的判断和公正，深受军中同僚和士兵的信仰，遇有争端，常向他倾诉，并遵从他的裁决。1778年6月，于蒙茅斯（Monmouth）战役之后3日，他被升为上尉（captain），并继续兼任副军法官。不久，入选"军中精锐"（elite of the army），在安东尼·韦恩（Anthony Wayne）指挥之下，攻占石头角（Stony Point）。第2年的秋天，因弗吉尼亚所征召的士兵期满退役，军官人数过剩，他被遣归家候命。其后，除一度因英军进犯，他曾赶赴战场外，可说从此结束了他四年多来先后转战于弗吉尼亚、新泽西（New Jersey）、宾夕法尼亚（Pennsylvania）及纽约（New York）等州的军中生活。这一段的经历，对他实有莫大的影响和无限的价值：不独增广了他的见闻，养成了他那重实效而趋于保守的习性，并使他坚决相信，一个强有力而富于效率的政府将更能维护民主和自由。他曾自称，他入伍时是一个弗吉尼亚人，但离开军中时却是一个美国人。

当约翰·马歇尔以战斗英雄及军人楷模的身份回到约克镇（Yorktown）探望他的父亲时，人们满以为他会穿着整齐的制服，挂着明晃的军刀，英姿焕发地荣归，谁知他却一如出发时的满身土气，衣冠不整地回来。他那种不修边幅的仪态，初次出现于舞会时，颇令渴望瞻仰他的风姿的少女们失望，但他那极度易于获得别人喜爱的天赋，很快便使他成为当地家家户户均表欢迎的人物。1780年5至6月，约翰·马歇尔遵从他父母的愿望，前往距离约克镇12英里的威廉与玛丽学院（William and Mary College）修习乔治·韦特（George Wythe）所讲授的法律课程。该学院是当时弗吉尼亚州唯一公立及采用近代讲授制度的教育场所。他在那儿只上了大约六个星期的课，由于跟他在热恋中的玛丽·安巴拉（Mary Ambler）所给予他的吸引力过大，使他自觉在该学院难有所获，终于辍学设法申请律师执照。获准后，他便返回故乡福基尔郡，于8月28日加入当地的律师公会。其时，他虽然开始执业律师，可是他仍旧准备随时重赴战场，指挥新成立的队伍。事实上，当他获知阿诺德（Anold）所率领的英军进犯弗吉尼亚时，他便立即赶往前方，参与作战。最后，因所拟征募的军队未能成立，1781年2月12日，他便正式辞退了军职。