约翰·马歇尔执业律师的第一年，实际上并未承办任何法律业务，直至第二年才开始有雇主前来委托。其间，一如当日一般有志青年，他也置身于政治活动。1782年秋天，得到军中的同僚和旧属，特别是他父亲强有力的支持，他在福基尔郡轻易地当选为弗吉尼亚州众议院（House of Delegate）议员。这次当选的荣誉，尤其是它所带来的物质帮助，（其时他微薄的收入，主要便来自议员的薪津）不但有助于他的事业，并有助于他的婚姻。在他前往该州首府里士满出任立法机关的议员并执业律师才约两个月，于1783年1月3日，他便和玛丽·安巴拉结婚。他们是在马歇尔自军中被遣回乡候命之初，于1779年年底或1780年初，在约克镇一次舞会中认识，当时玛丽才14岁，可是两人却一见钟情，并从此展开了他们终生恩爱不渝，世罕其匹的长期罗曼史。而约翰·马歇尔也随即成了杰奎林·安巴拉（Jacquelin Ambler）家的常客及深为其全家所喜爱的人物。1780年6月初，杰奎林出任弗吉尼亚州的财政局长（Treasurer of State），因而迁居里土满后，马歇尔不久亦辍学前来。其后，他虽然在福基尔郡执业，但是仍旧常到安巴拉家。由于安巴拉家当时在里士满最孚众望，因而他与玛丽·安巴拉的结合，使他也跻身望族，社会地位随之提高，尽管他之所以得到人们的尊敬，可说是全赖他的为人和才智。

二、从议员到最高法院院长

在进入弗吉尼亚州众议院之初，马歇尔便获得该院议长的赏识，立即被任为地位重要的法院委员会（Committee for Court of Justice）委员，两日后，又被任为一特别委员会委员，参与制订国防计划。1782年11月20日，亦即该次议会成立后的第11日，他被参众两院联席会议票选出任州评议会（Council of State）--通称为行政评议会（Executive Council）委员。该会系由参众两院自议员或一般民众中选举委员八人组成，举凡州内重要事务，州长均须征询该会意见，对于重要官员的任命必须经该会之同意，因而出任该会委员者向属德高望重之人。而马歇尔当时才27岁，因此迭受该州高等法院的法官及该会的同僚们非议，终于在不及半年内自行辞职，并随即在他的故乡参加州众议员重选，并在任至1784年。1785年及1786年，马歇尔未再参加竞选，但1787年又于里土满所在的亨利哥郡（Henrico County）当选为州众议员，且连任至1791年。其后，他当专业律师3年--1795至1797年后再次出任州众议员。而在他出任州众议员期间，他一直担任该院法院委员会委员。

马歇尔的律师业务，自接受雇主委托后，虽系周旋于当时该州最著名的同业之间，但由于他过人的辩才，不久便声誉日隆。他能敏锐地对案件有关的资料迅即心领神会，想出对方律师所能提出的论点。他本人的论据常是基于普通常识，对法律作公正而适切的解释，而非基于英国的先例。他一向很少引用判例或引证法律权威的言论。1786年，他承办了海特控诉费尔发斯（Hite vFairfax）这一重大案件。该案是关系费尔发斯勋爵在波多麦克（Potomac）上游及拉柏汉诺克（Rappahannock）之间，一般人称之为弗吉尼亚北方颈部的一大片土地的原始所有权。他代表地主被告出庭，结果胜诉。从此声名大噪，并一直出任弗吉尼亚律师公会的领袖。

1788年，他被选为弗吉尼亚州批准联邦新宪法大会的代表。在大会中，他不但是主要的领导人物，并与詹姆斯·麦迪逊（James Madison）共同热烈鼓吹迅予接受，终使联邦新宪法在该州不附任何修正案即获批准。他虽然坚定地支持华盛顿总统，但1795年，当华盛顿请他出任司法部长（attorneygeneral），及翌年在詹姆斯·门罗（James Monroe）退休后，又请他出任驻法大使（Minister to France）时，两次均被他婉拒，原因是他认为担任律师地位同样尊荣且富于自主性及为其所喜好。不过，1797年约翰·亚当斯（John Adams）总统终于说服他出任著名的XYZ委员会（XYZCommission）三人委员之一，跟查尔斯·平克尼（Charles Pinckney）和埃尔布里奇·格里（Elbridge Gerry）一同前往巴黎，与法国谈判有关法国干预美国贸易的各种问题。该次谈判的使命虽然失败，可是马歇尔坚拒法方人员要求贿赂义正辞严的态度，却甚获美国人民的欣赏，加上他们愤慨美国外交人员在法国所遭受的待遇，因而马歇尔归国后遂成为深受群众欢迎及家喻户晓的人物。就是由于他这回出使极孚众望以及得帕特里克·亨利热烈为其宣传，1799年的春天，他便以联邦党人（Federalist）的身份在弗吉尼亚首府当选为美国国会众议院议员，虽然当时里土满的一般人在感觉上却大为赞同反对党或共和党（Republican Party）。在国会里，他最突出的表现就是对托马斯·纳什（Thomas Nash）别名乔纳森·罗宾斯（Jonathan Robbins）一案的发言。他指出在美国宪法中，并无任何限制联邦政府履行引渡条约的规定。