14. června, kdy bude konvence byl připraven posoudit zprávu o plánu ve Virginii, požádal William Paterson z New Jersey o odročení, aby určité delegace měly více času na přípravu náhradního plánu. Žádosti bylo vyhověno a následujícího dne Paterson předložil devět rezolucí obsahujících nezbytné změny k článkům Konfederace, po nichž následovala energická debata. Dne 19. června delegáti odmítli New Jerseyský plán a hlasovali pro pokračování diskuse o Virginském plánu. Malé státy byly stále více nespokojené a některé hrozby ened stáhnout. 2. července byla úmluva zablokovaná kvůli tomu, že každému státu bylo v horní komoře uděleno rovnocenné hlasování, přičemž pět států souhlasilo, pět bylo záporných a jeden byl rozdělen.

Problém byl postoupen výboru skládající se z jednoho delegáta z každého státu za účelem dosažení kompromisu. 5. července předložil výbor zprávu, která se stala základem „velkého kompromisu“ úmluvy. Zpráva doporučila, aby v horní komoře měl každý stát stejný hlas a v dolní komoře měl každý stát jednoho zástupce na každých 40 000 obyvatel, přičemž otroky se počítají jako tři pětiny obyvatel, a aby peněžní poukázky pocházely z dolní komora (nepodléhá změnám horní komory).

Po šesti týdnech nepokojů změnila Severní Karolína své hlasování na stejné zastoupení za každý stát, Massachusetts se zdržel hlasování a bylo dosaženo kompromisu s názvem „Velký kompromis“. Ve „Velkém kompromisu“ dostalo každý stát v jedné sněmovně Kongresu stejné zastoupení, dříve známé jako New Jerseyův plán, a ve druhé poměrné zastoupení, dříve známé jako Virginský plán. Vzhledem k tomu, že to bylo považováno za vnímavější k sentimentu většiny, dostala Sněmovna reprezentantů pravomoc vytvářet veškerou legislativu týkající se federálního rozpočtu a výnosů / daní podle Klauzule o původu.

Roger Sherman a Oliver Ellsworth, obě delegace v Connecticutu vytvořily kompromis, který v jistém smyslu spojil návrhy Virginie (velký stát) a New Jersey (malý stát) týkající se rozdělení kongresů. Nakonec však jeho hlavním přínosem bylo určení rozdělení Senátu. Sherman se postavil na stranu dvoukomorového vnitrostátního zákonodárného sboru Virginského plánu, ale navrhl: „Podíl volebního práva v 1. Pobočce by mělo odpovídat příslušnému počtu svobodných obyvatel; a že ve druhé větvi nebo Senátu by měl každý stát mít jeden hlas a ne více. “ Ačkoli byl Sherman mezi delegáty velmi oblíbený a respektovaný, jeho plán nejprve selhal. Zastoupení bylo definitivně vyřešeno až 23. července.

To, co bylo nakonec zahrnuto do ústavy, byla upravená podoba tohoto plánu, částečně proto, že se to velkým státům nelíbilo. Ve výboru Benjamin Franklin upravil Shermanův návrh tak, aby byl přijatelnější pro větší státy. Dodal požadavek, aby účty příjmů pocházely ze sněmovny.

Hlasování o kompromisu v Connecticutu 16. července opustilo Senát, který vypadá jako Konfederační kongres. V předchozích týdnech debaty se proti kompromisu z tohoto důvodu rázně postavili James Madison z Virginie, Rufus, král New Yorku, a Gouverneur Morris z Pensylvánie. Podle nacionalistů hlasoval Konvent za kompromis byla ohromující porážka. 23. července však našli způsob, jak zachránit svou vizi elitního nezávislého Senátu. Těsně předtím, než byla většina práce konvence postoupena Výboru pro detail, navrhli Gouverneur Morris a Rufus King, že státy „členům Senátu bude dáno individuální hlasování, nikoli hlasování en bloc, jak tomu bylo na Kongresu konfederace. Poté Oliver Ellsworth, přední zastánce kompromisu v Connecticutu, podpořil jejich návrh a Konvent dosáhl trvalého kompromisu.

Vzhledem k tomu, že Konvent brzy souhlasil s návrhem Virginského plánu, že senátoři mají dlouhá období, obnovení vize Planina individuálně mocných senátorů zastavilo, aby se Senát stal silnou ochranou federalismu. Státní vlády ztratily své přímé slovo při rozhodování Kongresu o přijímání národních zákonů. Protože osobně vlivní senátoři dostávali volební období mnohem déle než státní zákonodárci, kteří je zvolili, stali se v podstatě nezávislými.Kompromis nadále sloužil vlastním zájmům politických vůdců malých států, kterým byl zajištěn přístup k více křeslům v Senátu, než by jinak získali.