Pe 14 iunie, când Convenția a fost gata să ia în considerare raportul privind planul Virginia, William Paterson din New Jersey a solicitat o amânare pentru a acorda anumitor delegații mai mult timp pentru a pregăti un plan substitut. Cererea a fost acceptată și, în ziua următoare, Paterson a prezentat nouă rezoluții care încorporează modificările necesare. la articolele Confederației, care a fost urmată de o dezbatere puternică. Pe 19 iunie, delegații au respins Planul New Jersey și au votat să continue o discuție despre Planul Virginia. Micile state au devenit din ce în ce mai nemulțumite și unele amenințări ened să se retragă. La 2 iulie, Convenția a fost blocată pentru a da fiecărui stat un vot egal în camera superioară, cu cinci state afirmative, cinci în negativ și unul împărțit.

Problema a fost sesizată unui comitet format dintr-un delegat din fiecare stat pentru a ajunge la un compromis. La 5 iulie, comitetul și-a prezentat raportul, care a devenit baza „Marelui compromis” al Convenției. Raportul a recomandat ca în camera superioară fiecare stat să aibă un vot egal, iar în camera inferioară, fiecare stat să aibă un reprezentant pentru fiecare 40.000 de locuitori, numărându-i pe sclavi drept trei cincimi dintr-un locuitor, iar facturile de bani să provină din camera inferioară (care nu poate fi modificată de camera superioară).

După șase săptămâni de frământări, Carolina de Nord și-a schimbat votul pentru reprezentare egală pe stat, Massachusetts s-a abținut și s-a ajuns la un compromis, fiind numit „Mare compromis”. În „Marele compromis”, fiecărui stat i s-a acordat o reprezentare egală, cunoscută anterior sub numele de Planul New Jersey, într-o casă a Congresului, și o reprezentare proporțională, cunoscută anterior ca Planul Virginia, în cealaltă. Deoarece a fost considerată mai receptivă la sentimentul majorității, Camerei Reprezentanților i s-a conferit puterea de a iniția toate legislațiile care se referă la bugetul federal și la venituri / impozitare, conform clauzei de inițiere.

Roger Sherman și Oliver Ellsworth, ambele delegații din Connecticut au creat un compromis care, într-un fel, a amestecat propunerile Virginia (stat mare) și New Jersey (stat mic) cu privire la repartizarea congresului. În cele din urmă, însă, principala sa contribuție a fost determinarea repartizării Senatului. Sherman s-a alăturat legislativului național din două planuri al Planului Virginia, dar a propus „Ca proporția votului din prima. Filială să fie în funcție de numărul respectiv de locuitori liberi; și că în a doua filială sau Senat, fiecare stat ar trebui au un singur vot și nu mai mult „. Deși Sherman a fost foarte apreciat și respectat în rândul delegaților, planul său a eșuat la început. Abia pe 23 iulie s-a stabilit definitiv reprezentarea.

Ceea ce a fost în cele din urmă inclus în constituție a fost o formă modificată a acestui plan, parțial pentru că statelor mai mari nu le-a plăcut. În comisie, Benjamin Franklin a modificat propunerea lui Sherman de a o face mai acceptabilă pentru statele mai mari. El a adăugat cerința ca facturile de venituri să provină din Cameră.

Votul privind compromisul din Connecticut din 16 iulie a părăsit Senatul arăta ca Congresul Confederației. În săptămânile precedente de dezbatere, James Madison din Virginia, Rufus King din New York și Gouverneur Morris din Pennsylvania s-au opus cu fermitate compromisului din acest motiv. Pentru naționaliști, votul Convenției pentru compromisul a fost o înfrângere uimitoare. Cu toate acestea, pe 23 iulie, au găsit o modalitate de a-și salva viziunea unui Senat de elită, independent. Chiar înainte ca majoritatea lucrărilor convenției să fie trimise către Comitetul de detaliu, Gouverneur Morris și Rufus King au propus ca statelor „membrilor Senatului să li se acorde voturi individuale, mai degrabă decât să voteze în bloc, așa cum au avut în Congresul Confederației. Apoi, Oliver Ellsworth, un susținător principal al Compromisului din Connecticut, le-a susținut moțiunea, iar Convenția a ajuns la compromisul durabil.

Întrucât Convenția a acceptat timpuriu propunerea Planului Virginia conform căreia senatorii au termen lung, restabilirea viziunii planului despre senatori puternici individual, a oprit Senatul să devină o garanție puternică a federalismului. Guvernele de stat și-au pierdut cuvântul direct în deciziile Congresului de a adopta legi naționale. Deoarece senatorii cu influență personală au primit termene mult mai lungi decât legiuitorii de stat care i-au ales, aceștia au devenit substanțial independenți.Compromisul a continuat să servească interesele proprii ale liderilor politici ai statelor mici, cărora li s-a asigurat accesul la mai multe locuri din Senat decât ar fi putut obține altfel.