Op 14 juni, toen de Conventie bereid was om het rapport over het plan van Virginia in overweging te nemen, verzocht William Paterson uit New Jersey om uitstel om bepaalde delegaties meer tijd te geven om een vervangend plan voor te bereiden. Het verzoek werd ingewilligd en de volgende dag diende Paterson negen resoluties in met de nodige wijzigingen bij de artikelen van de Confederatie, die werd gevolgd door een krachtig debat. Op 19 juni verwierpen de afgevaardigden het plan van New Jersey en stemden om door te gaan met een bespreking van het plan van Virginia. De kleine staten raakten in toenemende mate ontevreden, en enige bedreiging ened zich terug te trekken. Op 2 juli liep de Conventie vast omdat elke staat een gelijke stem had in het Hogerhuis, met vijf staten positief, vijf negatief en één verdeeld.

Het probleem werd voorgelegd aan een commissie bestaande uit een afgevaardigde van elke staat om een compromis te bereiken. Op 5 juli diende de commissie haar rapport in, dat de basis werd voor het “Grote Compromis” van de Conventie. In het rapport werd aanbevolen dat in het Hogerhuis elke Staat een gelijke stem zou hebben, en in het Lagerhuis zou elke Staat één vertegenwoordiger per 40.000 inwoners moeten hebben, slaven als drie vijfde van een inwoner geteld, en dat geldrekeningen afkomstig moeten zijn uit het lagerhuis (niet onderhevig aan wijziging door de hogere kamer).

Na zes weken van onrust schakelde North Carolina zijn stem over naar gelijke vertegenwoordiging per staat, Massachusetts onthield zich van stemming en er werd een compromis bereikt, dat de “Groot compromis”. In het ‘Grote Compromis’ kreeg elke staat een gelijke vertegenwoordiging, voorheen bekend als het New Jersey Plan, in het ene Huis van het Congres, en evenredige vertegenwoordiging, voorheen bekend als het Virginia Plan, in het andere. Omdat het geacht werd beter in te spelen op het meerderheidssentiment, kreeg het Huis van Afgevaardigden de bevoegdheid om alle wetgeving op te stellen die betrekking heeft op de federale begroting en inkomsten / belastingen, volgens de Origination Clause.

Roger Sherman en Oliver Ellsworth, de beide delegaties van Connecticut kwamen tot een compromis dat in zekere zin de voorstellen van Virginia (grote staat) en New Jersey (kleine staat) met betrekking tot de verdeling van het congres combineerde. Maar uiteindelijk was de belangrijkste bijdrage het bepalen van de verdeling van de Senaat. Sherman koos de kant van de tweehuishoudelijke wetgevende macht van het Virginia Plan, maar stelde voor: ‘Dat het aandeel van het kiesrecht in de eerste tak moet zijn in overeenstemming met het respectieve aantal vrije inwoners; en dat in de tweede tak of de senaat elke staat zou moeten één stem hebben en niet meer. ” Hoewel Sherman geliefd en gerespecteerd werd onder de afgevaardigden, mislukte zijn plan aanvankelijk. Pas op 23 juli werd de vertegenwoordiging definitief geregeld.

Wat uiteindelijk in de grondwet werd opgenomen, was een gewijzigde vorm van dit plan, deels omdat de grotere staten er een hekel aan hadden. In de commissie wijzigde Benjamin Franklin het voorstel van Sherman om het acceptabeler te maken voor de grotere staten. Hij voegde de eis toe dat de inkomstenrekeningen afkomstig zijn van het Huis.

De stemming over het Compromis van Connecticut op 16 juli verliet de Senaat ziet eruit als het Confederation Congress. In de voorgaande weken van het debat waren James Madison van Virginia, Rufus King van New York en Gouverneur Morris van Pennsylvania elk om deze reden krachtig tegen het compromis. Voor de nationalisten stemden de Conventie voor de compromis was een verbluffende nederlaag. Op 23 juli vonden ze echter een manier om hun visie van een elite, onafhankelijke senaat te redden. Net voordat het meeste werk van de conventie werd verwezen naar het Comité van Detail, beweerden Gouverneur Morris en Rufus King dat staten “leden in de Senaat individuele stemmen krijgen in plaats van en bloc te stemmen, zoals ze hadden gedaan in het Confederation Congress. Vervolgens steunde Oliver Ellsworth, een vooraanstaand voorstander van het Compromis van Connecticut, hun motie, en de Conventie bereikte het blijvende compromis.

Aangezien de Conventie al vroeg had ingestemd met het voorstel van het Virginia Plan dat senatoren een lange termijn hebben, het herstellen van de visie van dat Plan van individueel machtige senatoren verhinderde dat de Senaat een sterke waarborg van het federalisme werd. De regeringen van de staat verloren hun directe zeggenschap in de besluiten van het Congres om nationale wetten te maken. Omdat de persoonlijk invloedrijke senatoren veel langere termijnen kregen dan de staatswetgevers die hen verkozen, werden ze in wezen onafhankelijk.Het compromis bleef het eigenbelang dienen van politieke leiders van kleine staten, die verzekerd waren van toegang tot meer zetels in de Senaat dan ze anders misschien hadden kunnen krijgen.