14. juni da konvensjonen var klar til å vurdere rapporten om Virginia-planen, William Paterson fra New Jersey ba om utsettelse for å gi visse delegasjoner mer tid til å utarbeide en erstatningsplan. Forespørselen ble imøtekommet, og neste dag sendte Paterson ni resolusjoner med de nødvendige endringene. til Articles of Confederation, som ble fulgt av en kraftig debatt. 19. juni avviste delegatene New Jersey-planen og stemte for å fortsette med en diskusjon om Virginia-planen. De små statene ble stadig mer misfornøyde og noen trussel ened å trekke seg. 2. juli var konvensjonen fastlåst fordi den ga hver stat like stor stemme i overhuset, med fem stater bekreftende, fem benektende og en delt.

Problemet ble henvist til en komité. bestående av en delegat fra hver stat for å komme til et kompromiss. 5. juli la komiteen fram sin rapport, som ble grunnlaget for konvensjonens «store kompromiss». Rapporten anbefalte at hver stat skulle ha lik stemme i overhuset, og i underhuset skulle hver stat ha en representant for hver 40 000 innbyggere, og telle slaver som tre femtedeler av en innbygger, og at pengesedler skulle stamme fra underhuset (ikke underlagt endringer fra øvre kammer).

Etter seks ukers uro byttet North Carolina sin stemme til lik representasjon per stat, Massachusetts avsto fra, og det ble nådd et kompromiss, som ble kalt «Stor kompromiss». I det «store kompromisset» fikk hver stat lik representasjon, tidligere kjent som New Jersey-planen, i det ene kongresshuset, og proporsjonal representasjon, kjent tidligere som Virginia-planen, i det andre. Fordi det ble ansett som mer lydhørt overfor flertalsstemning, fikk representanthuset makten til å opprette all lovgivning som omhandler føderalt budsjett og inntekter / beskatning, i henhold til opprinnelsesklausulen.

Roger Sherman og Oliver Ellsworth, begge Connecticut-delegasjonene opprettet et kompromiss som på en måte blandet Virginia (storstat) og New Jersey (småstat) forslag angående fordelingen av kongressen. Til slutt var imidlertid hovedbidraget i å bestemme fordelingen av senatet. Sherman stilte seg med den to-hus nasjonale lovgiveren i Virginia-planen, men foreslo «at andelen av stemmerett i 1. avdeling skulle være i henhold til det respektive antall gratis innbyggere; og at i den andre grenen eller senatet, hver stat skulle har en stemme og ikke mer. » Selv om Sherman var godt likt og respektert blant delegatene, mislyktes planen først. Det var først 23. juli at representasjonen endelig ble avgjort.

Det som til slutt ble inkludert i grunnloven, var en modifisert form av denne planen, delvis fordi de større statene ikke likte den. I komiteen modifiserte Benjamin Franklin Shermans forslag for å gjøre det mer akseptabelt for de større statene. Han la til kravet om at inntektsregninger stammer fra huset.

Avstemningen om Connecticut-kompromisset 16. juli forlot Senatet ser ut som Confederation Congress. I de foregående ukene av debatt motsatte James Madison fra Virginia, Rufus King of New York og Gouverneur Morris fra Pennsylvania hver for seg kraftig kompromisset av denne grunn. For nasjonalistene stemmer konvensjonen for kompromiss var et fantastisk nederlag. 23. juli fant de imidlertid en måte å berge visjonen om et elite, uavhengig senat. Rett før det meste av konvensjonens arbeid ble henvist til detaljkomiteen, beveget Gouverneur Morris og Rufus King at stater «medlemmer i Senatet får individuelle stemmer, i stedet for å stemme en blokk, slik de hadde i Konføderasjonskongressen. Da støttet Oliver Ellsworth, en ledende talsmann for Connecticut-kompromisset, deres bevegelse, og konvensjonen nådde det varige kompromisset.

Siden konvensjonen tidlig hadde godtatt i Virginia-planens forslag om at senatorer har lange perioder, gjenopprette planens visjon om individuelt mektige senatorer stoppet senatet fra å bli en sterk beskyttelse av føderalismen. Statlige regjeringer mistet sitt direkte ord i Kongressens beslutninger om å lage nasjonale lover. Da de personlig innflytelsesrike senatorene fikk vilkår mye lenger enn de statslovgiverne som valgte dem, ble de vesentlig uavhengige.Kompromisset fortsatte å tjene selvinteressene til politiske ledere i de små statene, som var sikret tilgang til flere seter i Senatet enn de ellers kunne ha fått.