14 czerwca, kiedy konwencja był gotowy rozpatrzyć raport dotyczący planu w Wirginii, William Paterson z New Jersey poprosił o odroczenie, aby dać niektórym delegacjom więcej czasu na przygotowanie planu zastępczego. Wniosek został przyjęty i następnego dnia Paterson przedstawił dziewięć rezolucji zawierających niezbędne poprawki do Statutu Konfederacji, po którym nastąpiła ożywiona debata. 19 czerwca delegaci odrzucili plan z New Jersey i zagłosowali za kontynuacją dyskusji na temat planu z Wirginii. Małe państwa stawały się coraz bardziej niezadowolone, a pewne zagrożenie się wycofać. 2 lipca Konwencja utknęła w martwym punkcie w kwestii przyznania każdemu państwu równych głosów w izbie wyższej, z pięcioma stanami twierdzącymi, pięcioma przeczącymi i jednym podzielonym.

Problem został przekazany komisji składający się z jednego delegata z każdego stanu w celu osiągnięcia kompromisu. 5 lipca komisja przedstawiła swój raport, który stał się podstawą „Wielkiego kompromisu” Konwencji. Raport zalecał, aby w izbie wyższej każdy stan miał równy głos, aw izbie niższej każdy stan miał jednego przedstawiciela na każde 40 000 mieszkańców, licząc niewolników jako trzy piąte mieszkańca, a bony pieniężne powinny pochodzić z izba niższa (nie podlega poprawce przez izbę wyższą).

Po sześciu tygodniach zamieszania Karolina Północna zmieniła swój głos na równą reprezentację każdego stanu, Massachusetts wstrzymało się od głosu i osiągnięto kompromis, nazywany „Wielki kompromis”. W „Wielkim kompromisie” każdemu stanowi dano równą reprezentację, znaną wcześniej jako Plan New Jersey, w jednej izbie Kongresu i reprezentację proporcjonalną, znaną wcześniej jako Plan Wirginii, w drugiej. Ponieważ uznano, że Izba Reprezentantów jest bardziej wrażliwa na nastroje większości, Izba Reprezentantów otrzymała uprawnienia do tworzenia wszelkich przepisów dotyczących budżetu federalnego i dochodów / podatków, zgodnie z klauzulą pochodzenia.

Roger Sherman i Oliver Ellsworth, obie delegacje Connecticut stworzyły kompromis, który w pewnym sensie połączył propozycje Wirginii (duże stany) i New Jersey (małe stany) dotyczące podziału w Kongresie. Ostatecznie jednak jego główny wkład polegał na ustaleniu składu Senatu. Sherman opowiedział się po stronie dwuizbowej legislatury narodowej Planu Wirginii, ale zaproponował, aby „proporcja praw wyborczych w pierwszym oddziale była zgodna z odpowiednią liczbą wolnych mieszkańców; a w drugiej izbie lub w Senacie każdy stan powinien mieć jeden głos i nie więcej ”. Chociaż Sherman był lubiany i szanowany przez delegatów, jego plan z początku zawiódł. Dopiero 23 lipca ostatecznie ustalono reprezentację.

Ostatecznie konstytucja zawierała zmodyfikowaną formę tego planu, po części dlatego, że większe państwa go nie lubiły. W komisji Benjamin Franklin zmodyfikował propozycję Shermana, aby uczynić ją bardziej akceptowalną dla większych stanów. Dodał wymóg, aby rachunki za przychody pochodziły z Izby Reprezentantów.

Głosowanie w sprawie kompromisu Connecticut 16 lipca opuściło Senat wygląda jak Kongres Konfederacji. W poprzednich tygodniach debaty James Madison z Wirginii, Rufus King z Nowego Jorku i Gouverneur Morris z Pensylwanii stanowczo sprzeciwiali się kompromisowi z tego powodu. Dla nacjonalistów głos Konwentu za kompromis był oszałamiającą porażką. Jednak 23 lipca znaleźli sposób na uratowanie swojej wizji elitarnego, niezależnego Senatu. Tuż przed przekazaniem większości prac konwentu do Komisji ds. Szczegółów, Gouverneur Morris i Rufus King stwierdzili, że „członkom Senatu przyznaje się indywidualne głosy, zamiast głosować en bloc, jak to miało miejsce w Kongresie Konfederacji. Następnie Oliver Ellsworth, czołowy orędownik kompromisu z Connecticut, poparł ich wniosek i Konwencja osiągnęła trwały kompromis.

Ponieważ Konwent wcześnie zgodził się na propozycję Planu Wirginii, że senatorowie mają długie kadencje, przywrócenie wizji tego Planu, dotyczącej indywidualnie wpływowych senatorów, sprawiło, że Senat nie stał się silnym strażnikiem federalizmu. Rządy stanowe straciły bezpośredni wpływ na decyzje Kongresu dotyczące tworzenia praw krajowych. Ponieważ osobiście wpływowi senatorowie otrzymywali mandaty znacznie dłuższe niż ustawodawcy, którzy ich wybrali, stali się zasadniczo niezależni.Kompromis nadal służył interesom własnym przywódców politycznych małych państw, którym zapewniono dostęp do większej liczby miejsc w Senacie, niż mogliby uzyskać w innym przypadku.