Em 14 de junho, data da Convenção estava pronto para considerar o relatório sobre o plano da Virgínia, William Paterson, de Nova Jersey, solicitou um adiamento para dar a certas delegações mais tempo para preparar um plano substituto. O pedido foi atendido e, no dia seguinte, Paterson apresentou nove resoluções contendo as emendas necessárias aos Artigos da Confederação, que foi seguido por um vigoroso debate. Em 19 de junho, os delegados rejeitaram o Plano de Nova Jersey e votaram para prosseguir com a discussão do Plano de Virgínia. Os pequenos Estados tornaram-se cada vez mais descontentes e algumas ameaças tentado retirar-se. Em 2 de julho, a Convenção chegou a um impasse sobre dar a cada Estado um voto igual na Câmara alta, com cinco Estados na afirmativa, cinco na negativa e um dividido.

O problema foi encaminhado a uma comissão consistindo de um delegado de cada Estado para chegar a um compromisso. Em 5 de julho, o comitê apresentou seu relatório, que se tornou a base para o “Grande Compromisso” da Convenção. O relatório recomendava que na câmara alta cada Estado tivesse igual voto e, na câmara baixa, cada Estado tivesse um representante para cada 40.000 habitantes, contando os escravos como três quintos de um habitante, e que as contas de dinheiro deveriam ter origem em a câmara baixa (não sujeita a emendas pela câmara alta).

Após seis semanas de turbulência, a Carolina do Norte mudou seu voto para representação igual por estado, Massachusetts se absteve e um acordo foi alcançado, sendo chamado de “Grande compromisso”. No “Grande Compromisso”, cada estado recebeu representação igual, anteriormente conhecida como Plano de Nova Jersey, em uma casa do Congresso, e representação proporcional, conhecida antes como Plano de Virgínia, na outra. Por ser considerada mais sensível ao sentimento da maioria, a Câmara dos Representantes recebeu o poder de originar toda a legislação que trata do orçamento federal e receitas / impostos, de acordo com a Cláusula de Originação.

Roger Sherman e Oliver Ellsworth, ambos da delegação de Connecticut, criaram um compromisso que, em certo sentido, combinava as propostas de Virginia (estado grande) e Nova Jersey (estado pequeno) com relação à distribuição pelo Congresso. Em última análise, porém, sua principal contribuição foi na determinação do rateio do Senado. Sherman apoiou a legislatura nacional de duas casas do Plano da Virgínia, mas propôs “Que a proporção de sufrágio no 1.º ramo seja de acordo com os respectivos números de habitantes livres; e que no segundo ramo ou Senado, cada estado deve tenha um voto e não mais. ” Embora Sherman fosse muito querido e respeitado entre os delegados, seu plano falhou no início. Só em 23 de julho é que a representação foi finalmente resolvida.

O que acabou sendo incluído na constituição foi uma forma modificada desse plano, em parte porque os estados maiores não gostavam dele. Na comissão, Benjamin Franklin modificou a proposta de Sherman para torná-la mais aceitável para os estados maiores. Ele acrescentou a exigência de que os projetos de receita se originem na Câmara.

A votação sobre o Compromisso de Connecticut em 16 de julho deixou o O Senado se parece com o Congresso da Confederação. Nas semanas anteriores de debate, James Madison da Virgínia, Rufus King de Nova York e Gouverneur Morris da Pensilvânia se opuseram veementemente ao acordo por esse motivo. Para os nacionalistas, o voto da Convenção a favor do compromisso foi uma derrota impressionante. No entanto, em 23 de julho, eles encontraram uma maneira de salvar sua visão de um Senado de elite independente. Pouco antes de a maior parte do trabalho da convenção ser encaminhado ao Comitê de Detalhe, Gouverneur Morris e Rufus King propuseram que “os membros do Senado recebessem votos individuais, em vez de votarem em bloco, como fizeram no Congresso da Confederação. Então Oliver Ellsworth, um dos principais proponentes do Compromisso de Connecticut, apoiou sua moção, e a Convenção chegou a um compromisso duradouro.

Visto que a Convenção havia concordado com a proposta do Plano da Virgínia de que os senadores têm mandatos longos, restaurar a visão daquele Plano de senadores individualmente poderosos impediu o Senado de se tornar uma forte salvaguarda do federalismo. Os governos estaduais perderam sua voz direta nas decisões do Congresso de fazer leis nacionais. Como os senadores pessoalmente influentes receberam mandatos muito mais longos do que os legisladores estaduais que os elegeram, eles se tornaram substancialmente independentes.O acordo continuou a servir aos interesses próprios dos líderes políticos de pequenos estados, que tinham acesso garantido a mais cadeiras no Senado do que poderiam obter de outra forma.