El 14 de junio, cuando la Convención estaba dispuesto a considerar el informe sobre el plan de Virginia, William Paterson, de Nueva Jersey, solicitó un aplazamiento para que determinadas delegaciones dispusieran de más tiempo para preparar un plan sustituto. Se concedió la solicitud y, al día siguiente, Paterson presentó nueve resoluciones que incorporan las enmiendas necesarias a los Artículos de la Confederación, que fue seguido por un vigoroso debate. El 19 de junio, los delegados rechazaron el Plan de Nueva Jersey y votaron a favor de proceder con una discusión sobre el Plan de Virginia. Los pequeños Estados estaban cada vez más descontentos, y algunas amenazas ened a retirarse. El 2 de julio, la Convención quedó en un punto muerto al otorgar a cada Estado un voto igual en la cámara alta, con cinco Estados a favor, cinco en negativo y uno dividido.

El problema se remitió a un comité. compuesto por un delegado de cada Estado para llegar a un compromiso. El 5 de julio, el comité presentó su informe, que se convirtió en la base del «Gran Compromiso» de la Convención. El informe recomendó que en la cámara alta cada Estado debería tener un voto igual, y en la cámara baja, cada Estado debería tener un representante por cada 40.000 habitantes, contando a los esclavos como tres quintas partes de un habitante, y que los billetes de dinero deberían tener su origen en la cámara baja (no sujeto a enmienda por la cámara alta).

Después de seis semanas de agitación, Carolina del Norte cambió su voto a una representación equitativa por estado, Massachusetts se abstuvo y se llegó a un compromiso, siendo llamado «Gran Compromiso». En el «Gran Compromiso», todos los estados recibieron la misma representación, anteriormente conocida como Plan de Nueva Jersey, en una cámara del Congreso, y representación proporcional, conocida antes como el Plan de Virginia, en la otra. Debido a que se consideró que respondía mejor al sentimiento de la mayoría, la Cámara de Representantes recibió el poder de crear toda la legislación relacionada con el presupuesto federal y los ingresos / impuestos, según la Cláusula de Originación.

Roger Sherman y Oliver Ellsworth, ambos de la delegación de Connecticut, crearon un compromiso que, en cierto sentido, combinó las propuestas de Virginia (estado grande) y Nueva Jersey (estado pequeño) con respecto a la distribución del Congreso. En última instancia, sin embargo, su principal contribución fue determinar la distribución del Senado. Sherman se puso del lado de la legislatura nacional de dos cámaras del Plan de Virginia, pero propuso «que la proporción de sufragio en la primera rama debe ser de acuerdo con el número respectivo de habitantes libres; y que en la segunda rama o el Senado, cada estado debe tenga un voto y no más «. Aunque Sherman era muy querido y respetado entre los delegados, su plan fracasó al principio. No fue hasta el 23 de julio que finalmente se resolvió la representación.

Lo que finalmente se incluyó en la constitución fue una forma modificada de este plan, en parte porque a los estados más grandes no les gustó. En el comité, Benjamin Franklin modificó la propuesta de Sherman para hacerla más aceptable para los estados más grandes. Agregó el requisito de que los proyectos de ley de ingresos se originen en la Cámara.

La votación sobre el Compromiso de Connecticut el 16 de julio dejó el Senado que se parece al Congreso de la Confederación. En las semanas anteriores de debate, James Madison de Virginia, Rufus King de Nueva York y Gouverneur Morris de Pensilvania se opusieron vigorosamente al compromiso por esta razón. Para los nacionalistas, el voto de la Convención a favor de el compromiso fue una derrota asombrosa. Sin embargo, el 23 de julio encontraron una manera de salvar su visión de un Senado independiente de élite. Justo antes de que la mayor parte del trabajo de la convención fuera remitido al Comité de Detalle, Gouverneur Morris y Rufus King propusieron que los estados «a los miembros del Senado se les otorguen votos individuales, en lugar de votar en bloque, como lo habían hecho en el Congreso de la Confederación». Luego, Oliver Ellsworth, uno de los principales defensores del Compromiso de Connecticut, apoyó su moción y la Convención llegó a un compromiso duradero.

Dado que la Convención había aceptado desde el principio la propuesta del Plan Virginia de que los senadores tienen mandatos prolongados, restaurar la visión de ese Plan de senadores individualmente poderosos impidió que el Senado se convirtiera en una fuerte salvaguardia del federalismo. Los gobiernos estatales perdieron su voz directa en las decisiones del Congreso para hacer leyes nacionales. Como los senadores personalmente influyentes recibieron mandatos mucho más largos que los legisladores estatales que los eligieron, se volvieron sustancialmente independientes.El compromiso continuó sirviendo a los intereses propios de los líderes políticos de los estados pequeños, a quienes se les aseguró el acceso a más escaños en el Senado de los que hubieran obtenido de otra manera.