Le 14 juin, lorsque la Convention était prêt à examiner le rapport sur le plan de la Virginie, William Paterson du New Jersey a demandé un ajournement afin de laisser à certaines délégations plus de temps pour préparer un plan de remplacement. La demande a été acceptée et, le lendemain, Paterson a présenté neuf résolutions contenant les amendements nécessaires aux articles de la Confédération, qui a été suivi d’un débat animé. Le 19 juin, les délégués ont rejeté le plan du New Jersey et ont voté en faveur d’une discussion sur le plan de la Virginie. Les petits États sont devenus de plus en plus mécontents et certains se retirer. Le 2 juillet, la Convention était dans l’impasse en donnant à chaque État un vote égal à la chambre haute, avec cinq États pour l’affirmative, cinq pour la négative et un pour la division.

Le problème a été renvoyé à un comité composé d’un délégué de chaque État pour parvenir à un compromis. Le 5 juillet, le comité a présenté son rapport, qui est devenu la base du «grand compromis» de la Convention. Le rapport recommandait que dans la chambre haute chaque État devrait avoir un vote égal, et à la chambre basse, chaque État devrait avoir un représentant pour 40000 habitants, comptant les esclaves comme les trois cinquièmes d’un habitant, et que les factures d’argent devraient provenir de la chambre basse (non sujette à amendement par la chambre haute).

Après six semaines de troubles, la Caroline du Nord a changé son vote pour une représentation égale par État, le Massachusetts s’est abstenu et un compromis a été trouvé, étant « Grand compromis ». Dans le « Grand Compromis », chaque État a reçu une représentation égale, auparavant connue sous le nom de Plan du New Jersey, dans une chambre du Congrès, et une représentation proportionnelle, connue auparavant sous le nom de Plan Virginie, dans l’autre. Parce qu’elle était considérée comme plus sensible au sentiment de la majorité, la Chambre des représentants a reçu le pouvoir de rédiger toutes les lois traitant du budget fédéral et des revenus / fiscalité, conformément à la clause d’origine.

Roger Sherman et Oliver Ellsworth, tous deux de la délégation du Connecticut, ont créé un compromis qui, dans un sens, mélangeait les propositions de la Virginie (grand État) et du New Jersey (petit État) concernant la répartition du Congrès. En fin de compte, cependant, sa principale contribution a été de déterminer la répartition du Sénat. Sherman s’est rangé du côté de la législature nationale à deux chambres du plan de Virginie, mais a proposé «Que la proportion de suffrage dans la première branche soit en fonction du nombre respectif d’habitants libres; et que dans la deuxième branche ou Sénat, chaque État devrait avoir une voix et pas plus.  » Bien que Sherman fût très apprécié et respecté parmi les délégués, son plan échoua au début. Ce n’est que le 23 juillet que la représentation a finalement été réglée.

Ce qui a finalement été inclus dans la constitution était une forme modifiée de ce plan, en partie parce que les grands États ne l’aimaient pas. En commission, Benjamin Franklin a modifié la proposition de Sherman pour la rendre plus acceptable pour les grands États. Il a ajouté l’exigence que les factures de recettes proviennent de la Chambre.

Le vote sur le compromis du Connecticut le 16 juillet a laissé le Sénat ressemblant au Congrès de la Confédération. Au cours des semaines de débat précédentes, James Madison de Virginie, Rufus King de New York et Gouverneur Morris de Pennsylvanie se sont vigoureusement opposés au compromis pour cette raison. Pour les nationalistes, le vote de la Convention le compromis était une défaite stupéfiante. Cependant, le 23 juillet, ils ont trouvé un moyen de sauver leur vision d’un Sénat d’élite indépendant. Juste avant que la plupart des travaux de la convention ne soient renvoyés au Comité de détail, le Gouverneur Morris et Rufus King ont proposé que les États «membres du Sénat reçoivent des votes individuels, plutôt que de voter en bloc, comme ils l’avaient fait au Congrès de la Confédération. Puis Oliver Ellsworth, un des principaux partisans du compromis du Connecticut, a soutenu leur motion, et la Convention est parvenue à un compromis durable.

Puisque la Convention avait rapidement accepté la proposition du Virginia Plan selon laquelle les sénateurs ont de longs termes, le rétablissement de la vision de ce plan de sénateurs individuellement puissants a empêché le Sénat de devenir une solide garantie du fédéralisme. Les gouvernements des États ont perdu leur voix directe dans les décisions du Congrès de faire des lois nationales. Comme les sénateurs personnellement influents ont reçu des mandats beaucoup plus longs que les législateurs des États qui les ont élus, ils sont devenus substantiellement indépendants.Le compromis a continué de servir les intérêts personnels des dirigeants politiques des petits États, qui étaient assurés d’accéder à plus de sièges au Sénat qu’ils n’auraient pu en obtenir autrement.