1996–2002: Rané role

První vedoucí Johanssona role byla Amanda, mladší sestra těhotné teenagerky, která uteče ze svého pěstounského domu v Manny & Lo (1996) po boku Aleksy Palladino a jejího bratra Huntera. Její výkon byl pozitivní recenze: jeden napsaný pro San Francisco Chronicle poznamenal: „roste na vás, hlavně kvůli kouzlu … Scarlett Johansson,“ zatímco kritik Mick LaSalle, který psal pro stejný článek, komentoval její „mírumilovnou auru“ a věřil „Pokud dokáže nerušeně projít pubertou s touto aurou, mohla by se stát důležitou herečkou.“ Johansson si za tu roli vysloužil nominaci na cenu Independent Spirit Award za nejlepší hlavní ženskou roli.

Poté, co se objevila v menších rolích ve filmu Fall and Home Alone 3 (oba 1997) zaujala Johansson širší pozornost svým výkonem ve filmu T Horse Whisperer (1998), režie Robert Redford. Dramatický film založený na stejnojmenném románu z roku 1995 od Nicholase Evanse vypráví příběh talentovaného trenéra s dárkem pro porozumění koním, který je najat na pomoc zraněnému teenagerovi, kterého hraje Johansson. Herečka získala u tohoto filmu „úvodní“ ocenění, přestože to byla její sedmá role. O Johanssonově zralosti ji Redford popsal jako „13 pokračuje ve 30.“ Todd McCarthy z Variety poznamenal, že Johansson „přesvědčivě vyjadřuje trapnost svého věku a vnitřní bolest bezstarostné dívky, která se náhle ocitla na dně hrozné události“. Film byl nominován na Cenu chicagských filmových kritiků za nejslibnější herečku. Věřila, že film změnil mnoho věcí v jejím životě, protože si uvědomila, že herectví je schopnost manipulovat s emocemi člověka. Když si Johansson našla dobré role jako teenagerka, řekla, že je pro ni těžké, protože dospělí psali scénáře a oni „zobrazují děti jako krysy v obchodech a ne vážně … Děti a teenageři prostě nejsou zobrazováni se skutečnou hloubkou“.

Johansson se později objevil ve filmech Můj bratr prase (1999) a ve filmu neo-noir, bratři Coenovi Muž, který tam nebyl (2001). Její průlom nastal hraním cynického vyvržence v černé komedii Terryho Zwigoffa Svět duchů (2001), adaptaci stejnojmenného grafického románu Daniela Clowese. Johansson se ucházela o film prostřednictvím pásky z New Yorku a Zwigoff jí věřil, že je „jedinečnou, excentrickou osobou a pro tuto část to pravé“. Film měl premiéru na Mezinárodním filmovém festivalu v Seattlu 2001; bylo to selhání pokladny, ale od té doby si vytvořilo kultovní status. Johansson byl kritikem Austin Chronicle připsán „citlivostí a vírou svého věku“ a za svůj výkon získal Cenu asociace kritiků v Torontu za nejlepší herečku ve vedlejší roli.

Spolu s Davidem Arquette se Johansson objevil v hororu komedie Eight Legged Freaks (2002), o souboru pavouků, kteří jsou vystaveni toxickému odpadu, což způsobí jejich růst do gigantických rozměrů a začnou zabíjet a sklízet. Po absolvování profesionální dětské školy v tomto roce se přihlásila na Tisch School of the Arts na New York University; když byla odmítnuta, rozhodla se zaměřit na svou filmovou kariéru.

2003–2004: Přechod k rolím pro dospělé

Johansson v roce 2003 přešla z rolí teenagerů na dospělé dvěma filmy: romantickým komediálním dramatem Ztraceni v překladu a dramatem Dívka s perlou. V prvním filmu, který režíruje Sofia Coppola, hraje Charlotte, apatická a osamělá mladá manželka, naproti Billovi Murrayovi. Coppola si poprvé všimla Johanssona v Manny & Lo a přirovnala ji k mladé Lauren Bacall; příběh filmu založila Coppola na filmu vztah mezi Bacallem a Humphreyem Bogartem ve filmu Velký spánek (1946). Johansson zjistil, že zkušenosti z práce s ženskou režisérkou se liší kvůli schopnosti Coppoly vcítit se do ní. Vyrobeno s rozpočtem 4 miliony dolarů, film vydělal u pokladny 119 milionů dolarů a získal ohlas u kritiků. Roger Ebert byl potěšen film a popsal představení hlavních aktérů jako „úžasná“ a Entertainment Weekly psal o Johanssonově „všeobjímající, klidné vyrovnanosti“. The New York Times ocenil Johanssona ve věku 17 let v době natáčení za hraní starší postavy.

Ve filmu Dívka s perlovou náušnicí Petera Webbera, který je založen na stejnojmenném románu Tracy Chevalierové, si Johansson zahrál Griet, mladou služebnici ze 17. století v domácnosti nizozemského malíře Johannesa Vermeera. (hraje Colin Firth). Webber před obsazení Johanssona vyslechl 150 herců.