A későbbi világklasszis ekkor egy évre egyik unokatestvéréhez, Krizához költözött Poitiers-be, majd 1993-ban a családdal (amibe a szülei mellett hat testvére tartozott) a Párizs külvárosának számító Antonyban telepedett le. Egyéves kihagyás után ráadásul szülői engedéllyel újrakezdhette a futballt, és próbajátékot követően a közeli Levallois korosztályos együttesében kezdett el játszani. Itt az egykori jugoszláv válogatott Srebrenko Repcic volt a sportigazgató, aki azonnal észrevette Drogbában a tehetséget, az ifjú támadó pedig a korosztályos gárdában két szezon alatt harminc alkalommal volt eredményes. Ennek köszönhetően felkerült a negyedik vonalban szereplő felnőttcsapat keretéhez, de itt csak kevés lehetőséget kapott - igaz, egy gólt így is sikerült elérnie.
Didier-t ekkor már több élvonalbeli együttes is figyelte: a Paris Saint-Germain például szívesen látta volna utánpótlás-akadémiáján, de Drogba úgy érezte, hogy Párizsban nagyon nehéz lenne bekerülnie a felnőttcsapatba, így a fővárosiaknak nemet mondott. Az EA Guingamp is próbajátékra hívta, ám ezt egy lábujjtörés akadályozta meg a játékos számára, aki végül a Le Mans UC-be igazolt 1997 nyarán.
Az autóversenyéről elhíresült város együttese ekkor a francia másodosztályban szerepelt, de Drogba először még csak amatőrszerződést kapott - és eleinte úgy tűnt, hogy ennél feljebb nem is tud lépni. Elsősorban sérülései miatt volt képtelen bekerülni a felnőtt csapatba: előbb lábközépcsont-törést szenvedett, majd alig épült fel, amikor a bokaszalagjai is meghúzódtak. Időközben azonban első gyermeke, Isaac is megszületett (Didier ekkor még alig volt húszesztendős), ami a focista elmondása szerint fordulópont volt az életében, hiszen még elszántabbá tette. Szerencséjére a klub edzője, Marc Westerloppe (aki a csatár elmondása szerint szinte második apja volt) bízott benne, és az 1998-99-es pontvadászat végén két bajnoki mérkőzésen pályára küldte Drogbát, aki 1999 nyarán kötötte meg élete első profi szerződését. A következő szezonban pedig elkapta a fonalat, hiszen rendszeresen pályára lépett a másodosztályban, és a teljesítményére sem lehetett panasz, elvégre hét gólt szerzett. Ezt követöen azonban Westerloppe-ot menesztették, utódja, Thierry Goudet pedig inkább Daniel Cousinben bízott, és Drogbát csak ritkán játszotta - akkor is jobbszélsőként.