Édesapjának rövidáru kereskedése volt, így kereskedelmi iskolában tanult, hogy átvehesse a családi vállalkozást. Erre azonban az első világháború miatt várnia kellett, 1916-ban önkéntesként bevonult, a francia frontra került, ahol tífuszt kapott, a harcok utolsó heteiben súlyosan megsebesült. Felépülve Frankfurtban gazdaságtant és szociológiát tanult, s csak 1925-ben tért haza, immár házasemberként.
Ezúttal azonban a gazdasági világválság döntötte romba terveit, az üzlet csődbe ment. 1942-ig Nürnbergben egy jelentős gazdasági intézetben dolgozott, a náci párthoz való csatlakozást a doktori fokozat megszerzésével igyekezett kikerülni, majd egy általa alapított kutatóintézet vezetője lett. Állását 1942-ben elvesztette, mert a nácik által meghirdetett totális háború idején a tabunak számító újjáépítésről értekezett, de pártfogóinak köszönhetően tovább folytathatta kutatásait.
Németország teljes kapitulációját követően immár a politika világában törekedett a gazdasági újjáépítésre. Liberális konzervatív politikusként a Kereszténydemokrata Unióhoz (CDU) állt közel, hivatalosan azonban csak jóval később csatlakozott a párthoz. (Egyes források szerint elképzelhető, hogy kancellársága után, vagyis 1966-ban lett csak tag, amikor pártelnökké választották, így valószínű, hogy a belépését rögzítő 1963-as irat "visszadátumozás" eredménye.)
1949-től haláláig volt képviselő a Bundestagban - 1972-ig nem talált legyőzőre az ulmi választókerületben, később területi listáról jutott be.
Gazdasági elképzeléseit először a bajor tartományi kormány minisztereként próbálta megvalósítani, majd 1948-ban a liberális Szabad Demokrata Párt (FDP) javaslatára őt nevezték ki a nyugati zóna gazdaságát újjáépítő szervezet élére.
1948 júniusában Erhard mindössze a bevezetés előtt öt nappal értesült a szövetségesek pénzreform-terveiről. Mivel nem helyeselte ezeket, egy nappal a kitűzött dátum előtt bejelentette a kényszergazdálkodást és az árak megkötését. A katonai kormányzást gyakorló Clay tábornoknak, aki felelősségre vonta, csak ennyit válaszolt: a terveket "nem változtattam meg, egyszerűen eltöröltem". (Erhard azt használta ki, hogy a szövetségesek irodái vasárnaponként zárva tartottak, így vasárnap jelentette be gazdasági intézkedéseit.)
A nyugati megszállási övezetekből 1949. május 23-án létrejött NSZK-ban Erhard Konrad Adenauer kormányában szövetségi miniszterként folytathatta politikai pályafutását.
Gazdasági miniszterként a szociális piacgazdaság és az úgynevezett ordoliberalizmus talaján állt, vagyis támogatta az állam szerepvállalását, különösen a versenyszférában.
Jelentős szerepet játszott a pénzreformban, a monopóliumok hatalmának megtörésében és a szabad verseny feltételeinek megteremtésében. Az ötvenes években, a német gazdasági csoda idején, amikor az NSZK belépett a jóléti államok sorába, a legnépszerűbb politikusok között tartották számon.
1957-ben alkancellár lett, majd 1963. október 16-án, egy nappal Adenauer visszavonulása után szövetségi kancellárrá választották.
Kancellárként már korántsem volt olyan sikeres, párttársai őt tették felelőssé a német-francia viszony hűvösebbé válásáért.
Erhard ugyanis külügyminiszterével, Gerhard Schröderrel (nem a későbbi kancellárral) inkább az atlantistákhoz húzott és a francia kapcsolatok helyett fontosabbnak tartotta az Egyesült Államokkal kialakított jó viszony ápolását.
1965-ben még választási győzelemre vezette a kereszténydemokratákat, a kormányalakítási tárgyalások során azonban már egyre több ellentét merült fel a CDU, a bajor testvérpárt CSU és a koalíciós partner szabaddemokraták (FDP) között. A koalíciós kormány nem is húzta sokáig: 1966-ban pénzügyi válság sújtotta az országot, a kormánykoalíció felbomlott, és a saját soraiból is egyre többet bírált Ludwig Erhard 1966. november 30-án lemondott posztjáról.
Erhard még közel tíz éven át politizált, a CDU elnöke is volt. Nyolcvanéves korában, 1977. május 5-én Bonnban halt meg. A második világháború utáni egyik legjelentősebb német politikus arcképe a német márka "nyugdíjba vonulásáig", az euró bevezetéséig a kétmárkás pénzérmén volt látható. Emlékére szülővárosában 2018-ban avatták fel a Ludwig Erhard Központot, amelynek része egykori szülőháza is.