1945. június 17-én született a belgiumi Meensel-Kiezegemben, majd a Brüsszel külvárosának számító Woluwe-Saint-Pierre-ben nőtt fel, ahol szülei élelmiszerboltot nyitottak. Első kerékpárját háromévesen kapta, azután szinte le sem szállt a nyeregből. Tizenhat évesen indult első amatőr versenyén, egy évvel később pedig már korosztályos belga bajnok volt. 1964-ben megnyerte az amatőr világbajnokságot, a következő évben profi szerződést írt alá.
Első Tour de France-versenyén, 1969-ben hat szakaszt nyert, a verseny végén nemcsak az összetett győztesnek járó sárga trikót ölthette magára, hanem a pontversenyt megnyerőnek járó zöldet és a legjobb hegyi menőnek járó pöttyöset is - a triplázás sem azelőtt, sem azóta nem sikerült senkinek. Az 1970-es Touron a zöld trikót néhány ponttal elveszítette, de ahogy az összetettet, úgy a "hegyek királya" címet is megnyerte, pedig a Pireneusokban gyomorgörcsök kínozták, az egyik különösen nehéz szakasz után oxigénsátorba kellett fektetni.
Az 1971-es Touron óriási párharcot vívott a spanyol Luis Ocanával, aki egy hegyi szakaszon teljesen váratlanul visszatámadta, és végül kilenc percet vert rá. Merckx mindent megtett, hogy lefaragja hátrányát, de végül egy szerencsétlen baleset döntött: a Pireneusok egyik lejtőjén mindketten buktak a szakadó esőben, és a spanyol nem tudta folytatni a versenyt. Merckx nem örült, hogy így vette át a vezetést, ezért másnap nem is húzta magára a sárga trikót.
Az 1972-es verseny újra kettejük párharcáról szólt, de a küzdelem ismét idő előtt dőlt el: a spanyol a hegyekben újra bukott, defektet kapott, két hét múlva pedig a tüdejét megtámadó fertőzés miatt fel kellett adja a versenyt. Merckx - sorozatban negyedik győzelme után - 1973-ban kihagyta a Tourt, de 1974-ben visszatért, és ha nem is olyan meggyőző fölénnyel, mint korábban, de ötödik elsőségét is begyűjtötte.
Az 1975-ös körversenyen Franciaországban már csak ellendrukkerei voltak, a gallok büszkeségét ugyanis sértette volna, ha a francia nemzeti hős, Jacques Anquetil rekordját megdöntve hatszoros győztes lesz. Olyannyira elfajultak az indulatok, hogy a leghosszabb, 260 kilométeres etapon egy néző vesén vágta a belga kerékpárost, mindezért pedig jelképesen egy frankra büntették meg. Az egyre jobban fáradó Merckx az Alpokban elesett, eltörte az állcsontját, megsérült a térde és a csípője, de nem adta fel, és végül második lett.
Beceneve a sajtóban Kannibál volt, mert a győzelemre szomjazva mindenkit "felfalt". Pályafutása során 525 versenyt nyert, újoncként 24-et, amatőrként 56-ot, a hivatásosok táborában 445 versenyen végzett az élen, miközben 1585 viadalon indult. A sportágban egyedülálló módon összesen 11-szer győzött a három nagy körversenyen: ötször nyerte meg a Tour de France-t és ugyancsak ötször (1968, 1970, 1972-74) a Giro d'Italiát, 1973-ban a pedig a Vuelta a Espanán volt első. Háromszor (1970, 1972, 1974) ugyanabban az évben győzött a Girón és a Touron. A világ leghíresebb kerékpárosversenyén, a Tour de France-on a mai napig az övé a legtöbb, szám szerint 34 szakaszgyőzelem és ő viselte a leghosszabban, 96, illetve a "félszakaszokkal" együtt 111 alkalommal a sárga trikót. Három profi világbajnoki (1967, 1971, 1974) aranyérmet is begyűjtött és 1972-ben egyórás világrekordot is felállított 49,431 kilométerrel. Ezt a csúcsot csak 1984-ben döntötték meg, mára pedig már közel 53 kilométerre tornászták fel, de Merckx még nem a mai szupertechnikával készült kerékpárokat tekerte.
1978-ban visszavonult és kerékpárgyártásba fogott, a Merckx-gépek nagy sikernek örvendenek. 1986-tól 1996-ig a belga országúti kerékpáros válogatott vezetőedzője volt, kerékpárosversenyek szakértő tanácsadásával, szervezésével és helyszíni tudósításával is foglalkozik.
Háromszor (1969, 1971, 1974) választották a világ legjobb sportolójává, hazájában 1996-ban bárói rangot kapott. 1999-ben az évszázad kerékpárosának, 2000-ben a 20. század legjobb országúti kerékpárosának választották, Belgiumban is az évszázad sportolója lett, Brüsszelben 2003 óta metrómegálló viseli a nevét, Franciaországban, Tours közelében kerékpáros stadiont neveztek el róla.
