A tréner az Ajaxnál kezdte edzői pályafutását, ahol 1991 és 1997 között három holland bajnoki címet szerzett, valamint megnyerte a Bajnokok Ligáját (1995) és az UEFA-kupát is (1992). 1997-ben a Barcelona kispadjára ült le, ahol ugyan kétszer is megnyerte a La Ligát, egyszer pedig a Király-kupát, de nem jött ki néhány játékossal, valamint a média dolgozóival sem.
2000-ben a holland válogatottat vette át, de csúnyán megbukott, az Oranje nem jutott ki a 2002-es világbajnokságra, ő pedig lemondott.
Visszatért Barcelonába, de a 2002-2003 szezon végéig sem húzta ki, januárban ugyanis kirúgták a pocsék szereplés miatt.
2005-ig nem is edzősködött, ekkor az AZ Alkmaarhoz szerződött, amelyet két bajnoki és egy kupaezüstig vezetett az első két idényében, 2008-2009-ben pedig nagy meglepetésre megnyerte csapatával az Eredivisie-t.
Ezután nem tudott nemet mondani a Bayern München hívószavára, amellyel az első szezonban bajnok lett, megnyerte a kupát, és a BL-döntőig menetelt, ahol kikapott korábbi segédedzője, José Mourinho Interétől. A folytatás azonban nem sikerült ilyen jól, még a következő idény vége előtt menesztették.
Ekkor visszatért a holland válogatott élére, amellyel bronzérmet szerzett a 2014-es világbajnokságon. Pályafutásának egyik legemlékezetesebb eseménye is ekkorra tehető: a negyeddöntőben Costa Rica ellen játszott Hollandia, a hosszabbítás utolsó percében Van Gaal lecserélte kapusát, Jasper Cillessent, helyette Tim Krult hozta be, aki a tizenegyespárbajban kétszer is tudott védeni, neki is köszönhető, hogy a hollandok jutottak az elődöntőbe.
A vébé után a Manchester United bízta meg, amellyel először negyedik, majd ötödik helyen végzett a Premier League-ben, utóbbi idényben megnyerte az FA-kupát, igaz, két nappal később kirúgták.
Azóta nem vállalt munkát, most pedig hivatalosan is visszavonult.
Nyugdíjas vagyok. Ez az jelenti, hogy semmilyen, futballhoz köthető pozíció nem érdekel, és tévés szakértő sem szeretnék lenni
– zárta rövidre búcsúbeszédét.
Több manchesteri játékosa is megható üzenettel búcsúzott tőle: