1978年十八歲的勒夫在弗賴堡足球俱樂部開始職業球員生涯，而此時張衛正好纔剛剛誕生。此後勒夫先後效力斯圖加特足球俱樂部、法蘭克福足球俱樂部、厄卡爾斯魯足球俱樂部、沙夫豪森足球俱樂部和溫特圖爾足球俱樂部等球隊，1995年勒夫在弗勞恩菲爾德退役，結束了球員生涯，同年他開始了執教生涯。
1995—96賽季勒夫出任斯圖加特足球俱樂部的助理教練，協助主帥羅爾夫·弗林格制定戰術。1996年8月由於弗林格被聘請爲瑞士國家隊主教練，勒夫被扶正，成爲球隊主帥，賽季中勒夫打造出由巴拉科夫、埃爾伯和博比奇所組成的“魔幻三角”，震懾德甲，獲得1997年德國杯冠軍。1997-98賽季勒夫的球隊一路打入歐洲優勝者杯決賽，但以零比一負於切爾西，獲得亞軍，此賽季結束時斯圖加特足球俱樂部獲得德甲第四名。
1998年7月勒夫離開斯圖加特，轉而執教土耳其的費內巴切足球俱樂部。1999年10月勒夫返回德國，出任卡爾斯魯厄足球俱樂部的主帥，但因未能帶領球隊保級而遭到解僱。
2000年12月勒夫再次前往土耳其執教阿達納足球俱樂部，但三個月後再度因戰績不佳而下課。2001年10月勒夫出任奧地利球隊蒂羅爾因斯布魯克的主教練。2002年勒夫帶領球隊問鼎奧超聯賽冠軍，然而蒂羅爾因斯布魯克隨後因財政問題宣佈破產，勒夫再度賦閒在家。2003年6月勒夫被聘請執教奧超衛冕冠軍奧地利維也納足球俱樂部。
2004年8月1日德國足協出人意料地宣佈勒夫將擔任德國國家隊的助理教練，輔助球隊的新主帥尤爾根·克林斯曼。克林斯曼曾與勒夫在同一所教練學校學習，深知勒夫的戰術指揮才能，因此上任前特別要求足協任命勒夫爲球隊的助理教練。克林斯曼上任後，一反德國傳統的保守戰術，爲球隊灌輸了進攻哲學，而勒夫則依此爲克林斯曼制定戰術。在克林斯曼和勒夫的帶領下，德國在2005年聯合會杯中一路打入四強，僅在半決賽以二比三惜敗於巴西，但隨後他們又在第三名爭奪戰中以四比三擊敗墨西哥，最終獲得聯合會杯季軍。
2006年世界盃後，克林斯曼出人意料地決定不與德國足協續約，勒夫隨即於2006年7月12日被任命爲新的德國國家隊主教練，並與德國足協簽下了兩年合約。勒夫在簽約後表示，他將繼續奉行克林斯曼制定的執教方針，並且定下在2008年歐洲盃奪冠的目標。8月16日勒夫帶領下的德國迎來首場比賽，在蓋爾森基興迎戰瑞典，結果德國以三比零取勝。隨後三個月內，勒夫的球隊在歐洲盃預選賽中取得三連勝，對手分別是愛爾蘭、聖馬力諾和斯洛文尼亞。在戰勝斯洛文尼亞後，勒夫已率領的德國取得五連勝，創下了德國新任教練戰績最好的紀錄。
2007年8月22日德國在新溫布利球場舉行的一場友誼賽中以二比一擊敗英格蘭，將勒夫執教的戰績延伸至十一勝一平一負，進四十一球失六球。10月17日德國在已經提前鎖定歐洲盃名額的情況下在安聯球場迎戰捷克，由於有所保存實力，德國以零比三意外落敗，這場失敗意味着，德國將排在捷克之後以預選D組第二名的身份參加歐洲盃決賽圈。