趙佗奉命前來，直到病榻之前相見。任囂屏退左右說道：“近聞陳勝、吳廣等興兵聚衆擾亂中國，未知何日始得安定。南海地處僻遠，我怕敵人來侵，意欲塞斷道路自爲防備，以待時變，偏值病甚不能行此。吾遍觀郡中官吏無足與言，故召你面行託付。我死之後你即代我之位，此地負山面海，東西數千裏，可以立國。你當好自爲之。”趙佗一一領諾。不過數日任囂身死，趙佗便接任南海尉。即飭守將塞斷道路設兵防守，守將依言辦理。於是南粵三郡皆歸趙佗佔領，趙佗自立爲南粵武王。
及高祖平定天下，趙佗自恃險遠不肯稱臣。高祖因戰爭初息士卒勞苦，而且粵地難於徵進，便想趁勢立趙佗爲南粵王，命陸賈前往開導，與之立約通市。
陸賈奉命到了南粵，不見趙佗親身出接，料定他是個倔強之人，心想此次與他見面，說話須要不卑不亢，太卑則損失使者身分，有辱國體；太亢則趙佗不肯受命，誤了和約，只有相機行事方能成功。
陸賈主意既定，齎了印綬一直入內，望見趙佗昂然坐在堂中，頭上也不戴冠，將頭髮紐成一個椎髻；身上也不束帶，張起兩膝箕踞而坐。望見陸賈進來也不起身。陸賈見趙佗如此傲慢無禮，便一直走到他面前大聲說道：“足下乃是中國人，祖宗墳墓、兄弟親戚都在真定。如今足下反其天性棄卻冠帶，徒以區區粵地與天子抗行，不肯降服禍將至矣。當日秦失其政豪傑並起，今天子入關平秦滅楚，五年之間海內平定，此非人力實由天意。大王不助天下誅討暴逆，諸大臣皆請移兵問罪。天子憐百姓勞苦權令休息，故遣臣來授君王印綬結約通使。君王理宜出郊迎接北面稱臣，誰知竟然以敵國之體相待，天子聽說後必然震怒，若命偏將領十萬之兵前來，則粵人殺王降漢易如反掌。”趙佗一聽便離座起立笑道：“久居蠻夷以致失禮，幸勿見責。”遂與陸賈坐下縱論世事。
趙佗見陸賈對答如流，心中想要難他，於是問道：“我與蕭何、曹參、韓信等人相比何人較賢？”陸賈答道：“足下似高出一籌。”趙佗又問道：“那我比皇帝相比何人較賢？”陸賈肯定不能說他比皇帝也高出一籌，便答道：“皇帝起自豐、沛，誅滅羣雄，爲天下興利除害，上繼三皇五帝之業，地方萬里政由一家，自盤古開天闢地以來未曾有此。今大王人衆不過數十萬，且在崎嶇山海之間，不如漢之一郡，大王何得自比於漢帝？”趙佗聽陸賈說話得體，不能駁他，便大笑道：“我不在中國起事，僅據此地稱王；若使我當日也居中國，豈有不及漢帝之理？”
於是趙佗留陸賈住下，日日與之飲酒談論，情形甚是親密，因對陸賈說道：“粵中無人足與言語，幸得先生到來，所言聞所未聞。”陸賈在粵住了數月，竟拜趙佗爲粵王，使之稱臣立約，事畢辭歸。趙佗將粵中所產珠寶賜與陸賈，約計價值千金，又別送財禮千金，陸賈拜受回到長安，入見高祖覆命。高祖聽說趙佗願意稱臣奉約，心中大喜，遂拜陸賈爲太中大夫。
然而，張耳或許是運氣比較差，或許是能力不足，總而言之，張耳沒能守住常山國，被餘驅逐出常山國。丟了封地和王位的張耳找到劉邦，劉邦甚是禮遇張耳，並派韓信幫張耳奪回了常山國，在常山國的地盤上重新封張耳爲趙王，張耳去世後，張耳的兒子張敖繼承了趙王王位。
適值張敖新喪妻室，呂后恐高祖將魯元公主嫁與匈奴單于，於是將公主許嫁張敖。張敖自然求之不得，立即封魯元公主爲王后。高祖七年車駕過趙，張敖聽說老丈人到來，親自出境迎接。到了趙國都城邯鄲，高祖直入王宮，魯元公主出來拜見，便留高祖小住數日。張敖對岳父十分孝敬，又是端茶倒水，又是捶背捏肩，並且親自奉上飲食，比對待自己的親爹還要親。
但高祖生來傲慢，動輒將人亂罵，如今身爲天子，更覺比前尊大。又因張敖是他女婿，便把他看同兒女一般，不加一毫禮貌。張起兩足昂然上坐，將張敖呼來喝去如同奴僕，稍不如意信口亂罵。張敖雖然是他女婿，不過也是一國之王，現在又在他國中，高祖竟然不顧他體面。張敖遭他侮辱後一味順受，低聲下氣毫不介意。誰知惹得貫高、趙午等人發怒，要替張敖出氣。
貫高、趙午本是張耳門客，如今皆爲趙相，他兩人年過六旬，平日爲人負氣，不肯略受委曲。見張敖爲高祖所侮，兩人看不過去，互相私語，譏笑張敖孱弱，於是一同入見張敖說道：“大王出郊迎駕致敬盡禮，皇帝卻毫不答禮任情辱罵，難道做得天子便好如此嗎？臣等願爲大王除去皇帝！”張敖大駭，齧指出血指天爲誓道：“這事如何使得？從前先王失國，全仗皇帝威力得復故土，傳及子孫，此恩此德世世不忘，君等奈何出此妄言！”兩人見張敖不從，私下議論道：“原來我王生性忠厚不忍背德，何必與他商議。如今我等自去行事，事成歸王，不成我等拼卻一命也覺乾淨。”商議已畢，方欲下手預備，不料高祖早已起程去了。衆人見時機錯過，只得擱下。
過了一年，高祖領兵往擊韓王信餘寇於東垣，寇平之後，高祖傳令回京。貫高早已探知消息，預料高祖回京時必由趙地經過，且知他是按照驛站而行，想起趙地柏人縣是個大站，高祖到此定就館舍歇宿。遂與同黨十餘人密議，暗遣力士數人各懷利刃，前往柏人館廁所中埋伏等候，高祖到來肯定要上廁所，到時就在廁所中將他殺死。
安排已定，不消幾日，高祖果然到了柏人。也是高祖命不該死，人得行宮後便問左右：“此縣何名？”左右回答：“縣名柏人。”高祖道：“柏與迫音相近，柏人者乃是爲人所迫，地名不利，不可在此住宿。”
隨即傳令起行，貫高所謀又復落空。貫高仇人得知此事後心中暗喜，便想害死貫高報仇。雖然明知會連累多人，現在也顧不得了。
九年冬十二月，高祖到了洛陽，貫高仇人便來上書告發。高祖大怒，因貫高、趙午都是趙相，其他人也是趙國官吏，心想趙王張敖定是同謀，立遣武士持詔前往趙國，將張敖、貫高、趙午等十餘人解到洛陽審問，並通告趙國臣民，如敢隨從趙王前來，罪及三族。