汉武帝以前，西域小国林立，天山以北的一些小国受到匈奴的控制和奴役。
汉宣帝神爵二年(前60)在此设西域都护府， 名为乌垒城（前名轮台国）是当时汉朝管理西域三十六国的政治、经济、文化和军事中心，当时西域都护由皇帝亲自任命，3年1替（也有延长和缩短的）从未间断，据
《汉书》记载：西汉历任都护18人，其中立传可考的历史上著名的有郑吉、郑宣、甘延寿、段会宗、廉褒、
韩立、郭舜、孙健、李崇、但钦等10人。当时轮台国是个城郭之国。都护府直接对其统辖，轮台王曾多次受皇帝亲召幸朝。汉朝另设置戍已校尉、戍部候等行政、军事、机构，对当地的少数民族上层人物封以王、侯、将、相、大夫、都尉等官职，他们均受西域都护府的管辖。
更始元年（23）
王莽被杀，匈奴乘虚而入。永平十六年（73）昭帝命窦固北征匈奴，取伊吾卢（今新疆哈密东）地，置宜禾都尉，于阗诸国派人到洛阳，翌年设都护，与内地断绝了五十年的西域复通。但汉都护设置仅二年，到章帝继位即罢，又弃伊吾屯田，地入匈奴。永元元年（89），大将军窦宪破北匈奴，第二年夺回伊吾地，班超定西域。汉遂以班超为西域都护，驻龟兹，并在车师前部的高昌壁再度设置戊己校尉，于车师后部增设戊部侯，完全恢复了汉在西域的管辖。这时，远至条支（阿拉伯国家）诸国，都来与东汉建立关系。
班超在任十一年，因老病离开西域。继任都护的不甚称职，引起“西域背畔”。永初元年（107）“诏罢都护”。匈奴又乘机“收属诸国”，一时间西北边患闹得很凶。延光二年（123），
敦煌太守张珰、尚书陈忠建议重开西域，以“震怖匈奴”。朝廷接纳了他们的意见，派班超子班勇为“西域长史”，屯驻“柳中”（高昌壁东南）。龟兹、疏勒、于阗、莎车诸国随即来归附，东汉与西域中断了的统辖关系得以恢复，从此，西域一直是东汉的一部分，但乌孙和
葱岭以西的大宛便不再属于汉了。