骞为人强力，宽大信人，蛮夷爱之。堂邑父胡人，善射，穷急射禽兽给食。初，骞行时百余人，去十三岁，唯二人得还。
——《汉书·张骞传》
元朔三年（前127年）冬，御史大夫张欧因为年老多病请辞，汉武帝原本打算以孔子十世孙、蓼侯孔臧接任御史大夫一职，但孔臧却表示自己家族世代以传习经学为业，因此希望担任太常一职，汉武帝遂以孔臧为太常，而以老臣公孙弘为御史大夫。
公孙弘早年便曾给汉武帝上书，提出“凭才干任官职，不听无用的意见，不制造无用的器物，不夺民时妨碍民力，有德者进无德者退，有功者上无功者下，犯罪者受到相应惩罚，贤良者得到相应奖赏”等八条治国之法，从其中不难看出，公孙弘虽然赞同力行改革，但却主张以内政为主，且不建议太过损耗民力。
当时，汉武帝先是命唐蒙和司马相如开通西南夷道，而当卫氏朝鲜的藩国秽国国君南闾于元朔元年（前128年）率众28万归降汉朝后，汉武帝又于辽东设立沧海郡，并派人前往辽东筑城建制、安置民众，而在夺回河南地后，又开始了大规模的朔方城建造，这显然与公孙弘“与民休息”的主张极为不符。
为此，公孙弘多次上书进谏，认为以中原地区疲敝的代价，去开辟那些无用之地，完全就是得不偿失，希望汉武帝能够废止这些工程。汉武帝则让朱买臣等近臣与公孙弘就朔方郡的修建等问题进行辩论，公孙弘哪里是这些能言善辩又颇有文采之人的对手，立时便败下阵来。
公孙弘遂上书请罪说，“我是山东鄙人，没有考虑到设置朔方郡还会有这么多的好处。不过，臣认为如果朝廷要修筑朔方城，就应该废止对西南夷、沧海郡的工程，而集中力量经营朔方郡，否则太过损耗民力，于国不利。”
汉武帝思虑再三，认可了公孙弘的说法，长期大肆损耗民力的确不是太过明智的做法，于是下令废弃了设立仅一年的沧海郡建置。同年秋，汉武帝又下诏罢废了西南地区的建置，独留南夷、夜郎两县和一个都尉，后来又觉得不应放弃这么多年的建设，便命犍为郡自行完善地方建置，修筑长达九年的西南夷道工程也暂时被终止。朝廷开始集中全力修筑朔方城，完善朔方郡的建置。
就在公孙弘出任御史大夫，上书建议节省民力之时，匈奴内部亦发生了惊天巨变。
元朔三年（前127年）冬，匈奴军臣单于病逝。由于匈奴实行“世选制”，即新任的匈奴单于，必须经各部贵族共同认可才行，这虽然确保了匈奴单于对于各部的统治，但也给了那些野心家极大的操作空间。
军臣单于虽然生前便将儿子於单立为了太子，但其野心膨胀的弟弟、左谷蠡王伊稚斜却并不甘心效忠于年轻的侄子。于是，军臣单于去世之后，伊稚斜立即凭借着强大的军事实力自立为单于，并出兵攻打太子於单，匈奴因此陷入内乱。
太子於单实力不足，被伊稚斜击败后又不甘心臣服，遂率领残部南下归顺汉朝，汉武帝闻之大喜，封其为涉安侯。然而，於单由于身上有伤，在归顺数月之后，便不幸去世了。
这次内乱，不仅使得匈奴自身动荡不安，同时也给了一个囚犯逃走的机会，这个人不是别人，正是远赴西域十余年，归途中被囚禁匈奴一年多的张骞。
早在汉武帝即位后的第二年，即建元二年（前139年），汉武帝从匈奴俘虏口中得知，在敦煌、祁连一带曾有一个比较强大的游牧民族大月氏，后因攻占邻国乌孙而与匈奴发生冲突，后多次败于冒顿单于，以致国势日衰。老上单于时，匈奴再度大举进攻大月氏，大月氏国王不仅兵败身死，而且脑袋还被匈奴人割下来做成了酒器。经过这次惨败后，被迫西迁的大月氏虽然有心复仇，奈何已经无能为力。
为了联合大月氏夹攻匈奴，缓和汉朝西部的军事压力，汉武帝决定派人前往西域联系大月氏部落，并为此公开招募能够担当重任的人才，出身汉中郡城固县的郎官张骞挺身应募，担当起了西行的重任。同年，张骞率领一百多随行人员，以匈奴人堂邑父为向导，自长安出发前往西域，寻找西迁的大月氏。
当时，大月氏战败西迁之后，天山南路的西域各国亦相继被匈奴所征服，匈奴不仅控制了西域地区，其势力甚至已经深入到了河西走廊，从西部对汉朝形成了威胁。
河西地区，原本盘踞着诸多游牧部落，其中以大月氏和乌孙最为强大，乌孙被大月氏击败后，其部众或逃散、或归顺匈奴，河西遂被大月氏控制，而当大月氏被匈奴击败，被迫西迁以后，河西就此落入了匈奴手中。匈奴人在控制河西后，又继续向南发展，以致不少西羌部落也都归附了匈奴。
当张骞一行人匆匆穿过河西走廊时，便不幸遇上了匈奴骑兵，一行人全部被匈奴抓获。得知张骞乃是汉朝使者后，匈奴右部诸王立即将张骞等人押送到了匈奴王庭，献给了军臣单于。
小主，
军臣单于得知张骞出使大月氏的目的后，对其说道，“大月氏已经被我赶到北方去了，要出使他们，就必须要经过我们匈奴，你认为我会让汉朝的使者通过吗？如果我想派人出使南越，汉朝肯让我们的人经过吗？”
军臣单于虽然谎称大月氏迁徙到了北方，但他的意思却表达的很清楚，站在他们匈奴人的立场，是无论如何也不会容许汉朝使者通过匈奴地盘去出使他国的，就像汉朝不会准许匈奴人穿过汉朝地盘，去南方出使南越一样。
如此，张骞一行便被扣留在了匈奴单于庭。此后，军臣单于曾多次想要说服张骞放弃出使月氏的计划，甚至想要拉拢张骞为自己所用，并不惜采取威逼利诱各种手段。
寄人篱下的张骞，为了保住自己一行人的性命，只能在表面上表示顺从，甚至在军臣单于的安排下娶妻生子，表现出了一副要扎根匈奴的模样，但内心深处却始终没有放弃自己的出使任务，他一边学习匈奴人的语言，详细了解通往西域的道路，一边寻找脱身的机会。
元光六年（前129年），匈奴人眼见已经被囚禁了近十年的张骞等人似乎并没有逃走的意思，甚至历经多年的游牧生活已经与匈奴人无异，便逐渐放松了对他的监视。结果，内心一直渴望完成使命，回到汉朝的张骞，趁着匈奴人不备，带着随从逃出了匈奴，继续踏上了西行的艰难路途。
不过，张骞怎么也没有想到，就在自己困居匈奴的十年间，西域的形势也发生了翻天覆地的变化。
大月氏在被迫离开河西后，先是西迁到了西域伊犁河流域，击败并赶走了当地的塞人。然而，就在大月氏在伊犁河流域安定下来不久，便又遭到了乌孙的进攻。
当初，乌孙被大月氏击败后，乌孙王难兜靡亦不幸战死，由于其子猎骄靡刚刚出生不久，负责保护猎骄靡的贵族便率领残部归附了匈奴，并将猎骄靡交给了匈奴单于抚养。猎骄靡长大后，有心向大月氏复仇，有心向西域扩张的匈奴单于，遂将乌孙旧部交给其统领，并扶持和帮助其进攻大月氏。