汉帝国的赏赐，非常的开心，纷纷表示愿意内附中国。
这意味着中国的边关向西南大大扩张了。在司马相如主持下，撤除原来与这些国家交界处所建的关卡，帝国的西南边境西抵沫水（大渡河）、若水（雅砻江），南达牂牁（贵州黄平）。司马相如还修筑了灵山道、并在孙水（四川安宁河）修建桥梁，打通了邛都、筰都的交通线。汉政府派遣一位都尉，设十个县，负责管理这片新开拓的土地，在行政上属于蜀郡管辖。
司马相如在通西夷上立下大功。然而，汉帝国将发现，西南绝不是一块容易经营的乐土。
西南夷之所以内附中国，是认为中国的势力根本无法扩张到他们各自的地盘上，然而，他们绝对低估中国的力量。
汉帝国动用巴、蜀、广汉、犍为四郡的民力，大力开拓西南交通，这使得西南诸部落大感震惊，面对中国势力的强势介入，纷起叛变中国。
汉帝国派出军队攻击叛变的国家，但是由于西南夷深处高原地带，军队行军很是困难，所以花了不少军费，却没有多少成效。
除了西南夷的叛变之外，筑路的伤亡也非常严重，在西南山地凿山修路，相当的困难，光是民工士卒的粮食供应，就得得耗费巨大的人力财力，所以路修了好几年，仍然未能完工。
武帝刘彻对此十分头疼。到了元朔三年（前126年），汉匈战争进入高潮，此时汉帝国已无财力在西南方向大规模开拓交通线，刘彻下令停止对西夷的经营，顷尽国家的财力，建筑朔方城，全力迎战北部的匈奴。
但是张骞从西域带回的信息，又一次刺激了武帝开拓西南夷的念头。
张骞根据在西域大夏国的所闻，认为从汉帝国的西南，可以打通一条路通往身毒（印度），再经身毒到达西域。
由于此时河西走廊尚未落入汉军之手，通向西域的道路控制在匈奴人手中，所以刘彻决心打通西南交通线，直抵西域。
张骞负责打通西南交通线，元狩元年（前122年），他派了王然于、吕越人（以上二人均曾为司马相如出使西夷时的副使）、柏始昌等精通西南夷事务的资深外交家，率外交使团分四路出发，寻找通向身毒的道路。
这四路分别从冉、駹（冉駹国的两部落，四川茂县一带）、邛（四川西昌）、僰（宜宾市附近）出发。
四路使团最后都碰了一鼻子灰回来，北路从冉駹出发的使团，被氐部落、筰都人所阻挡，无法通过；南路从邛、僰出发的使团，到了巂、昆明时，受到阻挡，特别是昆明这个地方，都是一些小部落，没有一个强大的统治者，这些小部落叫汉使团携带贵重的物品，便心生歹意，凭借山地丛林，伏击汉使团，不少使团成员被杀，物品也被抢走一部分。
昆明没法通过，只有寻找其他的道路，在昆明不远处，有一个西南比较大的国家，叫滇国。
滇国对汉使团比较友好，滇国的国王叫当羌，亲自召见了汉国使团。
汉使节趁机向当羌宣扬中国的威德，说中国如何如何的强大，四方咸服，无远弗届，听得滇王当羌半信半疑，就问道：“中国与滇国相比，哪个比较大啊？”
汉使节一听，这有什么好比的啊，便告诉滇王当羌：“哎，滇国的大小，还比不上中国的一个郡呢！”
在滇国呆了一段时间后，汉使团继续向南行，但是西南地形实在太复杂了，山河相间，丛林密布，热带丛林中分布许许多多的部落，冷不防就受到这些部落的袭击，仅凭这百来人的使团，根本无法通过这些山林地带。最后，汉使团放弃了，这次打通西南交通线的计划流产了。
汉使团返回国内后，向武帝刘彻报告，说滇国是西南夷中比较大的一个国家，应该让滇国归附中国，加强中国对西南的控制。
刘彻听了之后很感兴趣，这重新激发了他开拓西南的雄心壮志。
汉使团还报告了昆明这一带多劫匪，杀死了不少汉使团成员，刘彻听了相当的愤怒，计划要出兵攻打昆明一带的南夷部落，因为昆明附近有一个很大的湖：滇池，如果出兵攻打的话，到时少不了要打水战，所以刘彻就在长安西南开凿了一个二十平方公里的人工湖，命名为昆明池，用来训练军队的水面作战。
元鼎六年（前111年），汉帝国发动了大规模的南征，击灭南越，其中有一路水军，便是从西南的夜郎国出发，调动夜郎的军队，沿牂牁江南下，这是沿用了当年唐蒙提出来的战略计划。
在西南诸夷中，夜郎得到的好处多，所以对汉帝国相当的忠诚，但其他小国就首鼠两端了。
汉帝国从巴、蜀抽调军队南下，这些小国纷纷起来反叛，最先叛乱的是且兰国（贵州都匀），且兰王杀死汉使者，率兵对犍为郡发动袭击，杀死犍为郡太守。而后邛都、筰都纷起响应，加入叛乱的行列。
刘彻紧急下令，巴蜀南征兵团抽调八名校尉，率各自的队伍返回，镇压西南的叛乱。然而八校尉与西南诸夷陷入苦战中，无法取胜，其中一个原因就是西南地区地形太复杂，易守难攻。汉军与叛乱的西南夷陷入僵持的状态。
等到南越国灭亡之后，中郎将郭昌、卫广率巴蜀南征兵团主力回援。郭昌曾是大将军卫青的帐下校尉，多次追随卫青出征匈奴，作战经验丰富。
郭昌采取各个击破的战略，先解决且兰国的叛变，得到主力部队的增援后，汉军如虎添翼，且兰国的军队武器窳劣，焉是汉军的对手，又没什么战术，很快便被汉军击破，汉军进据且兰国的都城，斩首数万，且兰国王见大势已去，慌乱之下，想逃往其他部落避难，被追上的汉军逮得正着，斩于马下，且兰国的叛乱完全平定。
然后郭昌挥师西向，又击破邛都、筰都两国，杀死两国的国王。西南诸夷大为恐慌，冉駹等国家纷纷向汉军表示归附，请求汉帝国派官吏管理。
武帝刘彻诏令在西南设立五郡：牂牁郡（管辖区为且兰国，位贵州都匀）、越巂郡（管辖原邛都国，四川西昌一带）、汶山郡（管辖原冉駹国，位四川茂汶）、沈黎郡（管辖原筰都国，位四川汉源）、武都郡（管辖白马氐部落，武都在今甘肃成县）。
这是继汉帝国击灭南越设立九郡之后，又一次大规模的开疆拓土，帝国的边境在西南方向上大大地拓展了。
汉军兵威正盛，武帝刘彻派使者王然于出使滇国，向滇国国王通告汉帝国击灭南越及西南诸夷，要求滇国归附汉帝国。滇国国王仗着自己有数万军队，而且与邻国劳深、靡莫等属于同族同姓，自以为汉军无法深入此地，所以傲然拒绝汉使王然于的要求。
劳深与靡莫多次出兵偷袭汉国使团，掠夺汉使团的财物，与滇国一样，拒绝归附汉帝国。