早在三国鼎立之时，魏的势力已超过蜀、吴，如以人口计，魏约占全国人口4/7，蜀、吴合占3/7。公元263年，魏灭蜀之后，三国鼎立变成了南北对峙，魏的力量更加强大。晋武帝代魏之后，雄心勃勃，“密有灭吴之计”，准备出兵灭吴，统一全国。
西晋全国正处于一种积极的态势之中时，吴国却是在走下坡路。吴主孙皓的荒淫、残暴使吴国丧失了重整旗鼓的机会。孙皓命令大臣的女儿要先经过他的挑选，漂亮的入后宫供他一人享受，剩下的才能谈婚论嫁，这使他丧失了大臣们的支持，自毁长城，最终成了孤家寡人。一个劝谏他的大臣不但没有受到表扬，反而被他用烧红的锯条残忍地锯下了舌头，其残暴程度与商纣王没有任何区别。孙皓杀人的方法很多，很残忍，像挖眼、剥脸皮和砍掉双脚，等等。孙皓的残暴注定了吴国要在他手上灭亡。由于孙皓的残暴，手下的将领们也对他丧失了信心，纷纷投降西晋。西晋的大臣们见吴国国力下降，政局不稳，也纷纷劝说司马炎趁机灭掉吴国。
但是，以太尉录尚书事贾充为的保守派反对伐灭吴国，他们认为，吴有长江天险，且善水战，北人难以取胜。且近几年来西鲜卑举兵反晋，此时对吴作战，并“非其时”。而羊祜、张华、杜预等人则认为，吴帝孙皓腐化透顶，他不但对广大人民残酷剥削、镇压，而且在统治集团内部也排除异己，用刑残酷。孙吴目前是“上下离心”，如此刻出兵，“可不战而胜”。如果错过机会，“吴人更立另主”，励精图治，再去灭吴就相当不容易了。两派意见，针锋相对，这样，一个极其严重的问题就摆在了晋武帝面前：是否出兵灭吴，统一全国？晋武帝也意识到，自秦汉以来，统一已成为人类历史的主流，广大平民百姓要求统一，渴望和平。因此，晋武帝坚定地站在主战派一边。
公元279年，他力排众议，令讨伐东吴。贾充等人又拼命反对，晋武帝大怒，迫使“充免冠谢罪”。由于贾充位及三公，影响很大，晋武帝为了争取保守派一同伐吴，便委任贾充为讨吴诸军的元帅。谁知贾充“自言老衰，不堪元帅之任”，拒绝受命，以此施加压力。晋武帝这次并未怒，而是很开明地说：“君若不行，吾便自出。”就是说自己要亲自出任元帅。贾充见状，只好领命，出镇襄阳。战争进行到第二年春天，晋军攻下武昌，但吴军主力并未受到重挫，且春水上涨，晋军中又流行疾病，贾充上表请求撤兵，而张华则坚持继续进军，贾充恨得咬牙切齿，要“腰斩张华”，“以谢天下”。保守派另一要员荀彧也跟着奏请治罪张华。在保守派的强大压力面前，晋武帝毫不推卸责任，明确回答“此是吾意，华但与吾同耳”，拒绝退兵。
晋武帝为了完成灭吴大业，在战略上做了充分准备。早在公元270年，他就派羊祜坐守军事重镇襄阳，着手灭吴的准备工作。羊祜坐镇襄阳后，减轻赋税，安定民心。襄阳与东吴重镇石城相距最近，晋军采取了“以善取胜”的策略，向吴军大施恩惠。由于孙皓挥霍无度，部队士兵常常领不到军饷，连饭也吃不饱。羊祜命人向吴军送酒送肉，瓦解吴军。这样，不时有吴军前来投降，羊祜下令说：“吴军来要欢迎，走要欢送。”有一次，吴将邓香被晋军抓到，羊祜部下坚持要杀掉，羊祜不但不杀，而且还亲自为其松绑，把他送了回去。有时，吴军狩猎打伤的野兽死到了晋军领地，晋军也把这些野兽送到吴军帐内。正是由于这样的“厚”爱，东吴将领们的心一步步趋向晋军。
晋武帝在襄阳一边命羊祜对吴军以仁德施加影响的同时，一边在长江的上游益州加强训练水军，建造战船。据说，当时造的船有的大可容纳两千多人，上面可以驰马来往。经过长达七年时间的充分准备，公元279年，晋武帝下令开始向吴军展开大规模的进攻。为了克服长江天险，迅速夺取胜利，晋武帝部署五路兵马，沿长江北岸，向吴军齐头进。另有第六路兵马，由巴东、益州出，沿江东下，直捣吴军都城建业。长江上游的东吴守军，在巫峡80里长的湍急水流中，钉下了无数个锋利无比的、长十余丈的铁锥，在江面狭窄的地方，横拉着很多粗大的铁链，以封锁江面。晋军先用大竹排放入长江，奔腾的江水漂浮着巨大的竹排猛冲直下，埋在江里的铁锥被竹排拔离江底，完全失去了作用。对待封锁江面的铁链，晋军在船上载了无数用麻油浇灌的火炬，每根有十多丈长，遇到铁链，点燃火炬，熊熊烈火把铁链烧熔断裂。就这样，东吴长江的防守设施被一个个排除了。
晋武帝在部署六路兵马进攻吴军时，为了分散、吸引守卫建业的吴军兵力，先派王浑率一路晋军，由北向南，直取建业。孙皓不知是计，忙命丞相张悌统率主力渡江北上，迎击王浑，结果沿江东下的晋军乘机攻占了建业。晋武帝后来在评价这一战略时说：“令贼孙皓拼死自卫，不得分兵上赴，以成西军之功。”三百多年后，隋文帝杨坚兵分八路，渡江灭陈，也是借鉴了晋武帝这套作战方针。
由于晋武帝准备充分，时机恰当，战略正确，前后仅用了四个多月，便夺取了灭吴战争的全部胜利。唐代大诗人刘禹锡在追怀这场战争的情景时写道：“王潜楼船下益州，金陵王气黯然收。千寻铁锁沉江底，一片降幡出石头。”东吴从孙权立国开始，传了四主，共57年而亡。
从此，东吴的全部郡、州、县，正式并入晋国版图。三国鼎立的局面完全结束了。晋武帝司马炎终于统一了全国，结束了长达近百年的分裂局面。