刘鋹不买账，赵匡胤大怒，公元970年九月，下诏命潭州防御使潘美为行营诸军都部署（前敌总指挥），朗州团练使尹崇珂为副都部署，正式讨伐南汉。
潘美大军直指贺州（广西贺州），南汉贺州刺史陈守忠向刘鋹告急。
当时，南汉国内的战将几乎都被宦官诬陷诛杀了，宗室也被刘鋹翦灭殆尽，掌握兵权的都是阉人宦官。
加上刘鋹继位后，沉湎游乐，纵情声色，城池壕壁都无整修，楼船战舰作了游艇，兵器失修，大宋军队骤至，南汉国内一片慌乱，也不知当时刘鋹哪里来的底气敢和大宋撕逼？
关键时刻，也只有阉人上阵指挥了，刘鋹派龚澄枢往贺州谋划守备。
潘美和尹崇珂率大军刚抵达贺州外围的芳林地区，龚澄枢便吓得抱头鼠窜。
潘美和尹崇珂将贺州围住攻打，刘鋹又派大将伍彦柔领兵救援贺州，潘美听说南汉援军赶来，先在贺州东面的南乡岸埋设伏兵。
伍彦柔夜晚率水军抵达南乡岸，战船停靠岸边。第二天凌晨，伍彦柔坐胡床（古代交椅）上指挥大军登岸。
此时，潘美的伏兵突然杀出，南汉军队顿时乱做一团，被杀死的、跌进河里溺死的不计其数，伍彦柔也当场被俘。
潘美将伍彦柔押至贺州城外斩首，城内守军见援军将领被杀，立即崩溃，贺州城破。
潘美指挥大军登上战舰，声言顺流直驱南汉老巢广州。刘鋹又命潘崇彻领兵守贺江。
十月，潘美克昭州（广西平乐），桂州（广西桂林），十一月克连州（广西连县）。西江各州全部收复。
刘鋹听闻后，还不知进退地对左右说：“昭、桂、连、贺四州本来就属于湖南的，现在北师攻取，应该知足了，我晓得他们不会再南下了！”
战况火烧眉毛、千钧一发，刘鋹却有这样的奇谈怪论，不亡国天理何在？
十二月，潘美等宋军攻到韶州（广东韶关），韶州是广州的北大门，都统李承渥率军近十万驻守在韶州城外的莲花山下。
李承渥底气很足，因为他手上有张王牌，那就是“象军”。李承渥的“象军”有大象一千头，每头象身上装载四五人，各执兵器、弓弩。
两军对战，“象军”陈列阵前，那真是雄赳赳、气昂昂、威风凛凛。如果“象军”发动冲击，有铺天盖地，排山倒海的气势！任何军队都难以抵挡！有了这些“象”，李承渥够“牛”的！
不过潘美早成竹在胸，因为这个重要情报赵匡胤早获悉，在出征前便和潘美等将军反复研究，制定了针对“象军”的作战方案。
宋军先在阵前挖好壕沟，沟里倒注膏油、硫磺的引火物资，两军列阵，点燃大火，烈焰冲天而起，在两军阵前形成一堵火墙，大凡动物，没有不畏火的！
任凭南汉军怎么催促，面对火墙，“象军”始终徘徊不敢前进。
宋军又在火墙后，集中架设床子弩，对着大象发射，弩箭涂有毒药，大象吃痛，四下奔跑。
大象前面有火墙，只能调头往南汉自己军阵里乱窜，把李承渥的军队冲击得七零八落。
李承渥大败，韶州随即被攻破。
韶州城破，广州门户洞开。
公元971年正月，潘美率宋军连克南汉英州（广东英德），雄州（广东南雄），潘崇彻投降。
潘美大军从英州南下，进逼泷头。
这下刘鋹慌了手脚，原来大宋不是纸老虎，那是有真功夫的！
刘鋹急忙派使者向潘美请求和解，希望大宋军队缓缓手！
潘美传达了赵匡胤的旨意：你们南汉能战就战，不能战就守，不能守就降，不能降就死，不能死就亡！除此五者就不要谈了！
刘鋹无法，此时才想到要修筑广州的城壕。环顾四周已经没有将领可以派遣了。
