在黑山军初起之时，汉灵帝见黑山军无法轻易征讨，就任命黑山军中的杨凤为黑山校尉，并举孝廉计吏；又任命张燕为平南中郎将，使领河北诸山谷事。
汉灵帝本以为给他们一个合法身份就会使他们老实，但黑山军有了合法身份后发展反而更快，这大大有违东汉政府的初衷，东汉政府想要招抚黑山军的想法没能实现。
此后数年，黑山军一直活跃在并州、冀州和司隶校尉部三地之间，他们利用当地多山的地形，行动飘忽不定，使得周边的各州郡长官很难奈何他们。
张燕后来渐寇河内，兵锋一度逼近京师洛阳，于是朝廷任命右车骑将军朱俊为河内太守，率领家兵击退张燕的黑山军。
袁绍和公孙瓒争夺冀州的时候，公孙瓒因为此前大破黄巾，威震河北，张燕便心向公孙瓒，曾经派将领杜长协助公孙瓒，虽然被袁绍击败，但还是给袁绍带来了很大麻烦。
初平四年三月，袁绍在薄洛津大会宾客，魏郡士兵突然造反，并联合黑山军于毒部攻陷邺城，杀掉太守栗成。黑山军十余部共数万人在邺城会合。袁绍的部下中不少人的家属都在邺城，听到这个消息后五脏俱焚，有些人甚至起身哭泣，唯有袁绍神情自若，与平常表现无二。
只因黑山军中出现一个叫陶升的叛徒，他自号平汉将军，率领所部从西城进入邺城，关闭府门，备好车马，亲自将袁绍和其他官员的家属护送到了斥丘。袁绍感念陶升护送家属的恩德，提升其为建义中郎将。
由于黑山军屡次阻挠，六月，袁绍大发兵马，进入朝歌鹿肠山苍岩谷口，讨伐于毒。袁绍率兵围攻五日，击斩于毒及其下属万余人。
袁绍进而引兵北行，先攻破左髭丈八所部，将其斩首，又陆续攻破刘石、青牛角、黄龙、左校、郭大贤、李大目、于氐根等，复斩数万级，每到一地都鸡犬不留。
后来，袁绍与黑山军主力在常山展开决战，张燕一部是黑山军中的精锐，有数万精兵、数千精骑，战斗力与正规军基本无异，双方大战十余日，因死伤惨重各自退兵。
由于这次公孙瓒兵败退守易京，作为黑山军头领的张燕也看出公孙瓒这是困兽犹斗，因此不得不另谋出路，不然迟早被袁绍所灭。这才有了投靠孙坚的想法。
待众首领齐聚，张燕便把孙坚的条件说了出来。
一下子便有人站了出来说道：“我反对。”
