韩知古出身蓟州玉田韩氏的一个书香门第的家庭，幼年时期，契丹大举入寇，六岁的韩知古为辽太祖阿保机皇后述律太后的哥哥所掳，后来更以述律太后陪嫁奴隶从而进入阿保机的视野。少年韩知古被掳入契丹的时候虽然年岁不大，他能够从逆境中崛起，从了少时家族渊源之外，更重要的他聪明好学，懂得了要出人头地，必须要获得阿保机和述律平夫妇的重视。正因为这样，年纪稍长，韩知古便得到了阿保机和述律平的重用于培养。韩知古亦不负众望，在他的参预和监督之下，契丹人在松漠大草原上成功地仿照汉族样式兴建起了草原上最早的城池——霸州城，阿保机取名为霸州彰武军。
契丹立国之后，韩知古因功，加之这时候作为“宫分人”第二代的儿子韩匡嗣因为聪明乖巧，更兼学的一手国医妙手，甚为阿保机和述律太后所喜，最后在述律太后的建议下，韩知古遂被太祖阿保机授命为彰武军节度使。其后，更因韩知古治民有方，日益为阿保机所信任和重用，更被授命为总知汉儿司事，掌管辽国新设置的汉儿司，成为辽国境内管理汉人事务的最高官员。韩知古在掌握总知汉儿司事期间，尽量考虑辽国境内汉族地区农耕经济的实际情况，大胆推行用传统的汉法来治理这些地区，极大地促进了这些因战争而遭到破坏的农耕地区经济的恢复与发展和社会的稳定，一方面极大地增强了契丹国家的实力，同时这也为日后形成辽国特色的南北面官制奠定了基础。
