晋永和十一年（公元355年）七八月份，前凉河州刺史张瓘和骁骑将军宋混弟兄起兵反对荒淫无道的前凉国君张祚。宋混到达姑臧（今甘肃武威）城外时，张瓘的弟弟张琚和儿子张嵩打开城门，迎接宋混大军进城。张祚掉了脑袋，张重华之子张玄靓便被张瓘、宋混、张琚拥立为凉王。
虽说是凉王，年仅7岁的张玄靓除了看到刀光剑影感到好玩，看到血流成河感到可怕之外，对国家大事几乎什么都不知道，大权自然落到了杀张祚有功的张瓘手中。
张瓘喜欢猜忌他人，又根据自己的爱憎进行赏罚，结果使很多人对他极为反感。郎中殷郇劝谏时，张瓘勃然大怒说：“老虎出生三天就知道吃肉，何须别人教它！”把殷郇差点气死。宋混为人刚直不阿，自然成了张瓘的眼中钉，肉中刺。升平三年（公元359年）九月，张瓘想把宋混弟兄杀掉，并废掉张玄靓，自己当凉王。不料宋混先下手为强，把他打败。张瓘和弟弟张琚畏罪自杀，全族都被宋混杀掉。
经过这一场内部斗争，已经11岁的张玄靓似乎懂得了好多事情，给宋混增加了不少头衔，让他负责管理朝政。宋混让张玄靓去掉凉王称号，张玄靓很听话，便自称凉州牧。两年之后，宋混身患重病，张玄靓和祖母马氏亲自到宋混家中去看望。张玄靓见宋混病得很重，哭着对宋混说：“将军万一不幸去世，留下我们孤儿寡母可怎么办呢？我想让你儿子林宗代管朝政，不知你意如何？”宋混气喘吁吁地说：“林宗年纪太小，不能胜任。如果你不嫌弃宋家，可以让我弟弟宋澄代管，宋澄比我有才能。”宋混死后，张玄靓委任宋澄为领军将军，管理朝政。但是，好景不长。同年九月，右司马张邕起兵杀掉宋澄，族灭宋氏全家。张玄靓虽对张邕滥杀不满，但苦于手中没有兵权，只好忍气吞声，封张邕为中护军。让他同自己的叔父、中领军张天锡共同辅政。
张邕小人得志，大树私党，对异己者大肆杀害，遭到姑臧市民的强烈反对。张天锡见状，立刻起兵杀掉张邕。这样，前凉的大权又落入了张天锡的手中。
张玄靓深知张天锡心狠手毒，又有夺权野心，就想把王位让给张天锡，以保身家平安。张天锡表面拒绝接受，实际上，只过了一个月，就派右将军刘肃在深夜带兵进宫，杀了张玄靓，自己上台。张玄靓死后被谥号“冲公”。