耶律大石，字重德，是辽太祖耶律阿保制第八代孙。但青少年时代，身份地位已近似平民，通过祖荫谋求高位已不可能。他通过努力，成为一个既擅长骑射，又通晓汉文和契丹文的文武全才。
天庆五年（公元1115年），大石考中进士。他首先被任用为翰林应奉，不久又升为翰林承旨。由于契丹语把翰林称为林牙，从此“大石林牙”也就成了人们对他的习惯称谓。后来，大石离开朝廷，接连担任了泰、祥二州（分别在今吉林白城和黑龙江农安东北）刺史和辽兴军（治所在平州，今河北卢节）节度使。
保大二年（公元1122年）三月，在金兵的打击下，天祚帝仓皇逃入夹山，辽朝统治集团分崩离析。李处温、回离保等人乘机在南京（今北京市）拥立耶律淳为帝，史称北辽。因大石担任节度使的辽兴军正属南京道，他也就很自然地成了耶律淳制下的官员。
当年五月，宋军来攻。大石虽杀退了宋军的进攻，却终究挽救不了北辽覆亡的命运。保大二年十一月，金兵占领居庸关，大石与回离保连夜引残军扩卫耶律淳的皇后萧普贤女出古北口西逃。
保大三年二月，大石和耶律淳之妻萧普贤女在天德军（呼和浩特市东）找到了流亡在那里的天祚帝。天祚帝早就对耶律淳夫妇怀恨在心，斥责大石说：“我还没死呢！你怎敢另立耶律淳！？”大石回答：“陛下以全国之势不能拒敌，弃国远遁，使得黎民涂炭。即使拥立10个耶律淳也都是太祖的子孙，岂不比乞命于他人强得多吗？”一番义正辞严的话语驳得天祚帝张口结舌，无言以对，只好赦免了大石的“罪过”，还客气地赐给他酒食。
接着，天祚帝派大石率军东下，攻取奉圣州（今河北涿鹿），以牵制金兵。当年四月，大石在龙门东25里的宿营地遭到金将娄室等部的袭击，因寡不敌众，不幸兵败被俘。
大石在金人的奴役羁绊之下，时刻在寻找逃跑的机会。而金人也一直在打主意，企图把这个文武双全的契丹贵族拢络过来。但无论金人如何软硬兼施，大石仍像坚硬的石头一样丝毫不为所动。一天，金将粘罕邀大石赌双陆，粘罕盛气凌人，大石不卑不亢，双方互不相让，争执起来。粘罕表面不动声色，实则已心怀杀机。大石回帐后，急忙带儿子乘着茫茫夜色冲出金营。
耶律大石历尽艰险，追随天祚帝，苦心孤诣地经营着风雨飘摇的局面，但他却得不到天祚帝的信任，并且逐步陷于很可能被杀戮的危险之中。在辽朝朝廷内部腐朽的统治集团和朝廷外部新兴的女真贵族的双重压力下，大石对辽朝在原统治地区的统治已经濒于绝望，严峻的现实迫使他不得不迅速脱离天祚帝，自奔前程。
保大四年（公元1124年）七月，大石佯装生病，杀死监视自己的北院枢密使萧乙薛及坡里括，率200铁骑连夜向西北方疾驰。
不久，大石来到镇州，力图恢复辽朝。各族首领积极响应，他们共同抽出一万余人的精兵，交付大石指挥。大石随即自立为王，重新组织官僚机构，建立起一支新的军事力量，为将来的进一步发展奠定了雄厚的基础。
1131年，经过一番征战，38岁的大石在文武百官的拥戴下，在儿漫（今乌兹别克斯坦布哈拉东北）登上了皇帝的宝座，号称“葛尔罕”，又上汉文尊号曰“天祐皇帝”，改元延庆，追谥其祖父为嗣元皇帝，祖母为宣义皇后。又册其元妃萧氏为昭德皇后。西辽政权因为是在喀喇汗国的基础上建立起来的，故又称喀喇契丹或黑契丹。
巴喇沙衮地处伊犁河西，吹河（楚河）南岸，热海（伊塞克湖）西岸，是中亚地区政治、经济、文化中心。延庆三年（公元1133年），大石正式定都巴喇沙衮，改称虎思斡尔朵（契丹语意为“强有力的宫帐”），改元康国。
西辽宣布建立后，大石采取一系列措施来巩固自己的统治。他镇压了康里叛乱，并向各地派遣沙黑纳（都督），传达政令，征收赋税。为了缓和属下各部的民族矛盾，大石施行较轻的赋税制度。对待归顺的各族首领，允许他们自治，宗教信仰也尽力许可自由，只要用一个银牌系于腰带之上，表明是他的臣属就够了。这种比较温和的治国政策，赢得了中亚民众的欢迎，有效地保证了西辽统治的顺利行使，社会秩序也较快地趋于安宁。
几年过后，西辽缔造者们长途跋涉的疲惫消失了。他们的牲口也长了膘。大石在西迁过程中一直把反击金兵、中兴辽朝作为最终目的，随着统治的稳定，兵力的强盛，他认为战略反攻的时机已经成熟。康国元年（公元1134年）三月，大石命六院司大王萧斡里剌为兵马都元帅，率7万骑兵东征。
西辽东征军接连征服了喀什喀尔、和阗（今新疆和田）、和州（今新疆吐鲁番县东阿斯塔剌）等地。但在东进途中，遭到严重自然灾害的袭击，牛、马大量死亡，损失惨重。大石长叹一声：“皇天不顺，数也！”放弃了到辽朝原统治区去复国的志愿。
东征遭挫的现实，促使大石专心经营他的新疆土。此后，大石锐意西进，直到迫使花剌子模沙（王）阿提西兹降服，每年进贡大量金币畜产，成为西辽的属国，才胜利回师。至此，西辽疆域，东起哈密，西至咸海，北达叶尼塞河上游，南抵阿姆河，广大的中亚地区结束了割据纷争的局面，西辽成为一个疆域辽阔，势力强大的封建帝国。
康国十年，耶律大石病死在虎思斡尔朵他的宫帐之中，依汉制立庙号，尊谥“德宗”。