신라 후기에서 고려 초에 많은 스님들이 중국에 건너가 혜능대사의 남종선(南宗禪)을 체득하여 돌아와 구산에 선문을 세운 것이 구산선문(九山禪門)이다. 이 구산선문 선사들은 모두 혜능대사의 손상좌 되는 마조와 석두 법맥을 이었기에 공통분모는 혜능대사였다. 이런 까닭에 우리나라 구산선문은 통칭해서 선종(禪宗) 또는 조사선(祖師禪)이라 하거나 혜능대사와 연관하여 남종선(南宗禪) 또는 조계선(曹溪禪) 등으로 불리었다. 중국에서는 이 선종이 혜능대사 법맥에서 모두 기원하여 임제종ㆍ위앙종ㆍ운문종ㆍ조동종ㆍ법안종 등의 5가7종으로 분화된다. 우리나라에서는 구산에 선문이 들어섰지만 조계종 단일 종파를 유지했다. 그러므로 우리나라의 조계종은 중국과 일본에도 없는 종파 이름이다.
우리나라에서 ‘조계(曹溪)’라는 최초의 표현은 887년 쌍계사 진감국사비문에 진감국사를 조계(혜능)의 현손이라 기록한 것이다. 이후 많은 선사들의 비문에는 공통적으로 조계 법손이라는 기록이 보이는데, 조계종이라는 이름은 1172년 대감국사의 비문에 ‘고려국조계종굴산하단속사대감국사(高麗國曹溪宗崛山下斷俗寺大鑑國師)’라는 구절이 나온다. 굴산선문이 조계종 소속임을 표현하고 있는데 이것은 구산선문이 공히 조계종 소속이었음을 표현한 것이다.
통일신라는 말기에 이르러 왕실과 귀족층의 내분과 갈등, 그리고 지방 호족세력의 성장과 도전으로 후삼국으로 분열되었다. 후삼국은 치열한 전쟁을 거치며 개성지방 호족 왕건이 통일하여 고려를 개국하였다.
고려를 세운 왕건은 불보살의 힘으로 대업을 이루었다고 생각하여 도읍지를 개성으로 옮기고 궁궐, 관청과 함께 10대 사찰을 창건하여 교화를 돕는다. 고려 태조 왕건이 후대 왕들에 남긴 훈요십조에는 사찰의 보호와 연등회와 팔관회 봉행을 유시하였는데 고려왕조는 이를 실행하여 삼국과 통일신라 시대에 이어 불교국가로 융성하였다.
고려왕조에서 불교를 보호하면서 관리하는 제도 중 하나가 승과제도의 시행이다. 958년 광종 대에 과거제도를 시행하면서 승과(僧科)도 실시하였다. 승과는 종파별로 시행되었는데 초기에는 조계종과 화엄종, 유가종(법상종)이 시행되었고 1099년 의천대사에 의해 천태종이 개창된 이후 천태종을 포함하여 4종파가 승과를 시행하였다.
승과 외에도 국사(國師)와 왕사(王師) 제도가 있었다. 주로 국왕의 자문 역할을 맡았으며 수행력과 명망이 있는 고승을 국왕이 제자의 예를 갖추고 위촉했다. 고려 초기 국왕과 왕사는 조계 선종 스님들이 대부분 추대되었다.
고려 문종의 넷째 아들 의천(義天, 1055~1101)이 출가하여 13세에 승통(僧統)이 되어 화엄종을 주도해 가자 큰 변화가 일어났다. 의천스님은 여러 스승을 찾아다니며 열정적으로 공부하였고, 마침내 송나라로 유학을 가서 천태의 교관(敎觀)을 배워 왔다. 의천스님은 화엄종 소속에서 갑자기 1097년 국청사를 세우고 천태종을 창립한다. 의천스님은 왕자 출신으로 왕권을 빌어 새로운 종파를 창립하였다.
당시 대각국사 의천스님이 왕권을 빌어 천태종을 개창하자 다수의 선승들도 여기에 참여하였지만 원응국사와 사굴산문의 혜조국사는 조사선의 본분을 지키겠다는 확고한 입장을 보였다. 그러나 대각국사는 개창한 뒤 곧 입 적하여 천태종은 급격히 쇠락하고 만다.
고려 중기에는 구산선문 중 가지산문과 사굴산문에서 많은 고승들이 나와 선풍을 진작하였다.
사굴산문의 보조국사는 조계종의 중천조로 모셔져 있는 바와 같이 결사를 통해 수행종풍을 크게 선양하였다. 보조(普照, 1158~1210)국사는 어려서 출가하여 승과에 급제하였으나 벼슬을 단념하고 산중에 들어가 당시 쇠퇴한 승풍을 진작하고자 『정혜결사문』을 발표하고 송광산 길상사를 결사 도량으로 삼아 정진하였다. 이후 정혜결사에서 2세 법주 진각국사를 비롯하여 16국사(國師)가 나왔다. 특히 보조국사는 간화선을 창시한 대혜선사의 어록을 보고 간화선 수행법을 우리나라에 처음으로 소개하여 선풍 진작을 도모하였다.
보조국사의 뒤를 이어 진각혜심(眞覺慧諶, 1178~1234)국사 또한 큰 역할을 하였다. 진각국사는 국왕 강종과 무신정권의 강력한 지지를 기반으로 수선사를 일신하였다. 당시는 무신들이 조정을 좌우하였는데 정권의 실력자 최우는 국사를 스승으로 모시고 자신의 두 아들을 출가시킬 정도로 존경하였다. 혜심국사는 보조국사가 소개한 간화선을 본격적으로 정착시키는데 큰 역할을 한다. 혜심스님은 간화선을 체계적으로 정립하기 위해 조사들이 깨친 일화 1125칙(則)을 모아 화두 공안집인 『선문염송(禪門拈頌)』 을 편찬하였다. 일찍이 간화선이 탄생한 중국에서도 이렇듯 많은 화두가 하나로 집약되어 책으로 간행된 적이 없었다. 보조국사의 정혜결사는 고려 무신정권의 강력한 지원을 받고 있었는데, 무신정권이 무너지자 그 흐름이 약화되어 간다.
이때 가지산문의 일연(1206~1289)대사가 큰 역할을 한다. 일연대사는 도의선사가 주석했던 설악산 진전사로 가서 구족계를 받고 화두 참선을 하다가 마침내 확철대오 하였다. 대사는 왕명으로 가지산 운문사에 주석하였는데 수많은 제자들이 모여들어 가지산문을 중흥한다. 특히 1277년 72세에 『삼국유사』를 집필하기 시작하여 민족문화의 보고를 완성하였다. 만년에 일연국사는 인각사에서 두 차례 구산 문도회를 열어 좌장으로 선문의 통합을 도모했다.
일연대사 이후 가지산문의 걸출한 인물이 바로 조계종의 중흥조로 모셔진 태고보우(1301~1382)국사이다. 태고스님은 우리나라에서 처음으로 간화선으로 깨치고 중국(원나라) 임제종 조사를 찾아가 문답하고 전법 인가를 받아온 선사이다. 스님은 공민왕의 반원자주정책을 적극 후원하였고 왕에게 건의하여 광명사에 원융부(圓融府)를 설치하고 구산선문(九山禪門)의 통합을 추진하였다. 나아가 스님은 고려의 국정쇄신을 위해 한양 천도를 건의하였으나 간신들의 방해로 실현되지 못했다. 이후 화엄종 출신 신돈이 국정을 책임지자 태고스님은 법주사로 유배되어 죽음의 위협을 당하기도 했다. 이후 공민왕이 신돈을 죽이고 태고스님을 국사로 모셨다. 태고스님 은 간화선 외에도 염불도 일심으로 하면 깨칠 수 있다고 하였다.
태고국사와 같은 시대에 백운(白雲, 1299~1375)스님은 나옹대사와 더불어 고려 말 3대 선사로 불린다. 세계 최고 금속활자본인 『불조직지심체요절』의 저자이다. 『직지』라고 널리 알려진 백운스님의 저술은 부처님과 조사들의 요긴한 말씀을 정리한 것으로 간화선의 지침서이다. 지금의 청주 흥덕사에서 간행된 이 책은 고려불교의 위대한 사상문화 수준을 보여주는 증거이다.
태고국사와 동시대에 활약한 나옹(懶翁, 1320~76)대사는 각고의 정진을 하다가 양주 회암사에서 4년째 정진하던 중 확철대오하였다. 대사는 태고스님처럼 깨달음을 인가 받고자 원나라로 가서 중국 임제종 선사들을 두루 만나고 인가를 받았다. 공민왕의 청으로 1371년 왕사에 추대되어 양주 회암사로 와서 절을 크게 중창하고 무학대사에게 법을 전하였다. 태고국사와 마찬가지로 나옹왕사도 간화선 외에 염불도 권했다.
고려 후기에 이르면, 도의국사가 전한 조사선(祖師禪)은 태고ㆍ나옹ㆍ백운 선사에 이르러 화두 참선법인 간화선(看話禪)으로 발전하게 된다. 조사선이 조사와의 문답을 통해 깨치는 선법이라면, 간화선은 조사가 준 화두를 의심해 들어가 자나 깨나 의심이 지속되는 오매일여(寤寐一如)를 투과하여 확철대오하고 깨친 뒤에 조사 선지식을 찾아가 인가 받는 선법이다. 태고와 나옹 그리고 백운 스님은 이 간화선으로 깨치고 직접 원나라로 임제종 조사를 찾아가 깨침을 인가 받아와서 조사의 정통성을 확고히 하였다. 이후 우리나라 불교는 간화선을 중심으로 수행하되 간경과 염불, 주력도 포용하는 수행체계로 정착되어 갔다.
이후 태고스님의 법은 환암 – 구곡스님에서 서산스님으로 이어져 지금의 조계종 스님들의 대다수가 태고스님의 법맥으로 내려왔다. 나옹스님도 무학(無學, 1327~1405)대사에게 법을 전하였다. 무학대사는 조선 태조 이성계의 왕사로 조선의 개국에 큰 역할을 하였다.
조선의 개국을 추진한 정치세력은 정도전 등 신흥 사대부들이었는데 이들은 고려의 패망 요인 중 하나가 사원의 과도한 재산과 승가의 타락에 기인하는 것으로 보아 강력한 억불숭유(抑佛崇儒) 정책을 추진하였다.
태종은 집권하자 본격적인 불교 탄압을 시작했다. 먼저 조계종 이외에 화엄, 천태, 중도 등 11종단이 있었는데 이를 7종단으로 통합하고 사찰 수도 대폭 축소하였다. 국사ㆍ왕사 제도도 없앴다.
이렇게 하여 불교는 삼국시대에 들어와 고려초까지 1천년 동안 국교의 위상과 역할을 하다가 조선이 개국하고 심각한 법난을 당하여 존망의 위기에 처하게 되었다.