1651년(효종 2) 이정(李楨)을 중심으로 한 지방유림의 공의로 설총(薛聰)·김유신(金庾信)·최치원(崔致遠)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 처음은 선도산(仙桃山) 아래 서악정사(西岳精舍)로 창건하여 향사를 지내오다가, 임진왜란 때 소실되어 1600년(선조 33) 서원터의 초사(草舍)에 위패를 봉안하였다. 1602년 묘우(廟宇)를 신축하고 1610년 강당과 재사(齋舍)를 중건하였다. 1623년(인조 1) ‘西岳(서악)’이라고 사액되었다. 대원군의 서원철폐시 훼철되지 않고 존속한 47개 서원 중의 하나이며, 1873년에 중수하여 선현배향과 지방교육의 일익을 담당하였다. 경내의 건물로는 3칸의 묘우, 5칸의 시습당(時習堂), 5칸의 절차헌(切嗟軒), 5칸의 조설헌(譟雪軒), 영귀루(詠歸樓), 3칸의 전사청(奠祀廳), 4칸의 고자실(庫子室), 도동문(道東門)·외문(外門)·내문(內門) 등이 있다. 묘우에는 설총·김유신·최치원의 위패가 봉안되어 있으며, 강당인 조설헌은 원내의 여러 행사와 유림의 회합 및 학문의 강론 장소로 사용되고 있다. 시습당과 절차헌은 유생들이 공부하며 거처하는 곳이고, 영귀루는 누각이며, 전사청은 향례 때 제수(祭需)를 마련하여 두는 곳이고, 고자실은 고자들이 거처하는 곳이다. 이 서원에서는 매년 2월 중정(中丁 : 두 번째 丁日)과 8월 중정에 향사를 지내고 있으며, 제품(祭品)은 7변(籩) 7두(豆)이다. 경상북도 기념물로 지정되어 있으며, 유물로는 문집 몇 권이 있다. 재산으로는 대지 1,100여 평, 답 3,600여 평, 임야 3,400평 등이 있다.