1826년(순조 26)에 지방유림의 공의로 백장(白莊)·송보산(宋寶山)·김남택(金南澤)·최경회(崔慶會)의 학문과 덕행을 추모하기 위하여 창건, 위패를 모셨다. 선현배향과 지방교육의 일익을 담당하여오던 중 1868년(고종 5)에 대원군의 서원철폐령으로 훼철되었으나, 유림과 후손에 의하여 제단을 마련하고 춘추로 향사를 지내오다가 그 뒤 1948년에 복원하였다. 1974년에는 백여옥(白如玉)·김남중(金南重)·송수산(宋壽山)을 추가 배향하였다. 경내의 건물로는 3칸의 사우(祠宇), 4칸의 강당, 고사(雇舍)·행랑·대문 등이 있다. 사우에는 백장을 주벽(主壁)으로 하여 좌우에 송보산·백여옥·김남중·최경회·김남택·송수산의 위패가 봉안되어 있다. 중앙의 마루와 양쪽 협실로 된 강당은 원내의 여러 행사와 유림의 회합 및 학문의 토론장소로 사용된다. 행랑은 공부하는 유생이 거처하는 곳으로 사용하며, 고사는 관리자가 거처하는 곳이다. 이 서원에서는 매년 3월과 9월 15일에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 유물로는 『사선생사실록(四先生事實錄)』1책 등 40여 권의 문헌이 있으며, 재산으로는 전답 1,500여 평과 임야 700여 평이 있다.