书院始建于清道光二十年(1840)春，历时三年完工。当时宁冈居民分为土、客两大族群，土籍已有巽峰书院、鹅峰书院、联奎书院，于是宁冈、湖南郧县（今炎陵）、茶陵三县客籍豪绅共同商议，于宁冈龙市建造龙江书院，为三县客籍子弟之学府。创建之时三县客籍山民慷慨解囊，共输田百余亩，谷量计1000担以上（《龙江书院尚义录》)。
龙江书院效仿白鹿洞、鹅湖、白鹭洲书院等进行严格治学，并定期派出生员赴白鹭洲、豫章等书院学习。至辛亥革命后废旧改新，民国时改为县立第二小学。1928年4月，朱德、陈毅等率南昌起义部队和湘南暴动农军到达龙市，居住在龙江书院，并在此与毛泽东同志领导的秋收起义部队胜利会师，相关领导人士在书院文星阁商定两部队会师后成立红四军的相关事项，即为“井冈山会师”。
1972年书院被焚，后按原貌重建书院坐西朝东，倚山势临江流，由三组院落并联而成，总进深约51米，总面阔约39米。中央院落为主，面阔三开间，共三进，且正前方有月牙形泮池和一个小拱桥。山门设前廊，上挂“龙江书院”匾，廊后仅当心间设门，建筑内部开敞。
第一进院落近方形，面积较大，两侧设窄廊，廊西侧设门通向两旁院落。院后是用于教学的明道堂，再后一进是两层歇山顶的文星阁，阁二层空间开敞，设有环廊，可登临远眺。阁后还有一狭长小院。两侧的院落格局相似，与中央院落等长，各分为四进院落，院落尽头各设一祠，名为“崇义祠”“报功祠”。
