该书院为厅堂式砖木结构，三进深，三开间。头进为马鞍形软封火山墙，十架椽屋，前搭牵用一方石柱，咸水石门匾，匾为阴雕“五云书院”四只楷体字。中天井已改建成八架椽屋。二进为十一架椽屋，前后搭牵用四柱、抬梁式结构，软封火山墙。后进是财神庙。左右两厢房已稍作改建。
该书院由肇庆高要区金渡、白土、回龙三镇的宋隆水系的六十四条村共同建造并共同拥有的学堂，1949年后，五云书院改称宋隆中学，直至八十年代前期。该书院和宋隆中学曾先后为祖国培养出成千上万的优秀人才，而得到社会的认可和政府的重视。
五云书院位于肇庆市高要白土镇龙头岗上。坐西向东偏南20度，始建于清乾隆甲辰年（1784年）。道光丙戌（1826）年落成，民国三十一年（1942年）重修，1949年后也曾多次对该书院进行修葺。
