风采楼始建于明朝，有明代广东大儒陈献章（白沙）写的《风采楼记》为记，风采楼那三个字也是他写的。
附：韶州風采樓記
宋仁宗朝除四諫官，其一人忠襄余公也。蔡君謨詩云：必有謀猷禆帝右，更教風采動朝端。弘治十年春，韶守錢君鏞始作風采樓，與張文獻風度樓相望。忠襄之十八世孫英走白沙，謁文以表之。
夫自開闢達唐，自唐達宋至于今，不知其幾千萬年。吾瞻於前，泰山北斗，曲江公一人而已耳；吾瞻於後，泰山北斗，公與菊坡公二人而已耳。噫，士生於嶺表，歴兹年代之久，而何其寥寥也。則公之風采在，人爭先暏之為快，如鳳凰芝草不恒有於世也，可知矣。如公之才，得行公之志，所謂障百川而東之，回狂瀾於既倒，公固有之。公有益於人、國也大矣，雖然一諫官，豈能盡公哉。
顔淵問為邦，孔子斟酌四代禮樂告之。顔淵，處士也，何與斯理耶？居陋巷以致其誠，飲一瓢以求其志，不遷不貳，以進於聖人。用則行，舍則藏，夫子作春秋之旨，不明於後世矣。後之求聖人者，顔子其的乎？時乎顯則顯矣，時乎晦則晦矣。語黙出處惟時，豈茍哉。
英乎，勉諸，毋曰忠襄可為也，聖人不可為也。
（明）弘治十年冬十二月壬申书白沙陈献章公甫记并书