桂齋在荷亭西北側(cè)，原為皇華亭故址。
新建的“桂齋”由前后兩院組成，北院為桂齋正廳和“林文忠公讀書處”組成，庭院西側(cè)有游廊和碑亭。南院為假山魚(yú)池，有六角亭及石拱橋各一。
桂齋東面院外為禁煙亭，建于民國(guó)十八年（公元1929年）六月，平面正方形，四角方形混凝土柱，西式疊澀檐口，攢尖頂，是1949年前留下的唯一建筑。
清道光九年（西元1829年），福建布政使程含章見(jiàn)屏山原李綱祠破敗不堪，“心竊傷之”，遂募集資金欲重建。時(shí)林則徐丁父憂在家守制，受托主持西湖疏浚工程，程含章與林則徐商議后，選西湖荷亭舊址，興建新的李忠定公（李綱）祠，并附建紀(jì)念李綱讀書處的“桂齋”。建成后留有程含章撰稿，林則徐手書《新建宋李忠定公祠堂記》?！肮瘕S”為李忠定公祠的花廳，取李綱晚年住所為名，并植桂花兩株。
林則徐曾語(yǔ)于親故：不求身后立祠，但得配祀李忠定公祠足矣。道光三十年（西元1850年）林則徐卒，翌年，州人奉其遺像祀于桂齋中。
光緒三十一年（西元1905年），澳門路林文忠公祠成，此處改稱“林文忠公讀書處”，并篆書石刻嵌于墻上。
民國(guó)十八年（公元1929年）又在齋旁建室一間和禁煙亭一座。
1949年以后，尤其是文革-時(shí)期，李忠定公祠和桂齋被毀。
1961年公布為福州市第一批市級(jí)文物保護(hù)單位。