观音阁也称大士阁，建于明朝万历十一年（1583），早年在这里面供奉观音菩萨，用作祭祀场所。1937年大士阁曾被日军的炮火炸毁，1986年又重建此阁。
农历六月廿四日为荷诞（荷花生日，古称观莲节），以前嘉兴地方上早早地或自发、或商界集资精心制作各种荷花彩灯到南湖进行放灯活动。普通的荷花灯为木制底板，上面围扎粉红色半透明花瓣，勃勃怒放，花蕊可插蜡烛。是日，商界同仁或有钱人家包租了丝网船，泛舟游湖。船上设盛宴饮乐之外，有的还请了民乐队随船伴奏助兴。烟雨楼大士阁历来香火旺盛，但最盛的是六月廿四日，四乡八圩的信徒会聚湖心岛，敬香拜佛，同时一观荷花灯盛况。是夜嘉兴人几乎倾城而出，涌向湖滨。湖里船上、烟雨楼上以及湖滨岸上人山人海。待天暗下来，无数只荷花灯点亮蜡烛，从船上、岛上、湖边放入水中，浮于碧波。花灯随微风细浪、人潮气浪悠悠荡漾。千万盏游动的荷花灯，映照着绿菱嫩荷，乘着习习凉风，载着阵阵欢笑，在幽幽丝弦声中荡漾。
