其建築規模之大國內少見,分上下兩層,下層為拱形無樑城闕狀,上層為重簷四坡頂,龍飛鳳舞,雕樑畫棟,十分壯觀。
樓上原為明代迎王迎妃、接詔報時之所,原有報時和儀仗用的大鼓兩面、小軍鼓二十四面以及其它樂器,明亡後這些陳設均已散失。
現樓基是明代原建,樓上建築為晚清重修。 1685年在樓上建一巨碑,改鼓樓為碑樓,但當地人仍習稱其為鼓樓。