万历江都县志》引宋《宝佑志》云：“四望亭在州治南，宁宗嘉定年间（1208-1224年），特授直宝谟阁、权发遣扬州事、主管淮东安抚司事崔与之建。”《乾隆江都县志》载，始建于明嘉靖三十八年（1559年），清康熙、雍正年间均曾修葺。原名文奎楼，后名魁星阁，是江都县学的组成部分。亭为砖木结构，八面三层，攒尖式瓦顶。底层四面皆有拱门与十字街道相通，故有“过街亭”之称。二、三层八而围以古朴的窗栏隔扇。登梯而上，推窗四眺，市区附近景色可一览无余。每层亭檐有八个飞角，三层共24个，每个飞角都有风铃，风吹铃响，声调悠扬。
四望亭原名“文奎楼”，后名“魁星阁”。魁星是奎星的俗称，取“奎主文昌”之意，原是县儒学的辅助建筑，是江都县学的组成部分。上个世纪50年代县学内供奉孔老夫子的大殿还存在。县学大门前立有三座石牌坊。在“魁星阁”西侧，县学的东、西院墙界址处，又各有一座过街石牌坊。以这两座过街牌坊为界，行人从它下面穿过，“文官下轿，武官下马”。“魁星阁”里边供奉魅星神。
