石门在县境西南泗里河乡之石门村。为明末江西巡抚郭都贤隐居之地。 民国《益阳之胜地与名人》载：“石门山，在今治西马埠乡潭家园，以山麓有石壁直立，左右相柱，屹立如门，故名。石门以内，泉石幽邃，另有天地，郭都贤丁丑为母营葬，甲申自江西解组于此，时清世祖入关年也。”

石门村里，溪水潺潺，一双页石门，形为岩屋，若人工雕凿，高达丈余，流泉击石，罄声悠扬。入得石门，一滚圆岩石，堵水入门，曰珍珠塞洞门，每遇天雨涨水，或山洪奔袭，水从门下喷出，巨浪腾飞，白雾蒙蒙，洪峰撞壁，响如惊雷，蔚为壮观。

石门左侧一巨石，形若皇家金椅，明郭都贤见之赞不绝口，登上石椅，欣然挥笔“五云深处”四个大字。门前一石蛙，弹跳之状，栩栩如生，水从蛙背直下，石门后有天然石金鱼，望花台，耸立半空，登台眺望，见高椅云深，石门霞镜，葱笼佳气，念归岩屋一家春。

千百年来，石门古木参天，石怪岩奇，鸟语花香，风景幽美。

郭都贤于崇祯十年（1637）来石门后，留连此地胜景，买下了这块地，其母其小女后均葬于此。他在石门的两块石上题刻有诗句：“西王旧日宫，楼阁五云中，即此归灵境，绵绵有道风。”
史载：明末重臣洪承畴原受恩于郭都贤，洪降清被重用，郭非常气愤。洪来湖南时特来桃拜访郭，“都贤见承畴，故作目眯状，承畴惊问：‘何日得目疾’？都贤曰：始吾识公时，目自有疾，承畴默然。后洪在长沙制造一冤案，关押100余人，乡民请郭出山 保救。”郭只得往长沙见洪，洪大喜，恭谨迎接，郭称洪“两朝元老”，洪答“千古罪人”，后洪满口答应释放了这些人。