相传，北宋杨家将围剿向王天子曾在天子山安营扎寨。后因战争旷日持久，杨家便在此地繁衍后代，使这里成了“杨家界”。如今，杨家界还保存有《杨氏族谱》和明清时代的杨家祖墓，有“六郎湾”、“七郎湾”、“宗保湾”、“天波府”等地名。
杨家界的地名、山名，也很有特色。这里的“宗保峰”、“六郎湾”、“杨家界”等地名、山名，是生活在这里的杨家将后裔为纪念杨家将而取的，一千多年来，一直沿袭未改。所以，到杨家界游览，不仅可以饱览这里的原始自然风光，同时还可以探寻杨家将后裔的踪迹。
杨家界山明水秀，风光如画：香芷溪峰高天远，涧深水清，斜阳古道，鸟叫蝉鸣，似世外桃源；龙泉峡绝壁罗列，是天然的屏障，宛若壮观的古城墙；百猴谷是猕猴和白鹭的家园，成队的猕猴出没于悬崖沟谷之间，成群的白鹭栖息于苍枝绿叶之中.这里还有被人叹为“神州第一藤”的“绝壁藤王”；奇异的五色花.
