代码（Python + requests + BeautifulSoup）

import requests

from bs4 import BeautifulSoup

from urllib.parse import urljoin, urlparse

from collections import deque

def get_all_links(start_url, max_pages=100):

visited = set()

queue = deque([start_url])

domain = urlparse(start_url).netloc

# 如果想包含子域名，可以改成：lambda u: urlparse(u).netloc.endswith(domain)

same_domain = lambda u: urlparse(u).netloc == domain

while queue and len(visited) < max_pages:

url = queue.popleft()

if url in visited:

continue

visited.add(url)

try:

resp = requests.get(url, timeout=10, headers={'User-Agent': 'Mozilla/5.0'})

resp.encoding = resp.apparent_encoding # 解决乱码

except:

continue

soup = BeautifulSoup(resp.text, 'html.parser')

for a in soup.find_all('a', href=True):

href = a['href']

full_url = urljoin(url, href) # 相对路径转绝对

# 只保留同一域名，并且是http/https

parsed = urlparse(full_url)

if parsed.scheme in ('http','https') and same_domain(full_url):

# 去掉锚点（#后面的），避免重复

clean_url = parsed.scheme + '://' + parsed.netloc + parsed.path

if clean_url not in visited:

queue.append(clean_url)

return visited

# 使用

all_links = get_all_links('https://example.com', max_pages=500)

print(f"找到 {len(all_links)} 个子链接")

这段代码有几个要点：

用队列做广度优先，防止递归爆栈。

每次只取路径部分，去掉?参数和#锚点，否则同一个页面有不同参数会被当成不同链接，很可能爬不完。

设置max_pages限制，不然小网站也扛不住。

加了timeout和User-Agent，减少被ban概率。

更进阶的情况

如果网站是单页应用（SPA）或者异步加载，上面的代码只能拿到初始HTML里的链接。这时候需要：

用selenium模拟浏览器点击，等几秒再拿新页面。

或者打开浏览器开发者工具，看Network里XHR请求，直接请求那些数据接口拿链接（更高效）。

有的网站用标签指定相对URL基准，urljoin会处理，但注意检查。

最后提醒

爬取全站链接一般很耗费对方服务器资源，建议：

加延时：time.sleep(random.uniform(1,3))

设置最大并发（用requests.Session配合asyncio或者ThreadPoolExecutor）

爬下来只做分析用，别长期反复爬

如果你只是自己学习或分析站点结构，上面的代码完全够用。如果想跑几万页的大型站点，得考虑分布式、断点续爬、去重数据库（比如布隆过滤器）等，那就不是几行代码的事了。

新网站怎么做SEO优化

超度小说站泛目录二开版，助力小说站收录流量双提升

超度小说站泛目录二开版，是基于泛目录技术对小说站进行二次开发的版本，它能对网站目录架构、功能等进行进一步拓展与优化，让小说站在收录和流量获取上更具优势。下面详细介绍与之相关的要点。

什么是超度小说站泛目录二开版

超度小说站泛目录二开版建立在原小说站泛目录基础之上，开发团队依据市场需求与技术发展趋势，对原有系统进行二次创作。通过代码优化、模块添加等操作，不仅提升网站性能，还丰富了其功能，使得网站能更快适应搜索引擎规则变化，从而获取更多流量。

从实际应用看，该版本能有效引导搜索引擎抓取网站大量页面，提高相关页面收录率。当用户搜索小说相关关键词时，网站曝光概率大幅增加。就如同给小说站配备了精准导航，让搜索引擎更精准地找到网站内容。

超度小说站泛目录二开版特点

在页面收录方面，超度小说站泛目录二开版有独特算法和架构，可创建海量符合搜索引擎要求页面。这些页面既能精准靶向各种小说相关关键词搜索，又不产生冗余代码和低质量内容。

而在用户体验上，它也有显著提升。网站响应速度更快，读者能快速打开小说页面进行阅读。而且站内分类清晰，无论是热门小说还是小众题材，都能让用户轻松找到自己想看的作品，避免传统小说站找书难问题。

搭建超度小说站泛目录二开版优势

SEO优化效果佳。此版本采用先进策略吸引搜索引擎蜘蛛抓取，如能准确模拟真实用户访问路径，让搜索排名提升明显。当网站的小说页面在搜索引擎结果中排名靠前，自然会有更多用户点进网站。

对版权问题处理也很灵活。其允许对小说资源有更合理管理方式，可导入正版资源，也能提供部分免费试读促进用户付费阅读。这种模式既能保护版权，又能提升网站收益。

超度小说站泛目录二开版，助力小说站收录流量双提升

超度小说站泛目录二开版技术原理

该版本涉及URL规则设置算法，精心设计以生成大量高质量长尾关键词页面URL，供搜索引擎收录。还通过页面静态化技术，把动态页面转化为静态HTML页面，加快访问速度，减少服务器压力。

内容聚合也有独特手段，能自动抓取多渠道小说内容，并按预设规则整合到网站中。这样让网站内容丰富多样，满足不同用户的阅读口味，使得小说站宛如一个巨大的书库，容纳四面八方的书籍。

运营超度小说站泛目录二开版策略

要持续更新小说资源，紧跟热门小说，及时上架最新章节和优质小说资源。还对小说分类标签进一步细化，构建完善站内搜索系统，让用户方便根据喜欢类型查找小说。

可通过社交媒体、小说论坛合作等方式，进行推广。开展各种活动吸引用户注册登录，发放阅读优惠券、举办书评活动，增加用户黏性，促进用户留存和传播。

超度小说站泛目录二开版发展趋势

未来，其可能会跟人工智能技术更深度融合。借助AI推荐，能为每位用户精准推送符合其阅读喜好的小说。另外会开发更多适配移动终端的功能，让用户在移动端阅读体验更舒畅。

在内容审核上会更严格，加大打击盗版力度，规范内容创作发布，促进小说行业健康可持续发展。结合大数据分析精准定位用户需求、指导资源引进方向，已成为其必然选择。

想知道的是，对于超度小说站泛目录二开版在用户体验提升上，你觉得哪种方式最有效果？欢迎评论区留言！要是觉得文章有用，别忘点赞分享。

小说站泛目录二开版源码