看看死链的处理和解决规避

一、大量死链对搜索引擎有什么影响？

1，死链率太高，会影响搜索引擎对网站的评级。

2.搜索引擎每天抓取各个网站的频率是有限的。如果网站存在大量死链接，会浪费抓取配额，影响其他正常页面的抓取。

3.死链太多对网站用户来说也是不好的表现。

第二，死链接是怎么产生的？

1.网站内部添加了错误的内部链接。

编辑错误或程序员的粗心导致页面产生了一个不存在的页面。

2.该网站暂时无法访问。

因为服务器、空间或程序问题，网站暂时无法访问，导致大量服务器错误页面，返回代码以5开头。

3.外部链接错误

用户或站长在站外发布了错误的网址；其他网站用错误的链接复制或收集了你的页面。

4.爬网程序提取了不完整的URL。

个别爬虫提取页面的URL时，由于URL中存在不规则字符或者URL与后面的文字链接，导致URL无效。

5.网站改版

如果你的网站已经改版或者将要改版，一定要注意死链接的问题。很多网站改版后，直接删除旧页面，导致大量死链接。

6.管理员删除该页面

网站管理员删除被黑的、广告的、过时的和泛滥的页面，导致许多死链接。

三、如何找到网站中的死链接？

1.百度站长工具中的抓取异常工具可以查看最近一个月生成的各种死链，并支持导出功能。

2.使用相关的爬虫软件，比如Xenu，可以抓取全网站的所有链接，分析页面状态。分析完成后，支持导出功能，提取死链接。

3.在网站尤其是论坛的运营中，经常需要删除一些页面。删除页面时，一定要记录下对应的Url，以便以后提交死链。

以上两种方法提取的死链接列表一定要删除验证，比如用wps表删除重复链接，然后用Http状态批量查询工具验证是否真的是死链接。

四、如何避免和处理死链接？

1、网站改版是最容易产生死链的。

如果改版前的页面有价值，尽量不要删除或修改网址。如果需要更改域名或url分配规则，必须通过301将之前的Url跳转到相应的Url。如果一定要删除旧数据，就要把所有删除的页面URL整理出来，提交死链。

2.怎么处理发现的死链接？

将收集到的死链全部粘贴到网站根目录下的一个文档中，然后将文档地址提交给百度站长工具–网页抓取–死链提交–添加新数据–填写死链文件地址；如果大量的死链接有一定的规则，比如某个目录下的所有死链接，可以提交规则死链接。

相关注意事项：

1.在百度站长工具中提交死链之前，一定要确保提交的死链数据中没有活链接。一旦有活链存在，就会显示提交失败，不能删除。

2.由于很多网站程序问题，很多打不开的页面返回码不是404，这是个大问题。比如打不开的页面返回码是301，200，500。如果他们是200，不同的网址将出现在网站中，以获得相同的内容。比如我的一个站，社区里的帖子删除后，返回代码是500，后来发现了，马上处理。尝试找出所有错误的URL格式，并将HTTP状态代码设置为404。

3.找到所有错误页面后，一定要寻找这类页面的URL的相同特征，并与正常页面的特征进行区分。将相应的规则写入robots文件，禁止蜘蛛爬行。即使你已经提交了站长工具里的死链，也建议机器人禁止抓取。

4.机器人只能解决蜘蛛不再抓取此类页面的问题，却无法解决删除收录页面快照的问题。如果你的网站被黑了，被黑的页面被删除了，除了被机器人屏蔽的被黑页面，这些页面也要提交死链。提交死链是删除被黑页面快照的最快方法。