如何清理网站页面的无效链接

　无论百度SEO指南还是Google网站质量指南都提到，网站上有大量无效链接(返回404或域名根本不能打开)会使网站总体质量下降，用户体验不好。这个用大腿想也能想到。就算写不出高质量内容，清理网站上的这些无效链接，也多少对网站质量有好处。http://www.laiyongfei.com

　　这么简单、直接明了的要求，做起来可也并不那么容易啊。尤其对SEO每天一贴这种居然存在了10年的老博客来说。

　　我写帖子还是挺喜欢链接到其他网站的资源的，并不怕链接出去会损害自己网站的权重什么的，我不信这种说法。但这几天试着清理了一下帖子里的无效链接，还是累得我够呛，有点后悔链接到那么多外部网站了。虽然我知道有一些当年引用的网站恐怕已不存在，但真没想到阵亡的比例这么高。就清理完的页面看，至少一半我链过去的网站现在已经没了。http://www.laiyongfei.com

　　比如这篇翻译的博客SEO指南，页面上指向外部网站的无效链接在20个以上。里面既有个人博客，也有商业服务网站，很多老外没坚持这么久。中文网站已消失的也不遑多让。举几个例子：

　　当初我很爱引用的幻灭、小添、 SEOVista、highDIY、网鹰、边悦、SEMWatch等等，域名早已过期或给了别人

　　熟悉的小鹏、星箭、Inway、天真等人，曾经活跃的个人博客，无一能打开

　　还比较活跃的Robin Liu，其最初的博客居然是在MSN Space上的，早不知道什么时候消失了

　　曾经著名的谷歌黑板报消失了。大名鼎鼎的吴军老师最初的数学之美系列就是首发在黑板报的

　　Google官方站长博客也换地方了，并且没有做301，害得我博客上很多链接都失效了

　　连点石论坛原来的帖子链接都无效了

　　很多商业服务也消失了，雅虎目录、Yahoo! Site Exploror、百度有啊、搜狐关键词查询工具都没了

　　白宫网站、华尔街日报旗下网站、商业周刊等都改版过，很多旧URL无效了

　　不举例子了，太多了。以上都是本博客以前链接出去现在发现无效的。

　　清理链接有许多工具，有技术的可以自己写个程序，把自己网站(或别人网站，这个有时间再说)抓一遍，检测一下外部链接的服务器头信息就行了。