分类
信息技术

DNSPod的Google爬虫问题

在前几天的博文中我提到DNSPod有GoogleBot蜘蛛抓取问题,其实我当时不严谨,因为无法证实是墙还是DNSPod的问题。

后来毕扬博主反馈说可能是整个中国墙的原因,因为好多域名解析商都存在问题,所以我又更新说,如果不是DNSPod的事,我愿意道歉。

不过,很多DNS域名解析商有问题,不代表所有的国内域名解析商都存在GoogleBot问题。

你看见一万只天鹅都是白的,你也不能得出结论说“所有的天鹅都是白的”,而当你发现一只黑天鹅时,你就可定论“不是所有的天鹅都是白的”。

最近,我发现张志强博主在他的最新博文中说:不要用DNSPod的免费域名DNS解析服务,语气更激进,直接劝别人不要用免费版了,我只是说我不用了而已。

既然志强博主用免费的百度加速乐DNS域名解析没有问题,我据此认为,至少GoogleBot爬虫DNS问题不是整个中国的问题,或者说,DNSPod的免费版也是有提高空间的。

现在,DNSPod的工作人员来我博客留言,坚称说这个问题是整个大中华区长城防火墙GFW的问题,并搬出他们的创始人的说明不是他们的事

我本来是应该与他们的客服商量解决方案的,但这个问题并不是今天才出现的(这里这里还有这里),所以我觉得我这个小博客,只好把自己不再使用DNSPod的事情记录一下。面对这种不找自己原因的态度,我只好将上述原委讲出来。是非功过,自在人心。

夸奖人是很容易的,即使夸错了,不过是降低自己的信誉度。但批评人是不容易的,即使批评对了,对方也会不高兴,如果批评错了,这要承担相应责任。

我再一次说明,我无意中伤DNSPod,相反,我依然认为DNSPod的免费产品不错。免费能做到这个样子,用户没有权力指责。我要说的是,DNSPod的免费版出现的GoogleBot问题并不是他们所说的整个大中华问题,“黑天鹅”就是百度加乐的DNS解析服务。当然,DNSPod不解决这个问题,也无所谓,人家提供免费的服务,你可以选择不用。

至于我这个小博客,我一直以来都是用主机商自带DNS解析服务,什么百度收录、360网站收录,我从来就没有把它放在眼里。将博客完全放在境外,并保持独立,只有那里才是真正的互联网,才是真正的自由网。

Update: 为了更准确地知道志强博主的详细经历,我邮件问过他,他回复我:

我的经历:

  • 我用DNSPod解析,GoogleBot一直有10%左右的解析失败率,11月份上旬上升到50%。
  • 我换用加速乐和安全宝后,GoogleBot的错误率降为0,一次都没有过。加速乐和安全宝我用的NS服务器是国内的。

不过我也觉得DNSPod这个问题不一定是它的问题,而是墙的问题。理由是,我用DNSPod的时候,虽然Googlebot老汇报错误,但我自己上自己博客从来没遇到过域名解析的问题(按照Googlebot说的那个错误率,我自己应该经常错才对);我在切换到加速乐和安全宝后,虽然Googlebot没有汇报错误, 我自己用却碰到过无法解析的情况。

加速乐和安全宝境外没问题,可能是因为它们还没被盯上(DNSPod用的人多,更受墙的关注是完全可能的)。

所以我认可DNSPod给的解释,只不过这个不解决问题而已。即使是墙的问题,你也得帮忙解决,否则我也没法用不是么。

另外,我一向比较激进,自己博客上想说什么就说什么,对事不对人即可。

即使是这样,DNSPod是被冤枉的,我还是有理由不用很优秀的免费的DNSPod。再见。这万恶的墙。

另外再提两个小问题吧:

  1. 我的博客原来用过DNSPod的监控功能,后来取消后,DNSPod一直还要访问我的服务器,这本身倒没有什么,只是为什么取消了还要来访问呢?
  2. DNSPod曾经在用户毫不知情的情况下,将删除DNS解析记录的权限给了安全宝

“DNSPod的Google爬虫问题”上的36条回复

如果真是墙的问题的话,可能是百度使用了一些特殊的手段,毕竟百度不缺钱也不缺技术牛人。
既然百度的爬虫可以去爬国外被墙的网站,这就说明百度可能租用国外的服务器对国外提供服务,只要在国外的服务器和百度自己的数据中心之间搭个 vpn ,做一下数据同步就可以了。
墙的确是双向的,国内国外一视同仁。只不过,国内有集中政治异议内容或色情内容的网站,差不多都直接被关停了。所以从国外访问进来,也看不到多少有必要被墙屏蔽的东西。
虽然没有试过,不过我猜,从国外,用国内的搜索引擎(如百度)搜索 meirixiaochao.com 也会造成链接重置吧?

墙深不可测,具体技术细节也非我能了解的。我只能用具体事例来证明有的DNS是没有问题的,现在看来,也许是DNSPOD被墙重点关照了,那样,我也有足够的理由不使用它了。

DNSPOD的免费服务,就目前来说,已经做得很不错了。当然,作为免费用户,我们只能发表自己的看法,但提出更高的要求,似乎有点过分。
但用户还是有选择的权利。

是的,没有权力指责。最基本的功能得满足吧?出了问题负责任地去解决的态度要吧?我在这里说出来,还是希望他们能做得更好,否则,我说与不说与我一点关系都没有。

Google如果无法抓取,肯定会有问题。我的博客虽然被墙,但百度依然经常爬行!但就是没有一点结果(被墙了百度不敢放出来),所以,我对Google是非常看重的,事实上,我的网站在Google里表现很好的~

百度等国内搜索引擎死光光我都无所谓,但对待Google,我至少得让它能爬行。事实上,我的博客在墙内是被墙的,就拜拜国内的网络服务了。一个连GOOGLE爬虫都对付不了的网络,在我看来真的是一个局域网。

拒绝一切第三方的服务,不为别的,只为不要被第三方服务拖慢网站的速度。
至于DNS解释,如果不需要加速,那还是使用主机官方的吧,必竟在网络环节上是最直接访问主机的。

我补充一个例子。

我朋友的网站,域名最初在godaddy,网站在dreanhost。后来使用dnspot,后来无法访问了。翻墙访问都无法访问。

因为翻墙都无法访问,所以,至少说明不是墙的问题。

我用的是DNSpod的解析,原因只有一个:原先的域名商无法解析@域名。好像没发现什么问题,但不知道是否真有问题。
加速乐,前几天使用了几天,网站反而变得慢的要死,非常不稳定,解析常常出错,只好弃之。加速乐是我用过的最差劲的玩意儿了。可能是我点背,刚好赶上百度BAE这一段的调整吧。

我用了cnzz的那个测速评分,用“去他爹”或dnspod的dns解析的话得分是72左右(当时谷歌检测dns不可用率为100%),换了加速宝直接降到了59,我也没觉得速度快到哪去了。
另外新换的主机貌似也不稳定,30%-60%的不可用率,但是还没有遇到过。
感觉小网站用加速宝并不合适。

最近发现挂在加速乐上的纯静态网站,图片都打不开了,实测下载速度不到10k。我觉得有必要取消掉了,根本没意义。

看卢松松博客中其中写到:综上所述,DNSPod影响谷歌蜘蛛抓取并不是个别现象,之前我博客也被经常告知Googlebot无法索引,网上搜了下,发现并不是个例。后面我变成DNSpod付费用户后就没有收到过此类邮件,也许免费的就是最贵的。
—————————————————————————-
后面我变成DNSpod付费用户后就没有收到过此类邮件
—————————————————————————-

而奶罩说:最好的解决方法是使用国外的dns,所以为什么付费版的dnspod会好一些,因为我们有国外节点部署。

然而:卢松松网站目前使用的收费DNS为:ns3.dnsv2.com和ns4.dnsv2.com,这两组DNS其实并没有国外节点。
所以奶罩的说法并不可信。

希望相关厂商看到吧。我对免费的东西从来期望不高,只要有基本的服务就不错了。甚至,我一直认为:免费的东西是最贵的。

我关注dnspod这个好久了,基本可以肯定是dnspod的问题,而且可以推断是在某个时间点后加入的域名会遇到google bot的问题,我也准备放弃dnspod了,晚上写博客详说。

我用dnspod的时候也是有这个问题,开始以为是vps的问题,很久才想到会不会解析出问题,换了解析,好几个月了,没有再提示错误

这个创始人的回复,我是知道的,我在批评人的时候是很谨慎的,再加上众多博主的反馈,我们有足够的理由,表明DNSPOD不是清白无辜的。

DNSPOD的监控的确有问题,监控关闭后还有大量的user-agent为DNSPOD-Monitor的请求来访,发了个工单把日志截图发过去后才关闭

回复 土木坛子 取消回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注