网络自助新闻发稿平台，价格低，发稿快

了解搜索引擎蜘蛛爬行规律才能更好的做好SEO软文推广，如何爬预算已经改变了过去2年

这就是你需要知道的关于爬行预算和优化现在这一切意味着什么。

Aleh Barysevich2019年5月23日上午11:05

更多的

了解SEO爬预算是一种经常被忽视的一部分。 但一个两岁我的团队发布了关于SEO行业的主题实际上是古代历史。 所以,在这篇文章中,我将解释我们理解爬预算已经改变了过去几年,保持不变,这一切意味着什么,你爬预算优化工作。

爬的预算是多少,为什么它很重要?

计算机程序设计收集信息从网页被称为web spider,爬虫或机器人。 这些可以恶意(如黑客蜘蛛)或有益的(例如,搜索引擎蜘蛛和web服务)。 例如,我公司的反向链接索引使用蜘蛛叫BLEXBot,爬了75亿页的日常收集反向链接数据。

了解搜索引擎蜘蛛爬行规律才能更好的做好SEO软文推广,当我们谈论爬预算,我们谈论的频率搜索引擎蜘蛛抓取你的网页。据谷歌,爬的预算是一个组合的爬行速度限制(即。 ,限制,确保机器人像Googlebot不抓取页面经常疼你的服务器)和爬行(即需求。 ,谷歌希望爬多少页面)。

优化你的蜘蛛爬行的预算意味着增加频率可以访问每个页面,收集信息,并将数据发送给其他算法的索引和评估内容质量。 简而言之,你爬的预算,您的信息将被更新越快更改时在搜索引擎索引你的网站。

但是别担心。 除非你正在运行一个大型网站(数百万或数十亿的url),那么你可能永远都不需要担心爬预算:

Martin McGarry

@gamblinginseo

 · May 30, 2018

Replying to @glenngabe @JohnMu

@brightonseo @kelvinnewman @SearchLeeds @theinbounder @SMX_London @UnGaggedUK  this would make for an insightful talk topic if anyone has any longterm historical data on this topic #seochat #seo - I don't unfortunately

🍌 John 🍌

✔

@JohnMu

IMO crawl-budget is over-rated. Most sites never need to worry about this. It's an interesting topic, and if you're crawling the web or running a multi-billion-URL site, it's important, but for the average site owner less so.

83

9:15 PM - May 30, 2018

Twitter Ads info and privacy

49 people are talking about this

为什么要使用爬行预算优化? 因为即使你不喜欢需要这些建议来改善你的爬行预算,包括很多好的实践,提高网站的整体健康。

🍌 John 🍌

✔

@JohnMu

 · May 31, 2018

Replying to @badams @danaditomaso

There are lots of good practices that don't make sense to discourage, but which have ca zero SEO effect (eg, valid html, text/code ratio, etc). If you have time, working on them is great, but you're not going to see a significant change in search from it.

🍌 John 🍌

✔

@JohnMu

I think it's worth being clear about it all though. Removing 25 useless pages is great for a leaner site, and can help users from getting lost there, but it's not a crawl-budget question. Would people only do it for a SEO bonus? How can we help you to help them?

4

2:06 AM - May 31, 2018

Twitter Ads info and privacy

See 🍌 John 🍌's other Tweets

解释说,约翰·穆勒在同一线程,网站有一个精简的潜在好处包括更高的转换,即使他们不能保证影响页面的排名在搜索页面。

Joost de Valk

@jdevalk

 · May 31, 2018

Replying to @JohnMu and 2 others

Isn't the story here that SEO is a game of many very small incremental gains? No you're not going to be able to measure the effect of those 25 pages. But that + 10 other small things does make a difference altogether.

🍌 John 🍌

✔

@JohnMu

Sure, but it's worth being honest about the size of the potential effect. If we can crawl 50k pages/day from your site, will going from 1000 to 900 pages in total change anything for crawling? Not really, but maybe it increases conversions, right?

1

2:21 AM - May 31, 2018

Twitter Ads info and privacy

See 🍌 John 🍌's other Tweets

保持不变是什么?

在一个谷歌站长聚会2018年12月14日,约翰被问及如何可以确定他们爬的预算。 他解释说,很难确定,因为爬的预算不是一个面向指标。

他还说:

“爬预算是随着时间的推移变化不少。 我们的算法是动态的,他们试图变化反应很快,你在你的网站上做…这不是一次分配给一个网站的东西。”

他说明了这几个例子:

你可以减少你爬预算如果你做了一些如设置不当CMS。 广告可能会注意到页面是缓慢和减缓爬行在一两天之内。

你可以增加你的爬行预算如果你改进你的网站(通过移动一个CDN或服务内容更快)。 广告会注意到和你爬需求会上升。

这符合我们知道爬预算几年前。 许多最佳实践优化爬预算今天也同样适用:

1. 不要阻塞重要页面的链接

你需要确保你所有的重要的页面crawlable。 内容不会给你提供任何价值如果你. htaccess和机器人。 三种抑制搜索机器人爬行的能力至关重要的页面。

相反,您可以使用一个脚本直接搜索机器人远离重要页面。 只是注意Googlebot会认为你犯了一个错误,如果你不允许大量的内容或者限制页面接收到很多链接,它可能仍然爬这些页面。

下面的meta标签在页面的< >头部分将阻止大多数搜索引擎机器人索引站点上的页面:< meta name = "机器人"内容= " noindex " >

还可以阻止专门谷歌抓取页面的meta标记:< meta name =“广告”内容= " noindex " >

另外,您也可以返回一个“noindex”X-Robots-Tag头指示蜘蛛索引页面:X-Robots-Tag: noindex

2. 坚持尽可能的HTML

广告已经好多了在爬行富媒体文件像JavaScript, Flash和XML但其他搜索引擎机器人仍有很多这些文件。 我建议避免这些文件尽可能简单的HTML。 你也可以为搜索引擎机器人提供文本的页面版本严重依赖这些富媒体文件。

3. 修正重定向长链

每个重定向URL浪费一点你的预算。 更糟的是,搜索机器人可能会停止重定向后如果他们遇到不合理数量的301年和302年连续重定向。 试图限制重定向的数量在你的网站上,连续使用不超过两次。

4. 告诉广告的URL参数

如果你的CMS生成大量的动态url(如许多受欢迎的),那么你可能会浪费你爬预算——甚至可能提高红旗重复内容。 告知广告的URL参数,你的网站引擎或CMS补充说,不影响页面内容,你所要做的是将参数添加到您的谷歌搜索控制台(去>爬行URL参数)。

5. 正确的HTTP错误

约翰在2017年末纠正一个常见的误解,澄清404和410页实际上使用你的预算。 既然你不想浪费你爬预算错误页面,或迷惑用户试图达成这些页面——这是在你的最佳利益寻找HTTP错误并尽快修复它们。

6. 让你的网站地图

干净的XML站点地图将帮助用户和机器人都明白内部链接铅和如何结构化你的网站。 你的站点地图应该只包括规范的url(在谷歌网站地图是一个规范化的信号),它应该符合你的机器人。 txt文件(不要告诉蜘蛛抓取页面你阻止他们)。

7所示。 使用rel = "规范",以避免重复内容

说到规范化,您可以使用rel = "规范化"告诉机器人URL是主版本的页面。 然而,就在你的最佳利益,确保所有的内容在不同版本的页面,以防排队。 自从谷歌推出了移动第一索引早在2016年,他们通常默认页面的移动版本的规范版本。

8. 使用hreflang标记来表示国家/语言

机器人的使用hreflang标签了解本地化版本的页面,包括语言和有针对性的内容。 HTML标签,您可以使用HTTP头,或者你的站点地图来表示局部页面谷歌。 要做到这一点:

您可以添加以下链接页面的标题元素:< link rel = "替代" hreflang =”lang_code" href = "url_of_page" / >

你可以返回一个HTTP头告诉谷歌页面上的语言变体(您也可以使用这个html文件如pdf)通过指定一个支持语言/地区代码。 你的标题格式应该是这样的:链接:<url1>; rel = "替代"; hreflang = "lang_code_1”

可以将< loc >元素添加到一个特定的URL和显示子条目,包括每个页面的本地化版本。 本页将教你更多关于如何设置语言——和区域的页面页面将帮助搜索引擎机器人爬行。

是什么改变了?

有两种主要的事情改变了自从我们2017年原始文章写道。

首先,我不再推荐RSS提要。 RSS有一个小复苏—剑桥丑闻之后,许多用户回避社交媒体算法——但这不是广泛使用(除了新闻记者)这并不是显著的回归。

其次,作为原文的一部分,我们做了一个实验,提出了一个强有力的外部链接之间的相关性和爬行的预算。 似乎表明,增长你的链接配置文件将有助于站点的爬行预算比例增长。

前面提到的谷歌站长聚会似乎证实了这一发现。 约翰提到一个站点的爬行的预算是“从我们这边很多基于需求。”

但是,当我们试图更新研究结束,我们无法重现这些最初的研究结果。 相关性很宽松,这表明谷歌的算法已经相当更复杂的自2017年以来。

也就是说,请不要阅读,思考,“太好了,我可以停止链接建设!”

了解搜索引擎蜘蛛爬行规律才能更好的做好SEO软文推广,保持一个链接最重要的是Google和其他搜索引擎用来判断信号的相关性和质量。 因此,尽管链接建设可能不是必不可少的提高你爬预算,它应该是一个优先考虑当你想提高你的搜索引擎优化。

这是它! 如果你想了解更多关于爬行预算,我建议检查斯蒂芬·斯宾塞的由三部分组成的指导机器人放牧和蜘蛛角力。

了解搜索引擎蜘蛛爬行规律才能更好的做好SEO软文推广,

媒介星新闻发布平台软文平台的兴起,很好的解决了企业在品牌公关上渠道的弱势,一站式的新闻稿发布,口碑由自己掌握。希望能越来越好,提供更多便利服务,专业的软文发布推广——让企业24小时自助快速发布新闻稿。