网络自助新闻发稿平台，价格低，发稿快

爬虫访问小程序内页面时,会携带特定的 user-agent "mpcrawler" 及场景值:1129

做过传统PC端网站的都应该知道,在分析网站优化情况的时候,爬虫的爬取记录是最重要的数据依据。爬虫每爬取一次页面,服务器的访问日志内会记录一条user-agent“mpcrawler”的记录。

而被爬虫抓取是有前提条件的:

首先,小程序的管理后台里面 设置-基本设置-页面收录设置 选项必须是允许被收录状态。

其次,sitemap.json 文件内页必须是允许被索引

{

  "rules":[{

    "action": "allow",

    "page": "*"

  }]

}

1. 小程序里跳转的页面 (url) 可被直接打开。

小程序页面内的跳转url是我们爬虫发现页面的重要来源,且搜索引擎召回的结果页面 (url) 是必须能直接打开,不依赖上下文状态的。特别的:建议页面所需的参数都包含在url

页面的url必须是可以直接打开的。微信小程序是被固定在微信生态内的产品,很多设计方式和传统PC站是完全不同的。

尤其是页面数据填充这方面,传统PC是直接调取数据库,然后会在服务器里生成一个缓存页面,下次访问是直接访问的缓存页面,由于市面上大部分PC网站的制作者只是下载个CMS改改页面,对内部原理根本不懂,只会用用现成的工具,所以才会出现这么多几百元制作网站的公司。

有些人会觉得产品展示出来,别人能看到就行,这是一种很错误的想法。因为我们在任何一个平台做产品,都是靠这个平台来分发流量给我们的。

传统PC网站我们是在百度的规则之内玩,符合了百度的规则就会给网站好的排名,就会带来大的流量。

如同很多人玩的抖音,为什么别人的视频上百万的赞,而你发的短视频只有几个人看?你不了解抖音平台的规则,平台当然不会让你上热门,不会给你流量!只有符合了平台列出的12345等等项,平台给了你上热门(排名)的机会,而你的东西又是别人想看的才会带来很高的流量。

一个连最基本的规则都不懂得人,能做出好的产品吗?如果侥幸做出了,只能说运气太好了!

2. 页面跳转优先采用navigator组件。

小程序提供了两种页面路由方式:  

a.navigator 组件     

b. 路由 API,包括 navigateTo / redirectTo / switchTab / navigateBack / reLaunch

建议使用 navigator 组件,若不得不使用API,可在爬虫访问时屏蔽针对点击设置的时间锁或变量锁。

这一项官方的解释已经很清楚,有疑问的地方估计就是这个变量锁了。

以从首页点击产品跳转到产品详情页的代码示例:

<view bindtap="跳转到内页的方法">

    <image src="球场护栏网的图片地址" />

    <text class="title">球场护栏网</text>

</view>

当我们多次点击这个view组件的时候,在有回调函数的情况下,是有小几率发生多次跳转,打开多个页面的,有的开发者会用锁来保护回调只执行一次。

3.清晰简洁的页面参数。

结构清晰、简洁、参数有含义的 querystring 对抓取以及后续的分析都有很大帮助,但是将 JSON 数据作为参数的方式是比较糟糕的实现。

一个企业小程序如果不用某些在线平台搞的话基本不可能犯这种错误。

4. 必要的时候才请求用户进行授权、登录、绑定手机号等。

建议在必须的时候才要求用户授权(比如阅读文章可以匿名,而发表评论需要留名)。

既然是做产品,包括做商城,首要的目的是先让客户看到你的产品!而产品都没看到呢,你先弹出注册、登录、授权,会很让人反感。就如同传统PC网站,打开网页广告弹窗、在线QQ,在线联系等等都蹦出来了,第一念头肯定是赶紧关掉这个页面!

随着网络的发展,客户体验会越来越彰显其重要性!

5. 我们不收录 web-view 中的任何内容。

我们暂时做不到这一点,长期来看,我们可能也做不到。

重要!!!这一条是很多人会犯的错误,尤其是传统PC网站转型制作小程序的,因为不会小程序的开发,直接就一个web-view标签把PC站引入了进来,微信官方已经明确表态了,这种页面不收录!!!

6. 利用 sitemap 配置引导爬虫抓取,同时屏蔽无搜索价值的路径。

sitemap的作用基本等同于传统PC网站的robots.txt+sitemap

7. 设置一个清晰的标题和页面缩略图。

页面标题和缩略图对于我们理解页面和提高曝光转化有重要的作用。

通过wx.setNavigationBarTitle或 自定义转发内容onShareAppMessage对页面的标题和缩略图设置,另外也为 video、audio 组件补齐 poster /poster-for-crawler属性。

wx.setNavigationBarTitle 设置的时机,推荐在生命周期函数onReady内设置

页面转发

onShareAppMessage: function () {

    // 在此设置转发内容

}

结语

如果做微信小程序选择一个靠谱的开发公司是很重要的。随着微信开放了小程序的收录,会有越来越多的企业建立自己的小程序,建立是一方面,更重要的是后期的运营,如果只是建立,而不运营,那又何必建立?

排名是一个机制,就如同比赛一样,你一方面做的好,如果停滞不前,总有人会在之后的时间模仿并超越你。我们所能做的唯有不断前行!

网事杂侃旨在普及网络知识,避开网络内的一些坑,喜欢请关注。