微信现已开放小程序内搜索，你的小程序页面将可能展示在微信搜索等多个公开场景中。当开发者允许微信索引时，微信会通过爬虫的形式，为小程序的页面内容建立索引。
若小程序中存在不适合展示信息如用户个人信息、商业秘密、成人相关等内容，不想被微信索引到。可以通过以下方式关闭页面收录。
有三种方式可以关掉页面收录
- 1.小程序 sitemap.json 配置
- 2.管理后台 “页面收录设置” 来配置其小程序页面是否允许微信索引
- 3.小程序页面采取设置登录态
小程序 sitemap.json 配置
小程序根目录下的 sitemap.json 文件用于配置小程序及其页面是否允许被微信索引，文件内容为一个 JSON 对象，如果没有 sitemap.json ，则默认为所有页面都允许被索引；sitemap.json 有以下属性：
{
"rules": [
{
"action": "allow", // 是否能被索引 allow，disallow 默认allow "page": "path/to/page", //页面的路径，* 表示所有页面， "params": ["a", "b"], //被本规则匹配时可能使用的页面参数名称的列表 "matching": "exact" // 页面在被本规则匹配时，此参数说明 params 匹配方式 "priority": number // 非必填，优先级，值越大则规则越早被匹配 } ] } //matching 取值说明 exact 当小程序页面的参数列表等于 params 时，规则命中 inclusive 当小程序页面的参数列表包含 params 时，规则命中 exclusive 当小程序页面的参数列表与 params 交集为空时，规则命中 partial 当小程序页面的参数列表与 params 交集不为空时，规则命中 示例1
{
"rules": [
{
"action": "allow",
"page": "path/to/page", "params": ["a", "b"], "matching": "exact" }, { "action": "disallow", "page": "path/to/page" } ] } path/to/page?a=1&b=2 => 优先索引 path/to/page => 不被索引 path/to/page?a=1 => 不被索引 path/to/page?a=1&b=2&c=3 => 不被索引 其他页面都会被索引 示例2
{
"rules": [
{
"action": "allow",
"page": "path/to/page", "params": ["a", "b"], "matching": "inclusive" }, { "action": "disallow", "page": "path/to/page" } ] } path/to/page?a=1&b=2 => 优先索引 path/to/page?a=1&b=2&c=3 => 优先索引 path/to/page => 不被索引 path/to/page?a=1 => 不被索引 其他页面都会被索引 示例3
{
"rules": [
{
"action": "allow",
"page": "path/to/page", "params": ["a", "b"], "matching": "exclusive" }, { "action": "disallow", "page": "path/to/page" } ] } path/to/page => 优先索引 path/to/page?c=3 => 优先索引 path/to/page?a=1 => 不被索引 path/to/page?a=1&b=2 => 不被索引 其他页面都会被索引 示例4
{
"rules": [
{
"action": "allow",
"page": "path/to/page", "params": ["a", "b"], "matching": "partial" }, { "action": "disallow", "page": "path/to/page" } ] } path/to/page?a=1 => 优先索引 path/to/page?a=1&b=2 => 优先索引 path/to/page => 不被索引 path/to/page?c=3 => 不被索引 其他页面都会被索引 没有 sitemap.json 则默认所有页面都能被索引
页面收录设置
登录小程序微信公众平台，设置下的页面收录设置
此设置默认开启，除非开发者主动关闭或调整，否则将会持续处于“开启”状态。
小程序页面采取设置登录态
爬虫访问小程序内页面时，会携带特定的 user-agent：mpcrawler 及场景值1129
onLoad(options) {
// 获取场景值
var scence = options.scene
if (scence == 1129) { wx.redirectTo({ url: '/pages/login/login' }) } }
.