网站被谷歌和百度收录

Posted on Edited on In Views: Word count in article: 1.2k Reading time ≈ 4 mins.

[toc]

在谷歌或者百度的搜索链接中，使用以下格式可以直接搜索自己的域名。如果能搜索到就说明已经被收录，反之则没有。

1
2
// site: your_wabsite
site: http://www.waylon.one

如果自己的域名没有被收录，那么可以通过下面的方式，让自己的网站内容被 baidu 和 google 收录，增加网站 SEO。

Google

注册 webmasters

webmasters 入口

添加网站资源

根据 添加网站资源，现在支持网址前缀资源和网域资源。 * 网址前缀资源：仅包含具有指定前缀（包括协议 http/https）的网址。 * 网域资源：包括所有子网域（m、www 等）和多种协议（http、https、ftp）的网域级资源。 * 如果您希望资源匹配任何协议或子网域（http/https/www./m. 等），请考虑改为添加网域资源，但 网域资源仅支持 DNS 记录验证。

  • 选择网域资源后，弹框要求对 DNS 支持验证。

  • 登录到域名提供商网站（我是在 Doynadot 解析域名）。
  • 将验证的 TXT 记录复制到验证网站的 DNS 配置中。
  • 注意：DNS 更改可能要过一段时间才会生效。如果 Search Console 未能立即发现相应记录，请等待 1 天，然后重新尝试验证。

添加站点地图

站点地图（sitemap），是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接。站点地图可以告诉搜索引擎网站上有哪些可供抓取的网页，以便搜索引擎可以更加智能地抓取网站。

配置站点地图

  • 安装百度和 Google 的站点地图生成插件。
1
npm install hexo-generator-sitemap --save
  • 修改配置文件

修改 Hexo 站点配置文件 _config.yml，添加以下内容：

1
2
3
# 自动生成 sitemap
sitemap:
  path: sitemap.xml
  • 执行网站生成和部署命令，进入 ，检查里面是否有 sitemap.xml 文件，这就是生成的站点地图，里面包含了网站上所有页面的链接，google 搜索引擎通过这个文件来抓取网站页面。
1
hexo g && hexo d

提交站点地图

如下图所示，在添加新的站点地图中添加自己的站点地图并提交，那么自己的网站内容就会被 google 周期性收录。

Baidu

网站提交

  • 提交网址给百度的入口 点这里。
  • 网站提交过后，在第三步有一个验证网站步骤，证明您是该域名的拥有者。
    • 我选择的是文件验证，需要将验证文件放置于您所配置域名的根目录下，对应于 Hexo 的 hexo_file_path。
    • 网站发布成功后，返回站点验证。
    • 为保持验证通过的状态，成功验证后请不要删除 HTML 文件。

资源提交

  • 普通收录工具可以向百度搜索主动推送资源，缩短爬虫发现网站链接的时间。入口 点这里。
  • 在资源提交中，我选择了主动推送 (实时) 的方式，有以下优势。
    • 及时发现：可以缩短百度爬虫发现您站点新链接的时间，使新发布的页面可以在第一时间被百度收录。
    • 保护原创：对于网站的最新原创内容，使用主动推送功能可以快速通知到百度，使内容可以在转发之前被百度发现。

推送配置

参考 hexo 百度主动推送 实现，实现基于插件的自动推送。

  1. 安装 hexo-baidu-url-submit 插件

在 Hexo 站点根目录下，输入下面命令安装插件。

1
npm install hexo-baidu-url-submit --save
  1. 在站点配置文件 (_config.yml) 中添加 baidu-url-submit 的配置项

其中，进入主动推送工具后，会看到接口调用地址的 token，token 是由 16 个英文数字组合的字符串。

1
2
3
4
5
6
# 设置百度主动推送
baidu_url_submit:
  count: 200  # 比如200，代表提交最新的200个链接
  host: your_website # 在百度站长平台中注册的域名
  token: your_token # 请注意这是您的秘钥， 所以请不要把博客源代码发布在公众仓库里!
  path: baidu_urls.txt # 文本文档的地址，文件默认
  1. 加入新的 deploy 配置项

在站点配置文件中找到 deploy 项，添加新的推送项，如下所示：

1
2
3
4
5
deploy:
- type: git
  repo: XXX
  branch: master
- type: baidu_url_submitter
  1. 验证配置是否成功

重新部署网站，查看 git-bash 中的信息，类似于下面的信息。

1
2
3
4
5
6
INFO  Deploying: baidu_url_submitter
INFO  Submitting urls
http://www.waylon.one/blog/uncategorized/dynadot-buy-domain/
http://www.waylon.one/blog/uncategorized/hello-world/
{"remain":2998,"success":2}
INFO  Deploy done: baidu_url_submitter

对比接口的返回信息，推送成功。 

1
{"remain":2998,"success":2}

References