1. 什么是Baiduspider
Baiduspider是百度搜索引擎的一个自动顺序，它的作用是访问互联网上的网页，树立索引数据库，运用户能在百度搜索引擎中搜索到您网站上的网页。
2. Baiduspider的user-agent是什么？
百度各个产品运用不同的user-agent：
产品称号对应user-agent无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video旧事搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider3. Baiduspider对一个网站效力器构成的访问压力如何？
Baiduspider会自动根据效力器的负载才干调理访问密度。在延续访问一段日子后，Baiduspider会暂停一会，以防止增大效力器的访问压力。所以在普通情况下，Baiduspider对您网站的效力器不会构成过大压力。
4. 为什么Baiduspider不停的抓取在下的网站？
关于您网站上新发作的或许持续更新的页面，Baiduspider会持续抓取。此外，您也可以反省网站访问日志中Baiduspider的访问能否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 假设您发现Baiduspider非正常抓取您的网站，请经过赞扬平台反响给俺们，并请尽量给出Baiduspider对贵站的访问日志，以便于俺们跟踪处置。
5. 如何判别能否冒充Baiduspider的抓取？
您可以运用host ip命令反解ip来判别Baiduspider的抓取能否冒充。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
6. 在下不想在下的网站被Baiduspider访问，在下该怎样做？
Baiduspider遵守互联网robots协议。您可以使用robots.txt文件完全制止Baiduspider访问您的网站，或许制止Baiduspider访问您网站上的部分文件。 留意：制止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及一切百度提供搜索引擎效力的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看俺们的引见：robots.txt写作方法
您可以根据各产品不同的user-agent设置不同的抓取规则，假设您想完全制止百度一切的产品收录，可以直接对Baiduspider设置制止抓取。
以下robots完成制止一切来自百度的抓取：
User-agent: Baiduspider
Disallow: /
以下robots完成仅制止来自百度视频搜索的抓取：
User-agent: Baiduspider-video
Disallow: /
以下robots完成制止一切来自百度的抓取但允许图片搜索抓取/image/目录：
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
请留意：
Baiduspider-cpro抓取的网页并不会建入索引，只是执行与客户商定的操作，所以不遵守robots协议，假设Baiduspider-cpro给您构成了困扰，请联络[email protected]。
Baiduspider-ads抓取的网页并不会建入索引，只是执行与客户商定的操作，所以不遵守robots协议，假设Baiduspider-ads给您构成了困扰，请联络您的客户效力专员。
7. 为什么在下的网站已经加了robots.txt，还能在百度搜索出来？
由于搜索引擎索引数据库的更新需求日子。虽然Baiduspider已经中止访问您网站上的网页，但百度搜索引擎数据库中已经树立的网页索引信息，可以需求数月日子才会肃清。另外也请反省您的robots配置能否正确。
假设您的拒绝被收录需求非常急迫，也可以经过百度赞扬平台反响央求处置。
8. 在下希望在下的网站内容被百度索引但不被保管快照，在下该怎样做？
Baiduspider遵守互联网meta robots协议。您可以使用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，由于搜索引擎索引数据库的更新需求日子，所以虽然您已经在网页中经过meta制止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中假设已经树立了网页索引信息，可以需求二至四周才会在线上生效。
9. Baiduspider多长日子之后会重新抓取在下的网页？
百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页。
10. Baiduspider抓取构成的带宽堵塞？
Baiduspider的正常抓取并不会构成您网站的带宽堵塞，构成此现象可以是由于有人冒充Baiduspider恶意抓取。假设您发现有名为Baiduspider的agent抓取并且构成带宽堵塞，请尽快和俺们联络。您可以将信息反响至赞扬平台，假设可以提供您网站该时段的访问日志将愈加有利于俺们的分析。