robotstxt禁止搜索引擎收录会影响网站吗

robotstxt已经禁止抓取网站为什么还是能搜到关键词
　　比如推送过，或者搜索引擎通过外链访问到这个网页，就可以抓取入库，robots是限制抓取网页，但是并不是一定不能抓展开全部

如何不让搜索引擎收录网站
　　禁止被搜索引擎收录内容，可以使用robots文件进行屏蔽。格式：Useragent：*Disallow：网址

是不是用robotstxt就可以屏蔽百度搜索可是为什么我用了在百度上搜
　　可能在你创建robots协议之前百度就已经收录你的网站了，显示的是之前的，而且已经收录的没那么快更新的。更新百度快照就可以了

登录网站出现由于该网站的robotstxt文件存在限制指令限制搜索引擎
　　这个是禁止搜索引擎收录的，和重新登录没关系，你照样可以访问那个网站

有没有一种robots协议就不给百度收录只给其它搜索引擎收录
　　可以啊！写robots协议时，把百度搜索引擎给禁止了就行，就像百度也是禁止了淘宝一样的

新网站不被搜索引擎收录原因有哪些
　　都会影响搜索引擎的抓取和收录。新网站刚上线：搜索引擎需要一段时间来发现和评估新网站。未提交Sitemap：Sitemap可以帮助搜索引擎快速找到网站里的页面。Robots.txt文件设置不当：如果Robots.txt文件设置为禁止搜索引擎抓取，网站就不会被收录。服务器问题：服务器性能。

我把robotstxt中写了Allow47现在不收录了我应该怎么办
　　如果您想禁止百度搜索引擎访问您的网站，可以在robots.txt文件中写入User-agent：Baiduspider。允许某个搜索引擎的访问：例如，如果您想允许Google搜索引擎访问您的网站，可以在robots.txt文件中写入User-agent：Googlebot。禁止访问某个目录：例如，如果您想禁止搜索引擎访问名为。

网站只收录网站首页不收录内页跟网站这个robots有关吗是因为被
　　是网站只收录网站首页不收录内页，可能是因为robots.txt文件设置的问题导致的。robots.txt是一个位于网站根目录下的文本文件，它告诉搜索引擎哪些页面可以被收录，哪些页面不应该被收录。如果网站的robots.txt文件设置了禁止搜索引擎访问内页，那么搜索引擎就不会收录这些内页。这。