对于ROBOTS文件作用，哪些描述是正确（）A、防止网站非公开部份的网页被抓取B、禁止搜索引擎访问某些文件C、提升网站排名D、避免收录重复内容

题目

对于ROBOTS文件作用，哪些描述是正确（）

  • A、防止网站非公开部份的网页被抓取
  • B、禁止搜索引擎访问某些文件
  • C、提升网站排名
  • D、避免收录重复内容
相似考题

1.Robots will help people with their housework.55.Robots will help people with their housework.

2.下列对于顺序文件的描述中,正确的描述是( )。A、每个记录长度相同B、可以随机访问其中的记录C、必须按照顺序访问D、可以向文件中插入记录

3.GB/T28001-2011标准4.4.5条款对于文件管理描述正确的是（）。A、组织应编制《职业健康安全手册》，以描述管理体系核心要素及其相互作用，并提供查询相关文件的途径B、组织应按有效性和效率要求，使文件数量尽可能少C、必要时，对文件和资料进行评审，并予以修订D、对于重大风险有关的运行情况，建立并保持形成文件的程序

4.网站一般在()文件中描述被爬取的规则。A、License.txtB、robots.txtC、ReadMe.txtD、hentrix.txt

参考答案和解析
正确答案:A,B,D
更多“对于ROBOTS文件作用，哪些描述是正确（）”相关问题

  • 第1题：

    百度robots工具具有以下哪项功能（）

    • A、实时查看网站在百度中已生效的robots文件内容
    • B、支持通知百度更新网站的robot文件
    • C、支持对robots文件进行语法及逻辑校验
    • D、能够按照规则生成robots文件
    • E、以上全都是

    正确答案:E

  • 第2题：

    关于WIS的文件编号AN54.65-P-0030GY，哪些叙述是正确的？（）

    • A、此WIS文件描述了54组的内容
    • B、AN代表电路图信息
    • C、P代表轿车内容
    • D、此WIS文件描述了54组和65组的内容
    • E、此WIS的文件描述了液压系统

    正确答案:A

  • 第3题：

    robots.txt的作用是（）。

    • A、禁止搜索引擎蜘蛛抓取特定URL
    • B、给搜索引擎蜘蛛提供网站地图文件
    • C、以上都对

    正确答案:C

  • 第4题：

    如何建立符合搜索抓取习惯的网站？（）

    • A、网站层次结构明了，并尽量保证spider的可读性
    • B、url尽量短且易读使得用户能够快速理解
    • C、建立网站sitemap文件，前及时通过百度站长平台提交
    • D、robots文件是封禁搜索引擎抓取，所以此Robots文件尽量少用

    正确答案:A,B,C

  • 第5题：

    某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）

    • A、{User-agent：BaiduspiderDisallow：}
    • B、{User-agent：BaiduspiderAllow：*}
    • C、{User-agent：BaiduspiderAllow：/}
    • D、{User-agent：BaiduspiderDisallow：/}

    正确答案:D

  • 第6题：

    关于网络爬虫协议文件robots.txt，说法错误的是（）

    • A、一个网站可以放多个不同robots文件
    • B、robots文件不可以用xml格式命名
    • C、disallow用来描述不希望被访问到的一个URL
    • D、robots文件可以放在任何位置

    正确答案:A,B,D

  • 第7题：

    Robots文件中，以下哪个指令为禁止抓取某些内容？（）

    • A、Allow
    • B、Disallow
    • C、nofollow
    • D、noodp

    正确答案:B

  • 第8题：

    关于robots文件下面说法正确的是（）。

    • A、一个网站可以放多个不同robots文件
    • B、robots文件不可以用xml格式命名
    • C、disallow用来描述不希望被访问到的一个URL
    • D、robots文件可以放在任何位置

    正确答案:C

  • 第9题：

    单选题
    百度robots工具具有以下哪项功能（）
    A

    实时查看网站在百度中已生效的robots文件内容

    B

    支持通知百度更新网站的robot文件

    C

    支持对robots文件进行语法及逻辑校验

    D

    能够按照规则生成robots文件

    E

    以上全都是


    正确答案： E
    解析： 暂无解析

  • 第10题：

    多选题
    对于ROBOTS文件作用，哪些描述是正确（）
    A

    防止网站非公开部份的网页被抓取

    B

    禁止搜索引擎访问某些文件

    C

    提升网站排名

    D

    避免收录重复内容


    正确答案： B,C
    解析： 暂无解析

  • 第11题：

    单选题
    robots.txt文件放在哪里（）
    A

    网站根目录下

    B

    网站子栏目下

    C

    网站内容页面

    D

    网站图片文件


    正确答案： A
    解析： 暂无解析

  • 第12题：

    多选题
    关于网络爬虫协议文件robots.txt，说法错误的是（）
    A

    一个网站可以放多个不同robots文件

    B

    robots文件不可以用xml格式命名

    C

    disallow用来描述不希望被访问到的一个URL

    D

    robots文件可以放在任何位置


    正确答案： A,B
    解析： 暂无解析

  • 第13题：

    robots.txt文件放在哪里（）

    • A、网站根目录下
    • B、网站子栏目下
    • C、网站内容页面
    • D、网站图片文件

    正确答案:A

  • 第14题：

    在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）

    • A、Allow
    • B、Disallow
    • C、nofollow
    • D、noindex

    正确答案:B

  • 第15题：

    在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）

    • A、"User-agent·Allow：/"
    • B、"User-agent·Disallow：/"
    • C、"User-agent：BaiduspiderDisallow：/"
    • D、"User-agent：GooglebotAllow：/"

    正确答案:B

  • 第16题：

    robots，禁止admin这个文件访问，如何使用，如何写？


    正确答案:user-agent：*

  • 第17题：

    下列选项中，关于robots.txt文件的说法正确的是（）

    • A、robots.txt文件存放于空间根目录下
    • B、robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件
    • C、如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面
    • D、robots.txt文件只需要存放在空间任意位置就行

    正确答案:A,B,C

  • 第18题：

    某网页不允许搜索引擎抓取，以下代码正确的是：（）

    • A、  <meta name="robots" content="nosnippet"/>
    • B、<meta name="robots" content="noarchive"/>
    • C、<meta name="robots" content="nofollow"/> 
    • D、<meta name="robots" content="noindex"/>

    正确答案:D

  • 第19题：

    Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

    • A、"User-agent：*Disallow：/A"
    • B、"User-agent：Allow：/A"
    • C、"User-agent：Disallow：/"
    • D、"User-agent：*Allow：/"

    正确答案:A

  • 第20题：

    对于文件的相对路径和绝对路径，以下说法正确的是（）。

    • A、相对路是相对于磁盘根目录的文件路径
    • B、不指定文件路径时系统默认为使用相对路径
    • C、描述文件的绝对路径时可以不指定磁盘盘符
    • D、描述文件的相对路径时，当前目录用“..”表示，上一级目录用“.”表示

    正确答案:C

  • 第21题：

    单选题
    某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）
    A

    {User-agent：BaiduspiderDisallow：}

    B

    {User-agent：BaiduspiderAllow：*}

    C

    {User-agent：BaiduspiderAllow：/}

    D

    {User-agent：BaiduspiderDisallow：/}


    正确答案： D
    解析： 暂无解析

  • 第22题：

    单选题
    对于Meta标签中的name属性参数“Robots”的内容设置，下列说法不正确的是（）。
    A

    all：指文件将被检索且页面上的链接可以被查询

    B

    none：指文件将不被检索且页面上的链接不可以被查询

    C

    index：指文件将不被检索，但页面上的链接可以被查询

    D

    follow：指页面上的链接可以被查询


    正确答案： B
    解析： 暂无解析

  • 第23题：

    单选题
    在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）
    A

    Allow

    B

    Disallow

    C

    nofollow

    D

    noindex


    正确答案： B
    解析： 暂无解析

相关内容