返回 robots.txt 样本

GET/robots.txt

httpbin 风格的 robots.txt 样本,正文是 User-agent 与 Disallow: /deny。它不是站点爬虫策略。网站入口的裸 GET /robots.txt 仍返回发现层的爬虫规则;只有请求头 X-Http-Sample: 1 才会转到本样本。API 响应继续带 X-Robots-Tag: noindex。 访问类别:匿名 API,可携带 Token 使用独立额度

请求参数

无参数

响应体

按内容协商返回(见右侧示例)。