> For the complete documentation index, see [llms.txt](https://tinyhumans.gitbook.io/openhuman/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://tinyhumans.gitbook.io/openhuman/zh/gong-neng/native-tools/web-scraper.md).

# 网页抓取器

一种专门构建的抓取工具，独立于通用 `http_request` / `curl`。之所以存在，是因为代理不想要原始 HTML——它想要 *文章*.

## 功能

* 获取一个 URL。
* 去除样板内容（导航、广告、页脚、脚本）。
* 返回代理可以进行推理的干净文本。

## 护栏

* 将响应上限设为 1 MB——大页面会被截断，而不会被静默丢弃。
* 20 秒超时——缓慢的服务器不会拖慢对话。
* 与其他网络工具一样，受相同的代理和 URL 防护规则约束。

## 适用场景

* 在没有干扰信息的情况下阅读文章、博客帖子、文档页面、GitHub README。
* 跟进一个 [网页搜索](/openhuman/zh/gong-neng/native-tools/web-search.md) 结果。
* 按需总结单个页面。

## 另请参阅

* [网页搜索](/openhuman/zh/gong-neng/native-tools/web-search.md) — 找到要输入抓取器的 URL。
* [智能 Token 压缩](/openhuman/zh/gong-neng/token-compression.md) — 在长页面进入模型之前对其进行裁剪的内容。