Request Headers 是爬虫伪装成浏览器请求的关键一环。很多新手调试时都会遇到一个问题：明明代码逻辑没问题，服务器却直接返回 403 或 空响应。问题往往出在漏掉了 Host、Referer 或 Cookie 这些关键字段。

下面先说几个关键点，再一步步讲清楚完整的获取流程。

定位并打开目标请求

假设你已在目标网站（如小红书、知乎）登录账号。现在需要执行以下操作：

• 按 F12 打开开发者工具
• 切换到 Network 选项卡
• 按 Ctrl+R 进行强制硬刷新（避免缓存干扰）

请求列表加载出来后，优先筛选 XHR 或 Fetch 类型的请求。然后从结果中寻找名字带有 feed、search、api 或具体业务关键词的请求项。点击它，右侧会自动弹出详情面板。

复制完整 Request Headers 的三种方式

知道了目标请求在哪，接下来就是如何完整取出 Headers。以下三种路径可根据实际场景选择。

方法一：直接右键复制（最快，但格式带换行）

在右侧详情页中，展开 Headers 标签，向下滚动到 Request Headers 区域。任意点击一行右键，选择 Copy → Copy request headers。这种方法快，但复制出来的内容格式是带换行的键值对，不能直接用于 Python。

方法二：cURL 转 Python（最适配 requests）

这是最省心的方案。同样在请求上右键，选择 Copy → Copy as cURL (bash)。拿到 cURL 格式代码后，打开在线转换网站（如 curlconverter.com），粘贴内容。左侧语言选择 Python → requests，右侧立即生成可直接用的 Python 代码。整个过程无需手动处理转义、反斜杠、空格或多行拼接，非常干净。

方法三：手动提取 + 正则转字典（适合调试中间态）

如果想逐字段校验，或对转换结果不放心，也可以手动操作。展开 Request Headers 后，全选所有键值对，Ctrl+C 复制，然后粘贴到 PyCharm 或 VS Code 中。用正则替换：查找 (.*):s*(.*)$，替换为 "$1": "$2",，最后用大括号包裹起来就成了合法字典结构。

注意一个常见坑：Accept-Encoding: gzip, deflate 中的逗号会被误判为分隔符。替换完成后一定要仔细检查，看是否有多余的引号或断行。

粘贴后立即可用的格式校验步骤

不管用哪种方法拿到 Headers，最后都要验证格式是否正确。

• 第一步：将复制的内容粘贴到 Python 文件，用三引号包裹成字符串。
• 第二步：执行以下清洗逻辑：

headers_str = """<你粘贴的原始内容>"""
headers = {line.split(':', 1)[0].strip(): line.split(':', 1)[1].strip() for line in headers_str.strip().split('n') if ':' in line}

• 第三步：打印 print(headers)，检查输出是否为标准字典结构。注意看有没有混入像 GET /xxx HTTP/1.1 这种非法首行。如果出现，说明复制时不小心把请求行也带了进来，需要重新从 Headers 区域内精确选取。

《夸克》非常好用的免费AI浏览器

下载APP查看