Screaming Frog 是做技术SEO最常用的桌面爬虫。但直接装上点开始,跑出来的多半是一堆你不知道怎么用的数据。
问题出在默认配置。默认设置是为通用场景准备的,外贸站有几个特殊点它不会自动照顾到。下面12项配置按重要程度排,配完再跑,报告就能直接用。
一、12项配置逐个说明
# | 配置项 | 为什么要改 | 能查出什么 |
1 | 开启JS渲染 | 外贸站常用JS加载产品列表 | 渲染前后内容差异 |
2 | 连接GSC与GA4 | 把抓取数据和真实表现对上 | 有流量但没收录、有收录但没流量的页 |
3 | 开启结构化数据校验 | 默认不检查 | JSON-LD语法错误、缺失页面 |
4 | 开启拼写检查并设为英文 | 外贸站正文是英文 | 英文错别字,影响专业度 |
5 | 自定义提取hreflang | 默认只做基础检查 | hreflang缺失、单向指向 |
6 | 设置爬取速度上限 | 默认速度可能压垮小服务器 | 避免把自己站抓挂 |
7 | 开启图片属性抓取 | 默认不细查 | 缺alt、体积过大、非webp |
8 | 自定义搜索:统计代码 | 确认埋点覆盖率 | 漏装GA4或百度统计的页面 |
9 | 自定义提取:正文字数 | 判断薄内容 | 字数过少的页面清单 |
10 | 开启PageSpeed API | 把速度数据并进同一张表 | 慢页面与其他问题的交叉 |
11 | 排除无关路径 | 避免浪费抓取额度 | 让报告更聚焦 |
12 | 保存配置为模板 | 下次直接调用 | 保证每次口径一致 |
这12项里,第1、2、3项影响最大,时间紧就先配这三个。
第8项和第9项用的是「自定义搜索」和「自定义提取」功能,需要自己写匹配规则。自定义搜索填统计代码的特征字符串即可;自定义提取用CSS选择器指向正文容器,抓文本长度。
二、JS渲染模式怎么开
这是外贸站最容易出问题、也最容易被忽略的一项。
默认模式下,工具只抓HTML源码。如果你的产品列表、参数表是JS加载的,源码里就没有这些内容,报告会显示一堆「内容很薄」的页面,而你在浏览器里看明明是满的。
开启渲染模式之后,工具会等JS执行完再抓,结果才和搜索引擎看到的接近。
关键是对比着看。 分别用两种模式各跑一次,把两份报告的字数、链接数、标题做比对:
•渲染后内容明显变多,说明核心内容依赖JS,存在收录风险,应该考虑服务端渲染或预渲染
•两份结果基本一致,说明是服务端渲染,这一项没问题
•渲染后某些页面反而报错,多半是脚本有问题,值得单独排查
注意开了渲染之后速度会慢很多,几千页的站可能要跑几个小时。建议先用默认模式全量跑一遍定位范围,再用渲染模式跑重点目录。
三、结合GSC和GA4数据源
这是让报告从「技术清单」变成「优先级清单」的关键一步。
工具支持接入 Google Search Console 和 GA4 的API。接上之后,每个URL旁边会多出展现量、点击量、会话数这些真实数据。
接上之后重点看三类页面:
1.有展现没点击的页面:标题和描述有问题,改TDK的优先级最高
2.有收录没展现的页面:内容和搜索需求对不上,要么改内容要么合并
3.有流量但技术有问题的页面:比如加载慢、缺结构化数据的高流量页,修复收益最大
没有这一层数据,你只能按「问题严重程度」排序;有了之后才能按「修复收益」排序。这两个排序经常完全不同——一个404页面如果从来没流量,修它的优先级远低于一个慢但有流量的产品页。
四、导出报告的阅读顺序
跑完之后数据很多,按这个顺序看不会乱。
1.先看Response Codes:有没有大量404、5xx、异常跳转。这类问题影响面最大
2.再看Canonical:有没有指向错误、跨域、或者指向404的规范标签
3.然后看Page Titles和Meta Description:重复、缺失、过长的清单
4.接着看Directives:有没有页面被意外加了noindex
5.再看Structured Data:语法错误和缺失情况
6.最后看Images和Page Speed:这两类是优化项,不是故障
前四项属于「可能导致页面不被收录」的硬问题,先修完再动后面的。
一个实用习惯:每次跑完把报告存档并标注日期。下次跑完做差异对比,能直接看出这段时间新增了哪些问题——网站改版和内容更新经常悄悄引入新毛病。
需要一次完整的技术SEO诊断,可以参考谷歌SEO服务页里的体检方式。
常见问题
Q1. 免费版够用吗?
免费版有抓取页数上限,且不支持JS渲染、自定义提取、API接入这几项——恰好是本文里最关键的配置。所以小站做一次基础排查可以用免费版,要做本文说的完整配置就需要付费版。折中办法是先用免费版跑一遍定位大概问题,确认值得深入再考虑付费。另外付费是按年订阅,做一次全站体检后可以先停。
Q2. 抓取会不会影响服务器?
有可能,所以第6项配置就是设置爬取速度上限。默认速度对小型服务器可能偏快,建议把并发线程和每秒请求数都调低,从较保守的设置开始,观察服务器负载再逐步提高。如果是共享主机或配置较低的服务器,务必先调慢。另外建议避开业务高峰时段跑,比如放在夜间。
Q3. 多久跑一次?
常规情况下每月一次,改版或大批量发布内容之后立刻加跑一次。关键是每次用同一套配置模板,保证口径一致,然后把报告存档标注日期,下次做差异对比。差异对比比单次报告有用得多——它能直接告诉你这段时间新增了哪些问题,而网站改版和日常更新经常会悄悄引入新毛病。
苏州维森特数字科技有限公司
谷歌官方授权一级代理商 · 一站式海外数字化营销解决方案
外贸独立站建站 · 谷歌SEO优化 · 谷歌广告推广 · Facebook推广






