Screaming Frog 是做技术SEO最常用的桌面爬虫。但直接装上点开始,跑出来的多半是一堆你不知道怎么用的数据。

问题出在默认配置。默认设置是为通用场景准备的,外贸站有几个特殊点它不会自动照顾到。下面12项配置按重要程度排,配完再跑,报告就能直接用。

一、12项配置逐个说明

#

配置项

为什么要改

能查出什么

1

开启JS渲染

外贸站常用JS加载产品列表

渲染前后内容差异

2

连接GSC与GA4

把抓取数据和真实表现对上

有流量但没收录、有收录但没流量的页

3

开启结构化数据校验

默认不检查

JSON-LD语法错误、缺失页面

4

开启拼写检查并设为英文

外贸站正文是英文

英文错别字,影响专业度

5

自定义提取hreflang

默认只做基础检查

hreflang缺失、单向指向

6

设置爬取速度上限

默认速度可能压垮小服务器

避免把自己站抓挂

7

开启图片属性抓取

默认不细查

缺alt、体积过大、非webp

8

自定义搜索:统计代码

确认埋点覆盖率

漏装GA4或百度统计的页面

9

自定义提取:正文字数

判断薄内容

字数过少的页面清单

10

开启PageSpeed API

把速度数据并进同一张表

慢页面与其他问题的交叉

11

排除无关路径

避免浪费抓取额度

让报告更聚焦

12

保存配置为模板

下次直接调用

保证每次口径一致

 

这12项里,第1、2、3项影响最大,时间紧就先配这三个。

第8项和第9项用的是「自定义搜索」和「自定义提取」功能,需要自己写匹配规则。自定义搜索填统计代码的特征字符串即可;自定义提取用CSS选择器指向正文容器,抓文本长度。

二、JS渲染模式怎么开

这是外贸站最容易出问题、也最容易被忽略的一项。

默认模式下,工具只抓HTML源码。如果你的产品列表、参数表是JS加载的,源码里就没有这些内容,报告会显示一堆「内容很薄」的页面,而你在浏览器里看明明是满的。

开启渲染模式之后,工具会等JS执行完再抓,结果才和搜索引擎看到的接近。

关键是对比着看。 分别用两种模式各跑一次,把两份报告的字数、链接数、标题做比对:

•渲染后内容明显变多,说明核心内容依赖JS,存在收录风险,应该考虑服务端渲染或预渲染

•两份结果基本一致,说明是服务端渲染,这一项没问题

•渲染后某些页面反而报错,多半是脚本有问题,值得单独排查

注意开了渲染之后速度会慢很多,几千页的站可能要跑几个小时。建议先用默认模式全量跑一遍定位范围,再用渲染模式跑重点目录。

三、结合GSC和GA4数据源

这是让报告从「技术清单」变成「优先级清单」的关键一步。

工具支持接入 Google Search Console 和 GA4 的API。接上之后,每个URL旁边会多出展现量、点击量、会话数这些真实数据。

接上之后重点看三类页面:

1.有展现没点击的页面:标题和描述有问题,改TDK的优先级最高

2.有收录没展现的页面:内容和搜索需求对不上,要么改内容要么合并

3.有流量但技术有问题的页面:比如加载慢、缺结构化数据的高流量页,修复收益最大

没有这一层数据,你只能按「问题严重程度」排序;有了之后才能按「修复收益」排序。这两个排序经常完全不同——一个404页面如果从来没流量,修它的优先级远低于一个慢但有流量的产品页。

四、导出报告的阅读顺序

跑完之后数据很多,按这个顺序看不会乱。

1.先看Response Codes:有没有大量404、5xx、异常跳转。这类问题影响面最大

2.再看Canonical:有没有指向错误、跨域、或者指向404的规范标签

3.然后看Page Titles和Meta Description:重复、缺失、过长的清单

4.接着看Directives:有没有页面被意外加了noindex

5.再看Structured Data:语法错误和缺失情况

6.最后看Images和Page Speed:这两类是优化项,不是故障

前四项属于「可能导致页面不被收录」的硬问题,先修完再动后面的。

一个实用习惯:每次跑完把报告存档并标注日期。下次跑完做差异对比,能直接看出这段时间新增了哪些问题——网站改版和内容更新经常悄悄引入新毛病。

需要一次完整的技术SEO诊断,可以参考谷歌SEO服务页里的体检方式。

常见问题

Q1. 免费版够用吗?

免费版有抓取页数上限,且不支持JS渲染、自定义提取、API接入这几项——恰好是本文里最关键的配置。所以小站做一次基础排查可以用免费版,要做本文说的完整配置就需要付费版。折中办法是先用免费版跑一遍定位大概问题,确认值得深入再考虑付费。另外付费是按年订阅,做一次全站体检后可以先停。

Q2. 抓取会不会影响服务器?

有可能,所以第6项配置就是设置爬取速度上限。默认速度对小型服务器可能偏快,建议把并发线程和每秒请求数都调低,从较保守的设置开始,观察服务器负载再逐步提高。如果是共享主机或配置较低的服务器,务必先调慢。另外建议避开业务高峰时段跑,比如放在夜间。

Q3. 多久跑一次?

常规情况下每月一次,改版或大批量发布内容之后立刻加跑一次。关键是每次用同一套配置模板,保证口径一致,然后把报告存档标注日期,下次做差异对比。差异对比比单次报告有用得多——它能直接告诉你这段时间新增了哪些问题,而网站改版和日常更新经常会悄悄引入新毛病。

苏州维森特数字科技有限公司

谷歌官方授权一级代理商 · 一站式海外数字化营销解决方案

外贸独立站建站 · 谷歌SEO优化 · 谷歌广告推广 · Facebook推广