关键词聚类方案：如何用SERP+BGE+图聚类做出跨境网站自动聚类分组效果

近段时间在批量建站，又看了QuickCreator 文章（作者：Tony Yan，请查看文章结尾参考资料-参考 1），感觉关键词聚类操作可变成可复用、可调参、成本可控的内容生成流程。

关键词聚类分组后便于新建栏目和支柱页（Pillar page），以及后续内容生产。之前都是使用 WriterZen的Keyword Planner进行聚类分组，而且分组后有搜索量/黄金得分等参考数据，便于筛选pramary keywords来编写文章。奈何囊中羞涩，WriterZen太贵了，实在不想充值就想着找找替代方案。

基于以上原因有了本篇文章。大体思路都是 ChatGPT 和 Gemini 给的。先让 ChatGPT 给思路，跑了几版代码，结果不符合预期。后来换成Gemini 给的思路，使用“SERP 条件 + BGE 语义 + 图聚类”，再反复调参数，才得到一版能用于内容规划的关键词聚类方案。

本文不是“科普”，而是一篇复盘，其中包含大量失败方案，而且最后跑通方案和参数也不具备通用性，可能不同品类新站都需要调整参数等，仅仅作为参考。聚类后补充搜索量、CPC、`allintitle搜索结果` 和关键词黄金得分（以下简称“KGR”，请查看文章结尾处-参考 2 获取详细信息），以及下一步文章生产仅作为补充内容。

为什么要自己做关键词聚类？

1. 关键词聚类思路整理

结合参考资料 1 和万能的chatgpt，得到如下思路：

1. 基于SERP的聚类
2. 基于语义关键词聚类（NLP 聚类）
3. 混合聚类（图聚类）
4. 大模型聚类（英文：ChatGPT/Gemini；中文：千问/DeepSeek。最好多个模型结果参考着进行聚类）

4种聚类方案差异对比

结论：

• 关键词个数 500 内，直接使用大模型+人工校对。
• 关键词个数 500 以上，使用混合聚类。（本文主要以混合聚类为主介绍）

2. 实测样本、工具、接口选择评估

2.1 SERP接口选择

通过对比Tavily、Serper、SerpAPI、serpbase、Exa、spider.cloud、valueserp等接口结果与真实google搜索结果，最终选择Tavily、Serper、serpbase，结合费用成本和并行情况，最终选择如下：

• 免费：优先使用Tavily（每月 1000）、Serper（每个账号 2500次 免费调用）
• 付费：使用SerpBase（最便宜$0.5 / 1k，量大可达$0.3 / 1k）。Serper差不多$1 / 1k，而且$50起充。Tavily更贵，$8 / 1k。使用ValueSerp，因为其支持查看搜索结果数和related search和related questions（$2.5 / 1k）

2.2 模型选择

因本地mac运行embedding模型，通过比较模型大小、CPU效率（1000字符转换为向量所耗时）、准确度等，最终选择模型如下：

2.3 聚类方法选择

大模型测试：使用chatgpt测试小关键词样本、中关键词样本、真实关键词样本，测试效果并不理想。

NLP 测试：在不知道簇数的情况下聚类，可选择层次聚类、HDBSCAN、图聚类算法。测试NLP下使用层次聚类、HDBSCAN算法聚类，结果未达到预期，跟真实结果不差距较大，还不如直接使用大模型。

混合聚类：

ChatGPT 版：SERP * 0.7 + NLP * 0.3，阈值为综合评分 > 0.75 即可聚类
Gemini 版本：SERP URL ≧ 3；SERP URL = 2 && NLP ≧0.55 ; NLP ≧0.85，满足以上条件即可聚类

结论：

跑通流程最终选择了Serper 最为 SERP 接口，bge-base-zh-v1.5 跑中文，bge-small-en-v1.5 跑英文，混合聚类为主。以下表格为补充其他选择准备。

3. 关键词聚类实践

3.1 ChatGPT版： SERP+NLP+阀值聚类思路失败

结合实际内容生产和代码落地，方案为：Graph Clustering + SERP Similarity，使用图聚类（Union-Find）。

核心思路如下：

部分核心代码：

# 相似度计算
def serp_overlap(urls1, urls2):
    return len(set(urls1) & set(urls2)) / 10.0  # 归一化

def final_score(semantic, serp, semantic_weight=0.7, serp_weight=0.3):
    return semantic * semantic_weight + serp * serp_weight

# 聚类
class UnionFind:
    def __init__(self, n):
        self.parent = list(range(n))

    def find(self, x):
        if self.parent[x] != x:
            self.parent[x] = self.find(self.parent[x])
        return self.parent[x]

    def union(self, a, b):
        pa, pb = self.find(a), self.find(b)
        if pa != pb:
            self.parent[pb] = pa

# 运行聚类
class ClusterPipeline:
    def __init__(self, config):
        self.config = config

    def run(self, keywords, vectors, candidate_indices):
        uf = UnionFind(len(keywords))

        for i, kw in enumerate(keywords):
            for j in candidate_indices[i]:
                if i >= j:
                    continue
                semantic = float(np.dot(vectors[i], vectors[j]))
                serp = serp_overlap(kw.urls, keywords[j].urls)
                score = final_score(
                    semantic, serp,
                    self.config.semantic_weight,
                    self.config.serp_weight
                )
                if score >= self.config.merge_threshold:
                    uf.union(i, j)

        clusters = {}
        for idx, kw in enumerate(keywords):
            root = uf.find(idx)
            clusters.setdefault(root, []).append(kw.text)
        return list(clusters.values())

不过运行测试集数据后发现并不能达到预期目标，而且拉完了，连最小样本测试都跑不通。
后面又基于GPT优化了两三个版本，不过也不太理想，最终放弃。

本次得到如下心得：

第一版失败在两个地方：阈值太保守导致长尾词被拆散，公共平台URL又导致无关词被粘在一起。

• 不要直接使用 URL，而使用域名。（需要考虑域名重复的问题；知名域名网站的影响，需要剔除子域名影响）
• 搜索结果 SERP 修改为 20 条，或者添加更多维度People Also Ask + Related Search 后并没有效果提升。
• 调整算法HDBSCAN后能提升效果，但更换关键词后需要手动调整参数才能跟预期一致。

后续改进：

• 使用tldextract这个库提取主域名。然后使用自定义域名库剔除视频/社媒、综合/问答/社区、厂商文档/代码托管、百科/AI官方/公共容器影响。
• 搜索结果使用 10条。
• 后续可以调整聚类算法看哪个效果更加。

3.2 Geimin 版：混合图聚类开始接近预期

核心思路如下：

URL/域名重合度 >= 3，视为绝对同一种搜索意图。
URL/域名重合度 == 2 且 语义相似度 >= 0.7
URL/域名重合度 ==1 且 语义相似度 >= 0.8
纯语义相似度 >= 0.88，用于归纳长尾词。

部分核心代码：

...（省略代码）...
if overlap >= 3:
    G.add_edge(kw1, kw2, weight=1.5)
elif overlap == 2 and semantic_sim >= 0.7:
    G.add_edge(kw1, kw2, weight=1.0)
elif overlap == 1 and semantic_sim >= 0.8:
    G.add_edge(kw1, kw2, weight=0.8)
elif semantic_sim >= 0.88:
    G.add_edge(kw1, kw2, weight=semantic_sim)

...（省略代码）...

# 引入Louvain算法进行聚类，解决“超级大类”问题。
# 默认 resolution 是 1.0。调整resolution类目总数会减少，如果调小（例如 0.5 - 0.8）
import networkx.algorithms.community as nx_comm
communities = nx_comm.louvain_communities(G, weight='weight', resolution=0.7, seed=42)
raw_clusters = [list(c) for c in communities if len(c) > 0]
raw_clusters.sort(key=len, reverse=True)

(完整可运行代码已放在文章末尾资源区，下滑至末尾可获取下载方式)

经过多轮调整，人工检查测试小样本测试集和中样子测试集后比较符合预期。

测试过程中关键版本与参数调整：

总结如下经验：

• “超级大类”问题：通过调整参数和引入Louvain 算法。
• 无法降低分类数目问题。孤立节点无法聚类（关键词SERP无重合URL，且语义相似度也达不到 0.88），需添加策略强制与跟它最像的前 1~2 个词连上线。强连接节点太稳固（关键词 SERP 重合URL达2以上），降低resolution参数至0.5。

4. 聚类后添加关键词指标数据，便于指导后续文章生产

聚类完成后，可以补搜索量、CPC、KD、allintitle 和关键词黄金得分（KGR）等数据，便于指导写作优先级。

指标说明：

• 搜索量（avg_volume）/搜索量趋势图：决定写这篇文章有没有流量。一般选择搜索量>100，搜索量呈增加趋势最佳，次之选择平稳或周期波动且稳定的。
• KD值/KGR：决定优化该关键词的难度。KD 值和 KGR 都是越低越佳。KD 低于 20，KGR 低于 1.68 最佳。
• CPC：决定商业价值，特别是主要以ads 变现为主的网站。

5. 补充说明

5.1 黄金关键词比率（KGR）定义

关键词黄金得分，是用于衡量一个关键词“是否值得做SEO内容”的综合指标，通过对比搜索需求与竞争强度来计算，得分越低，代表越容易排名且潜在价值越高。（详情请参考参考资料-参考 2）

Allintitle Volume：google中输入 allintitle:"关键词" 返回的搜索结果数量
Avg Volume：近 1 年的平均月度搜索量量。

公式在计算Allintitle Volume 数值较大或者Avg Volume 数值较大场景下并不能很好反应关键词价值，结合writerzen官方解释，让Gemini推导了一个新的KGR公式。（详情请参考参考资料-参考 3）

$f(\text{AIT}) = \ln(\text{AllintitleVolume} + 1)$：对Allintitle Volume进行对数压缩。当值很小时，分值极低；当值超过 100 甚至上千时，分值对数增长。+1 是为了防止Allintitle Volume = 0 时数学报错。

$f(\text{AIT} \mid \text{SV}) = \frac{\text{AllintitleVolume} + 1}{\ln(\text{AvgVolume} + 2)}$：核心公式。如果搜索量（Avg Volume）极大，它就像一个巨大的分母，能剧烈稀释掉高 Allintitle Volume 带来的竞争压力。

$f(\text{SV}) = -\ln(\ln(\text{AvgVolume} + 2))$：搜索量越大，这一项减去的正数就越多（得分越低）。双重对数是为了防止大搜索量过度扭曲结果，确保获得合理的“加分补偿”。

核心代码：

def golden_keywords_Ratio(ait: int, sv: int) -> float:
    if sv <= 0:
        return 99.0 # 无搜索量，直接淘汰
        
    # 1. 大Allintitle Volume对数压缩
    f_ait = math.log(ait + 1)
    
    # 2. 交叉稀释项 (针对高基数 Allintitle Volume，引入 0.05 的随机森林修正系数)
    f_ait_sv = ((ait + 1) / math.log(sv + 2)) * (0.05 if ait > 100 else 1.0)
    
    # 3. 加分补偿
    f_sv = -math.log(math.log(sv + 2))
    
    # 综合得分
    score = f_ait + f_ait_sv + f_sv

    return round(score, 4)

5.2 SERP 数据怎么清洗

SERP 清洗的关键，是用根域名判断意图，同时剔除高频公共平台。

域名提取可以用 tldextract：

def extract_clean_domain(url_string):
    ext = tldextract.extract(url_string)
    main_domain = ext.registered_domain.lower()
    return main_domain if main_domain else None

黑名单建议先从这些实体开始：

GLOBAL_PLATFORM_BLACKLIST = {
    "youtube.com", "bilibili.com", "facebook.com", "x.com",
    "instagram.com", "linkedin.com", "reddit.com", "pinterest.com",
    "tiktok.com", "vimeo.com", "zhihu.com", "csdn.net",
    "baidu.com", "douban.com", "xiaohongshu.com", "github.com",
    "aliyun.com", "tencent.com", "huaweicloud.com", "microsoft.com",
    "oracle.com", "aws.amazon.com", "amazon.com", "wikipedia.org",
    "openai.com", "wix.com", "wordpress.com", "medium.com",
    "quora.com", "sourceforge.net", "npmjs.com", "pypi.org"
}

6. 总结

这套关键词聚类方案的核心，并不能替代“WriterZen”，可以作为一种补充和工程化内容生产的一种解决方案。

我的结论是：SERP 负责判断搜索意图，BGE 负责补语义召回，图聚类负责形成 cluster，Louvain 负责拆超级大类，搜索量、CPC、KD、allintitle 和 Golden Score 负责排序。这样输出的不是一张分组表，而是一张可以直接指导新跨境网站建站和写文章的内容地图。

参考资料：

参考 1：关键词聚类：出海企业如何在 AI 搜索时代建立主题权威
参考 2：All-in-title and KGR (Keyword Golden Ratio)
参考 3：How Golden Filter was developed (Part 2) – KGR updated