Canonicalize WebSearch domain filters

SqlRush · SqlRush · commit cfed395e6495 · 2026-06-20T19:02:44.000+08:00
diff --git a/docs/cc-100-roadmap.md b/docs/cc-100-roadmap.md
@@ -443,6 +443,8 @@ M5 补充：WebSearch `query` schema 现在按官方 `min(2)` 约束拒绝单字
 
 M5 补充：WebSearch domain filters 现在在 schema 层声明 array `items:string`，通用 tool schema validator 同步支持 `items` 校验；`allowed_domains`/`blocked_domains` 会拒绝空字符串、URL/port、非法 wildcard 和非域名 label。
 
+M5 补充：WebSearch domain filters 现在会 canonicalize 为小写、去尾点、去 `*.` 前缀并去重；过滤匹配和 structured content 暴露同一域名口径。
+
 M5 补充：通用 tool schema validator 现在支持 `enum`，可直接执行 Grep output mode、NotebookEdit edit mode/cell type、Todo status/priority、Task target/action、LSP severity 等工具 schema 的枚举契约。
 
 M5 补充：通用 tool schema validator 现在支持数字 `minimum`/`maximum`，可直接执行 LSPDiagnostics `limit` 等工具 schema 的数值范围契约。
diff --git a/docs/claude-code-go-rewrite-plan.md b/docs/claude-code-go-rewrite-plan.md
@@ -210,6 +210,7 @@ test/parity/                 # golden tests against TS/official behavior
 - 本轮补充：WebSearch JSON result parser 现在支持 `pageUrl`/`targetUrl`/`source_url`/`formattedUrl` 等 URL aliases、`htmlTitle`/`htmlSnippet` 等 HTML 标记字段清理、嵌套 URL object，以及 `deepLinks`/`siteLinks` 子结果递归解析。
 - 本轮补充：WebSearch JSON parser 现在继续覆盖 `answerBox`/`answer_box`、`knowledgeGraph`/`knowledge_graph`、`news`/`news_results`、`topStories`、`peopleAlsoAsk` 和 `related_questions` 等常见搜索后端 wrapper，并识别 `website`/`sourceLink` URL alias、`question` title alias、`answer`/`excerpt` snippet alias。
 - 本轮补充：WebSearch `query` schema 现在按官方 `min(2)` 约束拒绝单字符查询，通用 tool schema validator 同步支持 `minLength`，让工具定义可直接表达字符串最小长度契约。
+- 本轮补充：WebSearch domain filters 现在会 canonicalize 为小写、去尾点、去 `*.` 前缀并去重；过滤匹配和 structured content 暴露同一域名口径。
 - 本轮补充：Bash/PowerShell 前台执行现在区分调用方 cancellation、timeout 和普通非零退出；context 取消会返回 `cancelled=true`、`timed_out=false`、`exit_code=-1`，并显示 cancelled 状态文本。
 - 本轮补充：Bash 和 Unix PowerShell 工具取消现在会先向受管 process group 发 SIGTERM，再用短 `WaitDelay` 兜底 SIGKILL；Bash 前台/后台取消测试通过 `trap TERM` 证明 cleanup signal 可被脚本收到。
 - 本轮补充：Bash read-only classifier 现在把常见文件比较命令 `diff`/`cmp` 归入只读路径命令族，并明确拒绝 `diff --output` 这类写文件形态以及越界路径，减少安全工具误走权限确认。
diff --git a/internal/tools/web/web_search.go b/internal/tools/web/web_search.go
@@ -818,15 +818,26 @@ func webSearchBlockedDomainsRaw(input webSearchInput) []string {
 
 func normalizeDomains(domains []string) []string {
 	out := make([]string, 0, len(domains))
+	seen := make(map[string]struct{}, len(domains))
 	for _, domain := range domains {
-		domain = strings.TrimSpace(strings.ToLower(domain))
-		if domain != "" {
-			out = append(out, domain)
+		domain = canonicalWebSearchDomain(domain)
+		if domain == "" {
+			continue
+		}
+		if _, ok := seen[domain]; ok {
+			continue
 		}
+		seen[domain] = struct{}{}
+		out = append(out, domain)
 	}
 	return out
 }
 
+func canonicalWebSearchDomain(domain string) string {
+	domain = strings.TrimSuffix(strings.ToLower(strings.TrimSpace(domain)), ".")
+	return strings.TrimPrefix(domain, "*.")
+}
+
 func validateDomains(field string, domains []string) error {
 	for i, domain := range domains {
 		if strings.Contains(domain, "://") || strings.ContainsAny(domain, "/?#") {
diff --git a/internal/tools/web/web_search_test.go b/internal/tools/web/web_search_test.go
@@ -68,6 +68,40 @@ func TestWebSearchReturnsParsedResults(t *testing.T) {
 	}
 }
 
+func TestWebSearchCanonicalizesDomainFilters(t *testing.T) {
+	server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
+		w.Header().Set("Content-Type", "text/html; charset=utf-8")
+		_, _ = w.Write([]byte(`
+			<html><body>
+				<a href="https://docs.example.com/one">One</a>
+				<a href="https://blocked.example.net/two">Two</a>
+			</body></html>`))
+	}))
+	defer server.Close()
+	executor := webExecutor(t)
+	result, err := executor.Execute(tool.Context{
+		Context: context.Background(),
+		Metadata: map[string]any{
+			MetadataWebSearchEndpointKey: server.URL + "/search",
+		},
+	}, contracts.ToolUse{
+		ID:    "toolu_search_domain_canonical",
+		Name:  "WebSearch",
+		Input: json.RawMessage(`{"query":"domain filters","allowed_domains":["*.Example.COM.","example.com"]}`),
+	}, nil)
+	if err != nil {
+		t.Fatal(err)
+	}
+	results := result.StructuredContent["results"].([]map[string]any)
+	if len(results) != 1 || results[0]["url"] != "https://docs.example.com/one" {
+		t.Fatalf("results = %#v", results)
+	}
+	allowed := result.StructuredContent["allowed_domains"].([]string)
+	if len(allowed) != 1 || allowed[0] != "example.com" {
+		t.Fatalf("allowed domains = %#v", allowed)
+	}
+}
+
 func TestWebSearchResolvesHTMLResultsAgainstBaseHref(t *testing.T) {
 	server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
 		w.Header().Set("Content-Type", "text/html; charset=utf-8")
