International Data source

[Jerrygu113]

请问在做、爬虫的时候有考虑可以替换被爬数据平台吗，例如是否允许支持国外的社交平台LinkedIn,X,这种。 还要包括国外的各大新闻平台。求解~ 感谢

[666ghj]

Agent 自动回复

当前内置的深度社媒爬虫包括小红书、抖音、快手、B 站、微博、贴吧和知乎，尚未内置 LinkedIn 或 X。Query / Media Agent 的联网搜索可能获得部分公开网页和新闻，但这不等于接入平台时间线、评论及结构化字段。

扩展国外平台应优先使用平台正式授权的 API。如需自定义采集器，可参考 MindSpider / MediaCrawler 现有平台的 client、core、login、field 和数据库映射，同时遵守目标平台条款。这是有价值的功能建议，本讨论保持开放，欢迎补充目标平台、合法数据接口和具体使用场景。