大多数AI代理人、ML管道、AI丰富工作流程、深度研究系统和数据驱动的决策引擎不会因为模型不好而失败。 具体来说,数据往往是过时的、外在的、不可验证的,或者三者都是同时存在的,这就是核心问题。 在这篇文章中,你会看到什么 实际上意味着,它如何在帽子下工作,为什么比大多数人想象的更重要,以及如何用具体的例子实现它! 搜索和提取 需要新鲜、背景和可靠、可验证的信息 根据Statista的说法,每天大约产生402.74 万兆字节的数据。 这些数据渗透到网络、数据仓库、分析堆栈和管道上,这在一个很难辩解的规模。 但这里是捕获:更多的数据并不意味着更好的数据! 在这个卷中,假设一切都反映了现实是不现实的 - 或者它甚至可以被信任。 企业仍然基于业务决策、自动化和AI驱动的呼叫 数据。 这个 當來源過時,不完整,或只是錯誤時...基於它所建立的洞察力無法可靠,他們只是看起來很自信,但他們可能錯了! 这就是为什么法学硕士幻觉,AI代理人给出令人信服但错误的答案,数据管道悄悄地失败在生产中。 在大多数现实情况下,问题不是模型、工具或实现,而是输入数据! 无论您是运行经典分析工作流还是完全自主的AI代理,一切都取决于源数据的质量。 
 
 
 
 新鲜 背景 可验证 毕竟,如果你不知道 数据来自或 它被收集了,你不能现实地相信结果。 哪里 何时 这是真正的问题。 
 
 如何可靠地获取最新的信息,与特定任务相关,并可能与其来源相关的信息? 如何可靠地获取最新的信息,与特定任务相关,并可能与其来源相关的信息? 这是在那里,该 模式来了!让我们打破它。 Search and Extract 搜索和提取:它是什么,为什么它是解决方案 “搜索和提取”是一个 从网络中获取最新的、可验证的、丰富的背景信息的过程,结构简单,但在实践中非常有效。 事实上标准 在高水平上,它以两个不同的步骤运作: 
 
 
 搜索:系统在谷歌等搜索引擎上进行实时网页搜索,以查找给定查询的最相关和最可靠的来源,这有助于数据管道从当前的信息开始,并来自清晰的来源。 提取:从搜索结果中,系统识别最相关的URL,访问这些页面,并从中获取最有用的内容或数据。 这种模式在AI相关的应用中尤其有用,例如AI代理。 此外,它适用于传统的机器学习、事实检查和数据丰富管道。 代理RAG系统 代理RAG系统 “搜索和提取”模式的最终目标是通过确保收集的信息是: 
 
 
 
 新鲜的,因为摘取的公共网页数据来自最近的网页搜索,其中可能包括最新的信息和新闻。 背景 ,因为信息与搜索查询中指定的主题密切相关。 可验证,因为数据直接来自特定网页,任何人都可以访问和检查的URL。 搜索和提取是如何工作的? 在高层次上,“搜索和提取”可以总结为以下工作流: 此工作流的输入是可搜索的主题的列表. 这些通常是从文档、数据集或使用人工智能/ML 提供的信息源中从背景中提取的。 无论来源如何,可搜索的主题都会转移到“搜索”组件中,SERP API 解决方案在目标搜索引擎上执行自动网页搜索,在获取搜索结果后,您可以考虑所有返回的网页,或者仅使用AI/ML或严格的规则过滤最相关的网页(例如,将网页保留在特定域、语言或其他标准下)。 当同时瞄准多个搜索查询时(无论是不同的查询还是相同查询的多个页面),您可能需要运行自定义重新排序算法。谷歌或任何搜索引擎提供的排名都是针对SEO的优化,这可能并不反映您使用情况的重要性。 然后,所选的URL被发送到“提取”节点,在那里一个网页扫描服务访问每个页面并提取主要信息。 接下来,让我们来探索分别在“搜索”和“提取”阶段发挥作用的服务! 搜索 ↓ 像谷歌,Bing,DuckDuckGo,Baidu和Yandex这样的搜索引擎通过率限制和CAPTCHA来保护其SERP(搜索引擎结果页面)以防止自动扫描。 执行“搜索”阶段的最可靠方法是使用SERP API解决方案. 这些服务暴露终端以启动云中的搜索任务,使用旨在为您处理可扩展性和反机器人措施的基础设施。 它支持通过超过195个国家的150万个IP的代理网络进行全球搜索,可以在JSON中返回完全解析的SERP数据,提供许多页面化选项,并支持使用标准HTTP请求集成到任何数据或ML管道,以及超过50个AI代理框架和工作流程。 明亮数据的SERP API 明亮数据的SERP API 此外,Bright Data的SERP API允许您同时运行无限数量的搜索查询,这意味着您可以在“搜索”阶段获取数以千计的结果,然后,您可以在整个“搜索和提取”过程的后期阶段根据您的需求过滤和重新排序它们(如前所述)。 摘要 ️ 网页数据提取是更困难的部分. 原因在于每个网站都是不同的,甚至同一个域内的页面也可能遵循不同的渲染,数据可视化和检索逻辑。 这需要第三方服务,允许您可靠地访问网页的内容,无论它们有多么受保护,无论您的可扩展性需求如何。 
 
 
 Web Unlocker API:一个API,可以轻松访问任何公共网页,自动处理块、CAPTCHA、指纹和代理回合。 浏览器API:一个完全托管的云浏览器,兼容Puppeteer,Selenium,Playwright和其他自动化框架,具有内置的CAPTCHA解决和自动代理管理。 网站解锁器 API 网站解锁器 API 浏览器 API 浏览器 API Web Unlocker 是寻找页面内容的理想选择,无论是在原始 HTML 或 AI 准备的 Markdown (一个 )对于需要交互或自动化来访问所需数据的动态网站,浏览器API更适合。 great data format for LLM ingestion 伟大的数据格式为LLM摄入 这两个解决方案共同涵盖了“搜索和提取”工作流程的“提取”阶段所需的一切。 如何在Python中实施搜索和提取工作流 了解如何在Python中实现现实的“搜索和提取”工作流程: 
 
 
 在搜索阶段,您将使用 Bright Data 的 SERP API 运行实时网页搜索。 在“提取”阶段,您将依赖 Web Unlocker API 来检索和分析所选页面的内容。 下面是介绍吧! 前提条件 要跟随本教程部分,请确保您有: 
 
 
 Python 3.9+ 在本地安装。 Bright Data 帐户配置了 SERP API 区域和 Web Unlocker API 区域,以及您的 API 密钥。 如果您不知道如何开始使用 Bright Data 的 SERP API 或 Web Unlocker API 产品,请遵循官方文档: 
 
 
 介绍SERP API Bright Data的 Unlocker API 应用程序 介绍SERP API 介绍SERP API Bright Data的 Unlocker API 应用程序 Bright Data的 Unlocker API 应用程序 从现在开始,我们将参考您的 SERP API 区域为 并将您的 Web Unlocker API 区域作为 : serp_api web_unlocker 此外,请确保 该区域在配置表中的“数据格式”部分中配置为“完整JSON”模式: serp_api 这样,Bright Data SERP API 将以 JSON 格式返回分析的 SERP 结果,使其更容易过滤和重新排序。 最后, 这将用于验证向上述服务的请求! 生成您的 Bright Data API 密钥 生成您的 Bright Data API 密钥 为了加速这个过程,我们将假设您已经建立了一个 Python 项目,并且有一个虚拟环境。 步骤 #1:准备通过 API 访问清晰数据服务 连接到 Bright Data 服务的最简单方法是直接通过其 API. 首先,安装一个 async-ready HTTP 客户端,如 AIOHTTP: pip install aiohttp
 接下来,分别定义以下两个函数来调用 SERP API 和 Web Unlocker API: # Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_TOKEN>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()
 该 该函数连接到 Bright Data SERP API 以执行 Google 搜索并检索经过分析的 JSON SERP 结果(根据您的帐户配置)。 fetch_serp() 同样, 连接到 Bright Data Web Unlocker API 来获取网页. 将输出配置为 Markdown,这对于进入 LLM 是理想的。 fetch_page() 有关参数、参数以及如何调用这两个API的更多信息,请参阅文件! : 在生产中,避免硬编码您的 Bright Data API 密钥,而不是从环境变量中加载。 Note 很棒!现在你有构建块来实现“搜索”和“提取”阶段 功能: async import asyncio

async def main():
    # "Search and Extract" logic...

# Run the async main function
asyncio.run(main())
 步骤 #2:执行提取阶段 假设您有依靠 MCP 整合的 AI 代理,并希望生成一份报告,显示协议的未来变化如何影响他们,哪些新功能将可用,等等。 通常的法学硕士无法帮助这个任务,因为MCP相对较新,大多数模型都是在较旧的数据上训练的,因此,您需要一个搜索主题,如: "new version of MCP" 
 拨打 SERP API 以获取该搜索查询的 Google SERP 结果: # Topics to search
input_topic = "new version of MCP"

async with aiohttp.ClientSession() as session:
    # Search phase: Get SERP results
    serp_results = await fetch_serp(session, input_topic)
 在舞台后面,The 函数使用所提供的搜索查询调用 SERP API. 如果您需要处理多个查询,您可以调用 竞争性使用 . fetch_serp() fetch_serp() asyncio.gather() 默认情况下,SERP API 每查询返回 10 个结果,但可以配置为返回多达 100 个结果。 Note 将 Google SERP 结果作为 Python 字典返回。 属性: fetch_serp() organic serp_ranking_results = serp_results.get("organic", [])
 打印搜索结果,你应该得到类似于此的输出: 请注意,数组中的每个元素如何准确地匹配您在Google上搜索“MCP的新版本”的结果: 步骤 #3:过滤感兴趣的URL 从 SERP API 调用返回的所有 SERP 结果中,假设您对最多 3 个结果感兴趣。 ”域(MCP规格的官方域)。另外,让我们把谷歌的原始排名视为你想要保留的排名。 标签 标签: IO 标签 标签: IO 过滤它们如下: # Where to store the page URLs to scrape in the "Extract" phase
pages_of_interest = []

# Iterate over results and filter for URLs containing "modelcontextprotocol.io"
for result in serp_data_results:
    page_url = result.get("url")
    if "modelcontextprotocol.io" in page_url:
        pages_of_interest.append(page_url)
    # Stop once reaching 3 results
    if len(page_url) == 3:
        break
 结果将是“提取”阶段中要访问的 URL 列表,在此过程中,所识别的 URL 是: [
  "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/",
  "https://modelcontextprotocol.io/development/roadmap",
  "https://modelcontextprotocol.io/specification/2025-11-25"
]
 是时候从这些页面中提取信息了! 步骤 #4:执行提取阶段 使用的 功能呼叫 Web Unlocker API,并并行扫描三个选定的页面: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest]
web_page_results = await asyncio.gather(*tasks)
 : 如果您正在处理需要用户交互的动态网站,请使用与浏览器 API 集成的 Playwright 等浏览器自动化技术提取数据。 Note 结果将是一个包含每个目标页面的内容的数组. 通过: markdown_pages = [page for page in web_page_results]
 检查数组是否确实包含目标页面的标记: for markdown_page in markdown_pages:
    print(markdown_page[:300] + "...\n---\n")
 在这种情况下,输出是: 这与每个目标页面的 Markdown 版本相匹配,这意味着 Web Unlocker API 能够成功地执行 Web 数据提取,而不论存在任何反机器人或反扫描措施。 鉴于这些新鲜,背景和可验证的数据,存储它进行进一步分析,将其传递到LLM进行处理,使用它来检测其他感兴趣的话题,继续进行更深入的研究,或应用到许多其他用例。 步骤5:完整代码 示例的最终版本是: # pip install aiohttp

import asyncio
import aiohttp
import urllib.parse
import json

# Replace these with your Bright Data API token and zone names
BRIGHT_DATA_API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY>"
SERP_ZONE = "serp_api"  # Your SERP API zone
WEB_UNLOCKER_ZONE = "web_unlocker"  # Your Web Unlocker API zone

HEADERS = {
    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data
    "Content-Type": "application/json"
}

async def fetch_serp(session, query, location="us", language="en"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": SERP_ZONE,
        "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}",
        "format": "json"
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        response_data = await resp.json()
        return json.loads(response_data["body"])

async def fetch_page(session, page_url, data_format="markdown"):
    url = "https://api.brightdata.com/request"
    data = {
        "zone": WEB_UNLOCKER_ZONE,
        "url": page_url,
        "format": "raw",
        "data_format": data_format
    }
    async with session.post(url, json=data, headers=HEADERS) as resp:
        return await resp.text()


async def main():
    # Topics to search
    input_topic = "new version of MCP"

    async with aiohttp.ClientSession() as session:
        # Search phase: Get SERP results
        serp_results = await fetch_serp(session, input_topic)

        # Where to store the page URLs to scrape in the "Extract" phase
        pages_of_interest = []

        # Iterate over results and filter for URLs containing "modelcontextprotocol.io"
        for result in serp_results.get("organic", []):
            page_url = result.get("link")
            if page_url and "modelcontextprotocol.io" in page_url:
                pages_of_interest.append(page_url)
            if len(pages_of_interest) == 3:
                break

        print("Pages to scrape:", pages_of_interest)

        # Extract phase: Scrape pages concurrently
        tasks = [fetch_page(session, url) for url in pages_of_interest]
        web_page_results = await asyncio.gather(*tasks)

        # Access the content from each page
        markdown_pages = [page for page in web_page_results]

        print("Scraped page contents:")
        for markdown_page in markdown_pages:
            print(markdown_page[:300] + "...\n---\n")

        # AI processing, RAG pipelines, or further workflows...

# Run the async main function
asyncio.run(main())
 凭借 Bright Data API 准备的产品,您可以在不到 50 行 Python 代码中实现有效、企业级、生产准备的“搜索和提取”工作流程! 结论 在本文中,您研究了为什么数据管道和人工智能工作流程依赖于最新的、背景和可靠的信息。 一个可靠的方式来收集这些数据是通过 人工智能模式,这实际上已经成为访问高质量、可验证的Web数据的标准方法。 阶段自动发现跨搜索引擎,而 阶段从最相关的结果中提取结构化信息。 搜索和提取 搜索 ↓ 摘要 ️ 正如本文所示,使用像 Bright Data 这样的 AI 准备的 Web 扫描平台,实现此工作流程既实用又可扩展。 探索其所有Web数据解决方案! 今天启动 Bright Data 免费试用 今天启动 Bright Data 免费试用 
 
 本文是通过 HackerNoon 商业博客计划发布的。 本文已通过 节目。 黑客商业博客

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Portfolio

該音頻是用故事的原始語言製作的！

搜索和提取:为什么这个AI模式重要,教程和示例

About Author

註釋

標籤

这篇文章刊登在

Related Stories

数字游民请注意：您需要了解泰国新推出的 DTV 签证

从论坛到信息流：社交媒体算法如何塑造数字互动

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

使用这 18 种开发工具来提高你的工作效率 🚀🔥

数字游民请注意：您需要了解泰国新推出的 DTV 签证

从论坛到信息流：社交媒体算法如何塑造数字互动

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

使用这 18 种开发工具来提高你的工作效率 🚀🔥

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps