網頁資料總是雜亂無章，研究員或開發者經常要手動提取特定資訊，例如產品規格或文章重點，浪費大量時間。llm-scraper 就針對呢個痛點，提供一個簡單方案，讓你用大型語言模型（LLM）自動將任何網頁轉化為結構化數據。呢個 GitHub 開源工具特別適合數據分析師、爬蟲工程師同研究人員，無需寫複雜的正則表達式或 CSS 選擇器，就能快速獲取所需內容。
支援多種 LLM 模型靈活提取網頁內容
llm-scraper 嘅強大之處在於整合咗多款熱門 LLM，例如 OpenAI GPT 系列、Anthropic Claude 同 Ollama 本地模型。用戶只需指定模型 API 鑰匙，即可讓 LLM 智能解析網頁 HTML，提取出 JSON 格式嘅結構化數據。比起傳統爬蟲工具，呢種方法更能理解網頁語意，例如自動辨識表格、列表或段落間嘅邏輯關係，避免因網站改版而失效。
自訂提示詞精準定義輸出結構化 schema
打開工具後，你可以透過自訂提示詞（prompt）告訴 LLM 要提取咩類型數據，例如「從呢個產品頁提取名稱、價格同規格」，llm-scraper 就會生成對應嘅 JSON schema。呢個設計讓輸出高度可控，同埋支援迭代優化提示，確保結果符合需求。對於經常處理新聞網站或電商頁面嘅用戶，呢點特別實用，因為 LLM 能處理動態內容同 JavaScript 渲染後嘅元素。
另外，工具內建咗網頁預處理功能，自動移除廣告、導航欄等無關元素，只餵畀 LLM 核心內容，減低 token 消耗同提高準確率。呢種智能過濾喺同類開源項目中比較少見，幫用戶節省咗不少調試時間。
CLI 命令列介面快速部署同批量處理
llm-scraper 以 Python 開發，主要透過 CLI 命令運作，例如 llm-scraper --url https://example.com --model gpt-4o --schema product_info，幾秒內就輸出結構化結果。佢支援批量模式，一次處理多個 URL，適合大規模數據收集任務。安裝只需 pip install llm-scraper，依賴少，喺 Linux、macOS 或 Windows 環境下都能順暢運行。
開發者仲可以將其整合到自家 workflow，例如連動 Airflow 或 Scrapy pipeline，自動化整個提取流程。GitHub 倉庫提供詳細 README 同範例，包含常見錯誤排除，讓新手快速上手。
開源許可容許自由修改同貢獻代碼
呢個項目採用 MIT 許可，Stars 同 Forks 顯示社群興趣濃厚，用戶可以 fork 倉庫自訂功能，例如新增模型支援或優化提示模板。最新 commit 記錄顯示作者積極維護，包含 bug 修復同性能提升。對於想深入客製化嘅工程師，呢點提供咗極大彈性，遠勝商業 SaaS 工具嘅封閉生態。
總括而言，llm-scraper 將 LLM 嘅自然語言理解能力應用到網頁抓取，解決咗傳統方法嘅局限，成為數據工程領域嘅高效選擇。
產品名稱：llm-scraper
官方網站：https://github.com/mishushakov/llm-scraper
