NewsCrawler

一個用 Python 撰寫的 CNN Business 新聞爬蟲專案。

專案整理後結構

NewsCrawler/
├─ docs/
│  └─ ARCHITECTURE.md
├─ src/
│  └─ news_crawler/
│     ├─ __init__.py
│     ├─ cli.py
│     └─ crawler.py
├─ News/
│  └─ crawler.py                  # 舊路徑相容入口
├─ News Dynamic webpages/
│  ├─ crawler.py                  # 舊路徑相容入口
│  └─ chromedriver.exe            # 舊檔案保留
├─ requirements.txt
└─ README.md

功能

• 抓取 https://edition.cnn.com/business 文章列表
• 解析文章標題、連結、日期
• 進一步抓每篇文章正文
• 以 output/<YYYYMMDD>/YYYYMMDD title.txt 輸出

安裝

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

使用方式

PYTHONPATH=src python -m news_crawler.cli --output-dir output

若你仍使用舊入口：

python News/crawler.py
python "News Dynamic webpages/crawler.py"

兩者都會轉呼叫新的 news_crawler.cli。

注意事項

• CNN 頁面結構可能變動，若 selector 失效需調整 src/news_crawler/crawler.py。
• 請遵守目標網站使用條款與 robots 規範。