📖 技能介紹

name: sec-news-crawler description: | 網路安全新聞爬蟲，每小時自動從多個安全社群 RSS 抓取文章，存入 IMA 筆記。觸發場景：使用者說"抓取安全新聞"、"網路安全日報"、"定時爬取安全資訊"、"安全新聞源管理" 或需要檢視/管理安全新聞爬蟲任務時使用此 skill。

sec-news-crawler

每小時從多個安全社群 RSS 抓取最新文章，按日期合併為每日一篇筆記存入 IMA。

快速執行

# 立即執行一次抓取
bash ~/.openclaw/workspace/skills/sec-news-crawler/scripts/run.sh

# 檢視執行日誌
tail -f ~/.openclaw/workspace/logs/sec_news_cron.log

系統架構

爬蟲指令碼：scripts/crawler.py
RSS 源配置：scripts/crawler.py 內的 RSS_FEEDS 列表
去重庫：data/sec_news_seen.json
Cron：每小時整點執行 scripts/run.sh

工作流程

從各 RSS 源抓取最新文章
僅保留今天/昨天的文章（按釋出日期過濾）
按 URL 去重（同篇文章不重複寫入）
同一天所有文章合併為一篇筆記，標題 📰 網路安全新聞 YYYY-MM-DD
寫入 IMA「Openclaw生成」筆記本

筆記格式

📰 網路安全新聞 2026-03-26（今日）
> 自動抓取 · 更新時間：2026-03-26 18:33 · 共 4 篇文章

1. 文章標題一
   - 來源：嘶吼 | 原文連結
   - 日期：2026-03-26
   - 摘要：...

2. 文章標題二
   - 來源：先知社群 | 原文連結
   ...

管理命令

操作	命令
手動執行一次	`bash ~/.openclaw/workspace/skills/sec-news-crawler/scripts/run.sh`
檢視日誌	`cat ~/.openclaw/workspace/logs/sec_news_cron.log`
檢視上次執行狀態	`cat ~/.openclaw/workspace/data/sec_news_last_run.json`
重置去重庫（重新抓取所有文章）	`rm ~/.openclaw/workspace/data/sec_news_seen.json`
檢視 cron 配置	`crontab -l \\| grep sec_news`
手動觸發 cron	`run-parts /etc/cron.hourly`（系統級）

新增/移除 RSS 源

編輯 scripts/crawler.py，修改 RSS_FEEDS 列表：

RSS_FEEDS = [
    {"name": "嘶吼",     "url": "https://www.4hou.com/feed",     "type": "rss"},
    {"name": "先知社群", "url": "https://xz.aliyun.com/feed",    "type": "rss"},
    {"name": "Seebug",   "url": "https://paper.seebug.org/rss/", "type": "rss"},
]

當前可用 RSS 源

來源	狀態
嘶吼	✅ 穩定
先知社群	✅ 穩定
Seebug Paper	✅ 偶爾

失效源（已移除）： FreeBuf（阿里雲 WAF）、安全客、T00ls、安全脈搏、SecWiki、極速安全、補天、CNVD（521）、Seebug（空資料）

小蔥技能站7w4.net每天更新，海量AI技能等你發現。

漏洞情報爬蟲（vuln_crawler.py）

功能： 每日自動抓取全球漏洞情報（CVE），寫入 IMA 每日漏洞集合系列。英文描述自動翻譯為中文。

智慧翻譯規則

英文內容翻譯為中文時，遵循以下規則：

型別	處理方式	示例
CVE 編號	保留英文，加粗顯示	CVE-2024-1234
元件名	保留英文	apache, nginx, MySQL, WordPress
技術術語	保留英文	RCE, SSRF, XSS, SQL Injection, zero-day
協議名	保留英文	HTTPS, TCP, DNS, OAuth, JWT
產品/平臺	保留英文	Kubernetes, Docker, GitLab
描述性文字	翻譯為中文	The vulnerability allows... → 該漏洞允許...

資料來源（2026-03 實測可用）

來源	型別	狀態	說明
NVD	REST API	✅ 主力	每天 7 次查詢，覆蓋近 7 天所有 CVE
cxsecurity	RSS	✅ 備用	SSL 證書跳過，仍可抓取
安全客	RSS	✅ 備用	國內唯一穩定可用的安全 RSS

不可用來源： CNVD（HTTP 521）、Seebug（空資料）、補天（空白內容）、工信部（DNS 失敗）、CNNVD（無真實 RSS）

執行命令：

IMA_OPENAPI_CLIENTID=... IMA_OPENAPI_APIKEY=... \
MINIMAX_API_KEY=... MINIMAX_GROUP_ID=... \
python3 ~/.openclaw/workspace/skills/sec-news-crawler/scripts/vuln_crawler.py

筆記系列： IMA「漏洞情報」筆記本中，標題格式為 🔐 漏洞情報 YYYY-MM-DD，每天一篇。

去重庫： data/vuln_seen.json（CVE ID 去重） 執行日誌： logs/vuln_cron.log

環境變數

變數	必須	說明
`IMA_OPENAPI_CLIENTID`	是	IMA 筆記憑證
`IMA_OPENAPI_APIKEY`	是	IMA 筆記憑證
`MINIMAX_API_KEY`	是（翻譯）	MiniMax API Key（複用 OpenClaw 配置的 key 即可）

IMA 憑證

需要環境變數（已在 scripts/run.sh 中硬編碼，如需更新：

IMA_OPENAPI_CLIENTID
IMA_OPENAPI_APIKEY

📁 包含檔案 (5 個)

📄 SKILL.md 4.7 KB

📄 _meta.json 135 B

📄 references/rss-sources.md 1.7 KB

📄 scripts/crawler.py 10.5 KB

📄 scripts/vuln_crawler.py 24.1 KB

網路安全情報爬蟲