专利名称：分布式爬虫实现方法和装置专利类型：发明专利
发明人：任亮,傅雨梅,徐林,文齐辉申请号：CN202011573515.2申请日：20201225公开号：CN112597372A公开日：20210402
摘要：本发明提供了一种分布式爬虫实现方法和装置，涉及爬虫应用技术领域，包括创建爬虫任务，并根据爬虫任务中的采集任务和解析任务分别确定对应分布的部署节点，其中，爬虫任务包括至少一个；启动爬虫任务，基于预先确定的警告规则和质量检测规则分别对采集任务和解析任务进行监控；若监控状态异常，则发出警告，并重新对爬虫任务进行分布部署；若监控状态正常，则持续运行爬虫任务，并将爬取数据写入数据库，通过分布式节点部署，在提高多个爬取任务速度的同时，还对爬取任务的状态进行监控，同时保证数量和质量。
申请人：北京知因智慧科技有限公司
地址：100000 北京市西城区德胜门外大街13号院1号楼9层905室
国籍：CN
代理机构：北京超凡宏宇专利代理事务所(特殊普通合伙)
代理人：张萌
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容