使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现, 爬虫状态显示使用graphite实现。这个工程是我对垂直搜索引擎中分布式网络爬虫的探索实现，r， 将其网站的书名，作者，书籍封面图片，书籍概要，原始网址链接，书籍下载信息和书籍爬取到本地：分布式使用redis实现，redis中存储了工程的request，stats信息，能够对各个机器上的爬虫实现集中管理，。
2024-06-28 15:09:25
9.74MB
1
使用Scrapy,Redis,MongoDB实现的一个分布式网络爬虫,底层存储MongoDB,分布式使用Redis实现
2022-05-08 18:23:07
2.94MB
1
基于WEB的分布式网管系统和基于移动代理的分布式网管系统，并分析和讨论了这两种体系结构在实际应用中的优点和缺点。
2022-04-20 13:26:58
44KB
1
基于分布式网络爬虫的站点分析系统设计与实现，王朴野，，随着互联网的不断发展，网络中可获取的数据量呈爆炸式增长。为了批量的获取网络信息，分析网站架构及内容，网络爬虫技术应运而生
2021-12-03 22:36:17
258KB
1
分布式网络中节点可信度评估方法的研究与仿真，张雅茹，，分布式网络作为分布式环境下网络节点可信评估方法的研究一种新型的网络结构，分布式网络的工作负载承载在网内各节点上，网络中节
2021-10-13 09:32:52
456KB
1
本项目所述系统采用ZigBee构建定位网络和数据网络，其中节点采用以高性能FPGA为核心，配置低功耗CMOS摄像头模组，实现移动物体的定位、跟踪和图象处理及传输功能。系统以智能检测技术确定运动物体所在的敏感区域，激活该区域内节点运行图象处理算法，提取运动物体的准确位置、行为状态，并将图象传输至监控中心。
2021-09-26 20:03:08
103KB
1
西北工业大学网络与分布式实验课源代码.rar
软件与微电子学院课程ssd8网络与分布式实验课的代码，包含实验测试代码
2021-09-10 16:25:13
986KB
1