ipfscrawl IPFS搜寻器 非常简单的IPFS搜寻器，可以了解IPFS的运行情况，并可以进行学习。 这是一个非常通用的libp2p-kad-dht搜寻器实现。 它通过定期发送针对随机散列的FIND_NODE请求来在DHT上爬行。 对等方通过CloserPeers进行回复，然后我们将其连接到该对等方，因此重复此过程。 该履带在较低的级别上运行，以提高效率和灵活性。 配置 我们启动了许多主机，以便获得许多不同的peerID。 我们还可以更改保持与每个对等方保持连接的最长时间，以及发送FIND_NODE和PING消息的频率。 跑步 go run . 输出数据 进行爬网时，将创建几个输出文件。 所有都是csv文件，其初始字段为unixtimestamp。 定期（默认为1小时）更改输出文件。 文件名 领域 对等信息 peerID_from，new_peerID，multiaddr

zxgkScrawler 中国执行信息公开网爬虫

房间出租 用Python爬取安居房间源信息，并用高德地图进行可视化 脚本介绍 crawl_renting_info.py利用从相应租房网站上爬取租房信息，解析后存储到数据库中，同时同时将过程中的信息以日志的形式写入crawl_logger.log analyse_renting_info.py使用从数据库中读取出爬取的租房信息的地址，通过调用高德地址编码API转换为经纬度，替换转换错误以及地址本身有问题的数据，最后将有效的经纬度更新到内部的数据集合中，同时同时将过程中的信息以日志的形式写入analyse_logger.log export_renting_info.py用于将数据库中包含有

SQL注入检测工具Scrawlr

使用python爬取某租房网站信息，然后利用高德API 进行位置显示、路径规划。本实验参考实验楼实验。