基于python的网络爬虫技术，相比于通用的搜索引擎更具有目的性和灵活性，它能根据选定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。而通用的搜索引擎的目标是尽可能将网络覆盖率增大，并且在数据形式复杂的情况下，对于具有一定结构且信息含量密集的数据，往往不能被很好的搜索出来，但这些都可以在网络爬虫技术下得到很好的解决。 本文以SCI论文数据爬取和爬取后的保存及查询为研究，实现了一个基于python的SCI论文爬取及查询系统。本论文还阐述了一些网络爬虫实现的常见问题，包括常用的lxml模块下xpath路径问题、网页信息解析问题、数据保存写入问题、服务器屏蔽ip问题等。还阐述有

针对高校对校园论坛及相关网站上的网络舆情无法实现有效监控、分析及预警等问题，文中研究和设计了一种基于爬虫网络的舆情分析预警系统。该系统首先利用网络爬虫技术对相关网站上感兴趣的原始数据进行爬取，然后通过预处理模块对获取到的数据进行去重、消噪及特征提取，最后利用数据分析的方法实现网络舆情的分析与预警。系统的各项测试结果验证了该系统的可行性，同时表明该系统不仅能够实现预期的基本功能，且可以对获取到的舆情资源进行合理分类及情感色彩分析，辅助管理者作出更优的决策。

针对Python语言的大数据爬取和分析，采用以纯python语言编写爬虫脚本的方式，通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析，得出python爬虫编写中各类问题的解决方法，最后对规范数据做了进一步分析，分析结果为应聘人才做决策提供了有价值的信息。