豆瓣电影评论爬取+情感分析+词云 注意未登录的豆瓣账号(不填写Cookie,只能爬取200条评论,登陆后填写可以爬取500条) 运行该项目需要调整好main.py中的参数,直接运行即可
2021-06-23 19:07:33 378KB 情感分析 词云 豆瓣电影
爬取豆瓣影评、清洗、jieba分词、做词云图 本程序主要分为3个过程。 1、抓取网页数据 使用Python爬虫技术获取豆瓣电影中最新上映电影的网页,其网址如下: https://movie.douban.com/cinema/nowplaying/qingdao/ 正在上映的电影 每个电影的ID和名称 通过其HTML解析出每部电影的ID号和电影名,获取某ID号就可以得到该部电影的影评网址,形势如下: https://movie.douban.com/subject/26900949/comments https://movie.douban.com/subject/26871938/comments 其中,26900949、26871938就是电影《天使陷落》、《灭绝》的ID号,这样仅仅获取了20哥影评,可以指定开始号start来获取更多影评,例如: https://movie.douban.com/subject/26900949/comments?start=40&limit=20 这意味着获取从第40条开始得20个影评。 2、清理数据 通常将某部影评信息存入eachCommentList列表中。为便于数据清理和词频统计,把eachCommentList列表形成字符串comments,将comments字符串中的“也”“太”“ 的”等虚词(停用词)清理掉后进行词频统计。 3、用词云进行展示 最后使用词云包对影评信息进行词云展示。
2021-06-23 19:07:33 9.91MB jieba 清洗 词云图 豆瓣影评
2种不同方式的词云图,可以直接使用的资源
2021-06-23 16:04:36 79KB canvas css
1
bilibili弹幕分析,包含爬虫、词云分析、词频分析、情感分析、构建衍生指标,可视化 **** **主要依赖库** > selenium > pandas > lxml > json > requests > pyecharts > jieba > snownlp > wordcloud **信息爬取**   1.1 爬取bilibili某一个分区(可通过url定义)特定日期下按照视频热度降序排序的视频信息,包含:href、视频时长、名称、BV号、播放量、弹幕数、up主、up主id   1.2 通过BV号获取视频评论Cid,解析xml网页,简单获取各个视频的弹幕内容(注意:条数有限制,xml的弹幕条数不超过1000条)   1.3 通过up主id,获取up主在爬取时的粉丝数,此粉丝数可以精确到个位数   1.4 通过BV好获取视频评论Cid,获取详细的弹幕内容,包括:弹幕出现时间、弹幕模式、字号、弹幕颜色、弹幕池、发送者加密id、弹幕id **数据分析--词云**   2.1 全区弹幕词云分析,可以通过自己编写剔除单字、去除停用词、调整分词模型进行优化   2.2 分频道弹幕词云分析 **数据分析--弹幕条数**   3.1 分析全区弹幕前十视频,使用pyecharts柱状图进行可视化   3.2 分析各频道平均/最高视频弹幕数 **数据分析--指标构建**   构建指标:互动指数:弹幕数 / 播放量 * 100               粉丝响应指数:up主粉丝数 / 播放量   4.1 全区互动指数最高前十视频   4.2 各频道最高/平均互动指数   4.3 全区粉丝响应指数最高前十视频   4.4 各频道最高/平均粉丝响应指数 **数据分析--情感分析**   5.1 分析全区所爬取的所有视频的所有弹幕的情感分布情况,获取总体情感指数印象   5.2 分析各个视频的情感分析,对每一条弹幕进行情感分析,输出弹幕的情感分析指数Excel表   5.3 分析各个频道的情感分析指数分布图
2021-06-22 19:18:59 25.68MB bilibili 词云分析 爬虫 词频分析
这可以用来做词频词云分析素材。分析红楼梦中人物出场频率,前八十回和后四十回的风格有什么差异,是不是曹雪芹一人完成。
2021-06-21 14:56:19 2.52MB 词频词云分析素材
1
见习报告一份数据来自狗熊会。做了词云分析、回归分析。内置R语言代码。 版权声明:代码下载只能自己学习使用,切勿用于商业用途,违者必究。
2021-06-21 08:36:26 724KB R语言案例 词云图 文本分析 统计分析
1
使用selenium对Boss直聘进行爬虫,将工作信息(岗位头衔、薪资、地点、经验要求、学历要求、公司名称、所属行业、融资情况、人员规模、岗位详情)使用MongoDB存储到本地数据库中 筛选符合要求的工作,保存对应的岗位要求 对所有岗位要求分词,并生成词云
2021-06-18 18:04:17 314KB python Boss
用宋浩老师的视频爬取弹幕数据,然后做成词云显示
2021-06-17 09:02:11 2KB python 词云 爬虫 b站
1
主要介绍了Python简单实现词云图代码解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2021-06-16 16:45:49 99KB Python 简单实现 词云图 代码
1
wordscloud.jar 根据关键词生成词云
2021-06-14 19:15:21 13KB 词云 关键词
1