基于从高校众多的信息系统中采集海量数据，并从中挖掘出对学生行为管理有用知识的目的，本文采用了文献研究法、个案研究法及实证研究法，通过研究相关文献、技术文档，和系统设计案例，结合实际情况设计和实现一个基于Hadoop生态技术的学生行为预警平台系统，得出了使用Hadoop大数据技术实现学生行为预警平台来提高学生行为管理工作具有可行性的结论。
2022-10-11 14:19:09
2.28MB
1
为了提高大数据环境下的数据挖掘速度，对分布式计算构架Hadoop进行分析与研究，提出一种基于Hadoop平台的大数据关联规则挖掘算法MRPrePost。该算法在PrePost算法基础上改进而来，采用Hadoop平台降低分布式编程的难度且易于管理，通过一种自底向上的深度优化策略改进PrePost算法，降低内存开销，同时采用负载均衡的分组策略，来提高并行算法的性能，最终试验表明，该算法运行速度快，适应大数据关联规则挖掘。
2022-06-28 21:15:14
752KB
1
针对我国大学生群体的舆情管理需求，文中设计了功能完备的舆情信息监控系统。该系统由数据采集、数据处理、话题发现、舆情分析四个模块组成。基于Hadoop技术设计了系统的数据采集和数据处理模块，架构了数据存储的Hdfs分布式文件管理体系，实现了舆情数据信息的高效存储；使用云计算中的MapReduce编程模型和语义分析算法实现了话题发现与舆情分析模块，从而完成对舆情数据信息的分析。经测试，该系统运行稳定、数据分析精准且便于部署，可以实现舆情监控管理的需求。
2021-04-21 23:59:58
1.73MB
1
为了维护云服务器及各种云计算服务的稳定运行，在云计算技术和云监控技术的基础上，设计了基于Hadoop的分布式监控平台系统。通过对Hadoop技术的研究，着重对应用服务器的进程、站点及日志进行监控设计，利用云监控和大数据分析技术对采集的监控数据进行分析提供异常、报警等分析服务，为云平台用户提供稳定的云监控。
2021-01-28 22:15:22
871KB
1
基于大数据背景下海量数据人们无法理解，聚类效率低下等问题，采用MapReduce编程模型将Canopy聚类算法和K-means聚类算法在云环境中相结合，使之能够充分利用Hadoop集群的计算和存储能力。以淘宝网上海量的购买用户聚类作为应用背景，通过使用Hadoop平台的数据挖掘组件Mahout对用户聚类进行了实例研究，并给出了使用Mahout进行挖掘的一般步骤。结果表明，基于MapReduce的聚类算法在大规模数据集上具有较好的聚类质量和运行速度。
2021-01-28 02:33:34
1.3MB
1