一、实验目的 1. 理解Hive作为数据仓库在Hadoop体系结构中的角色。 2. 熟练使用常用的HiveQL。 二、实验平台 1. 操作系统:Ubuntu18.04(或Ubuntu16.04)。 2. Hadoop版本:3.1.3。 3. Hive版本:3.1.2。 4. JDK版本:1.8。 三、数据集 由《Hive编程指南》(O'Reilly系列,人民邮电出版社)提供,下载地址: https://raw.githubusercontent.com/oreillymedia/programming_hive/master/prog-hive-1st-ed-data.zip 备用下载地址: https://www.cocobolo.top/FileServer/prog-hive-1st-ed-data.zip 解压后可以得到本实验所需的stocks.csv和dividends.csv两个文件。 在大数据处理领域,Hive是一种基于Hadoop的数据仓库工具,它允许用户使用SQL类的语言(称为HiveQL)对大规模数据进行分析和处理。在这个实验中,我们将深入理解Hive的角色以及如何执行基本操作。 Hive在Hadoop生态系统中的角色是作为一个数据仓库接口,它简化了对分布式存储的大数据进行查询和分析的过程。Hive将复杂的MapReduce任务转化为简单的SQL查询,使得非Java背景的分析师也能轻松地处理大数据。 实验平台包括Ubuntu操作系统、Hadoop 3.1.3、Hive 3.1.2和JDK 1.8。这些组件共同构成了一个支持大数据处理的基础架构。 实验主要分为以下几个步骤: 1. 创建内部表`stocks`,它包含了关于股票交易的信息,如交易所、股票代码、交易日期、开盘价、最高价、最低价、收盘价、交易量和调整后的收盘价。内部表的数据存储在HDFS上,由Hive完全管理。 2. 创建一个外部分区表`dividends`,该表用于存储股息信息,包括交易日期、股息金额、交易所和股票代码。分区表的好处在于可以根据分区字段快速定位数据,提高查询效率。 3. 导入数据到`stocks`表,这是通过LOAD DATA命令实现的,将csv文件的数据加载到Hive表中。 4. 创建未分区的外部表`dividends_unpartitioned`,然后从csv文件导入数据。外部表的元数据由Hive管理,但数据本身的位置由用户指定,这使得数据可以独立于Hive存在。 5. 利用Hive的自动分区功能,将`dividends_unpartitioned`表中的数据按特定条件插入到`dividends`的各个分区中,这样可以优化查询性能。 6-10. 这些步骤涉及到各种查询操作,包括: - 查询IBM公司从2000年起的股息支付记录。 - 查询苹果公司2008年10月的涨跌情况。 - 查找收盘价高于开盘价最多的股票记录。 - 查询Apple公司年平均调整后收盘价超过50美元的年份及价格。 - 找出每年年平均调整后收盘价前三的股票代码和价格。 通过这些操作,我们可以熟练掌握HiveQL的基本语法,如CREATE TABLE、LOAD DATA、INSERT INTO、SELECT等,以及如何利用Hive进行数据分区和复杂查询。此外,实验也强调了Hive在大数据分析中的实用性,特别是在处理大量历史交易数据时,能够提供高效的数据查询和分析能力。 实验总结指出,通过实际操作,我们不仅了解了Hive在大数据处理中的核心功能,还掌握了如何利用Hive进行数据导入、查询和分析。这对于理解大数据处理流程,提升数据分析技能,以及在实际工作中应用Hive解决复杂问题具有重要意义。
2025-05-21 10:10:04 1.88MB hadoop hive
1
圆柱管材料的磁导率圆柱管材料的磁导率圆柱管材料的磁导率圆柱管中心的磁场强度H结论:圆柱管内的磁场强度H与圆柱管材料的磁导率成 。金属腔材料的磁导率金属腔材料的磁
2024-06-20 09:21:54 36KB
1
swjtu电子设计自动化(EDA)实验6报告
2024-05-24 14:16:31 5.79MB
1
西南交通大学 机器学习 实验6.docx
2024-03-28 17:33:58 152KB 交通物流 机器学习
1
其中包括几个不同的版本,帮助跑通程序,并且一定可以交上报告
2023-05-15 17:50:45 2.39MB 范文/模板/素材
1
本专栏主要为Java程序设计(基础)实验报告和Java程序设计(进阶)实验报告,基础篇有JAVA环境搭建、Java语言基础、方法和数组、面向对象基础、Java常用类、继承与接口、成员访问控制与异常、JavaFX程序设计、Java输入输出流;进阶篇有反射、泛型、注解、网络编程、多线程、序列化、数据库、Servlet、JSP、XML解析、单例模式与枚举。本专栏主要为Java入门者提供实验参考。
2022-12-16 21:02:10 259KB 文档资料 java 开发语言
1
实验6 HTTP请求、响应及状态管理.ppt
1
实验6 u-boot-2013.01移植.doc
2022-11-04 15:00:42 435KB uboot移植
1
1.创建一个学生管理的应用,基本信息包含学生姓名,班级,学号。采用数据库存储这些信息。 2.应用应该至少包含信息录入和删除功能。 3.数据显示考虑采用ListView。
2022-11-02 17:04:09 11.18MB android android studio
1
mysql表的锁定 mysql数据库的维护 mysql数据库的修复 mysql的数据库安全 mysql的安全设置
2022-11-02 14:00:16 3.38MB 信息系统安全实验
1