第一部分：Spark配置教程

软件版本：Hadoop：3.1.3（使用本人制作的虚拟机则版本相同） | Spark：3.0.0（不要使用XMU提供的2.4.0）| Linux：Ubuntu23.04（原版16那个应该也行）

下载地址传送：Index of /dist/spark/spark-3.0.0 (apache.org)

1.在上面的地址中下载Spark3.0.0-bin-without-hadoop.tgz到家目录下，使用tar命令解压到/usr/local文件夹下；然后更改名字为spark；为hadoop用户增加权限；将配置模板文件改名删除【.template】字段，使其成为正式配置文件，编辑配置文件，配置命令如图1所示。

2.编辑配置文件：在空行增加如图2所示的内容。

3.此时可以通过spark目录下的bin/spark-shell直接启动spark，这里会出现两个警告：分别是（1）主机名被解析成127.0.1.1，建议通过虚拟机的静态IP地址进行替换；（2）不能加载本地hadoop库，在可用前使用builtin-java类来替换，警告内容如图3所示。

4.对于警告1，可以在spark-env.sh（图1紫色部分命令处），增加如图4所示的字段，通过指定SPARK_LOCAL_IP=您虚拟机的静态IP地址来解决。

5.对于警告2，可以通过vim /etc/profile ，增加如图5所示的字段，通过指定hadoop库文件路径来解决。

6.完成第5步后，使用source /etc/profile进行文件编译，使其配置生效。此时重新运行 spark/bin/spark-shell，重新启动spark shell，可以发现警告已经被解决，如图6所示。

7.安装sbt：先安装curl组件：sudo apt install curl 然后复制如下命令：

echo "deb https://repo.scala-sbt.org/scalasbt/debian all main" | sudo tee /etc/apt/sources.list.d/sbt.list

echo "deb https://repo.scala-sbt.org/scalasbt/debian /" | sudo tee /etc/apt/sources.list.d/sbt_old.list

curl -sL "https://keyserver.ubuntu.com/pks/lookup?op=get&search=0x2EE0EA64E40A89B84B2DF73499E82A75642AC823" | sudo apt-key add

sudo apt-get update

sudo apt-get install sbt

如图7所示。

8.完成安装后，输入sbt，会进行sbt的配置，例如下载sbt启动器等，如图8所示；完成下载的结果如图9所示。

9.在spark目录下创建简单文件夹，以便后续使用，创建命令和文件结构如图10所示。

10.在创建好的ch10_shell下创建一个hw1.txt文件，随意输入一些内容用于统计文件行数，参考效果如图11，图12所示。

11.在spark交互界面使用命令进行本地操作，通过命令 val textFile=sc.textFile("file://虚拟机本地文件路径") 创建一个变量textFile，然后使用textFile.count()进行文本行数统计，结果如图13所示。

12.使用 /usr/local/hadoop/sbin/start-all.sh启动hadoop。然后通过mkdir命令和put命令创建一些文件夹，将刚刚创建好的hw1.txt文件上传到hdfs中，命令如图14所示。

13.在spark交互界面使用命令进行hdfs操作，通过 val 自己随便定义变量名=sc.textFile("hdfs路径") 自己随便定义变量名.count() 可以访问hdfs的文件并进行相应操作，命令如图15，图16所示。

[2023-10-03更新]14.如果hdfs读取报错,则需要手动添加hdfs的路径,如图16-1所示,如果hdfs路径被修改过,则需要在hdfs根文件夹前添加hdfs://IP地址:端口号 来解决(具体可以参见您HADOOP的core-site.xml文件).

第二部分：广州商学院大数据应用技术课程实验8报告参考教程内容

一、实验目的

1. 掌握使用Spark访问本地文件和HDFS文件的方法；
2. 掌握Spark应用程序的编写、编译和运行方法。

二、实验仪器设备或材料

• JDK 1.8
• Eclipse 2019-12(R)
• Hadoop 3.3.1(本例使用3.1.3)
• Spark 3.2.0(本例使用3.0.0)
• Sbt 1.5.5(本例使用1.8.2)
• Maven 3.8.3（本例未使用）

三、实验原理

四、实验内容与步骤

1. Spark读取文件系统的数据
2. 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；
3. 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；
4. 编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。
5. 编写独立应用程序实现数据去重:对于两个输入文件A和B，编写Spark独立应用程序（推荐使用Scala语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。
6. 编写独立应用程序实现求平均值问题:每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。

五、实验结果与分析

1. 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

1.1在任意地方创建test.txt(本例名称为hw1.txt),并任意输入内容。参考命令及内容如图1所示。

1.2使用count()属性对本地文件进行行数统计，结果如图2所示。

2.在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

2.1在hdfs上创建一个ch10文件夹；在其子目录下创建input_shell文件夹；使用-put命令将第1步的文件上传，命令如图3所示。

2.2使用count()属性对hdfs的文件进行行数统计，结果如图4所示。

3.编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。

3.1在spark文件夹下创建sparkapps/ch10_scala/src/main/scala 系列文件夹，然后到scala文件夹下，创建HW10_1_CountLine.scala文件，在ch10_scala文件夹下创建HW10_1_CountLine.sbt文件，命令如图5所示。

3.2对于HW10_1_CountLine.scala文件，内容如图6所示，对于HW10_1_CountLine.sbt文件，内容如图7所示；需要注意的是：hdfs路径就是hadoop/etc/hadoop/core-site.xml里面的hdfs文件路径（本例及本人设计的虚拟机为192.168.245.5:9810，同时sbt文件中的scala-version和spark-core版本为2.12.10与3.0.0，您如果使用您自己配置的虚拟机，则改成对应您虚拟机中的版本。下不再赘述）

3.3编辑完成后，使用sbt package进行打包。第一次可能需要很久才能下载完成（如果您不在中国大陆则会非常快），如图8所示（下载了4118秒，即为1小时8分钟38秒）；如果遇到AccessDenied报错，则请将sparkapps文件夹的权限设置为777.

3.4打包完成后，会在target/scala-2.12文件夹看到一个jar文件，如图9所示。

        3.5使用spark-submit(未配置环境变量则在spark的bin目录下)，进行hdfs文件行数统计，可以获得输出结果。参考命令及结果如图10所示。

4.编写独立应用程序实现数据去重

对于两个输入文件A和B，编写Spark独立应用程序（推荐使用Scala语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C.

4.1在scala文件夹下，创建HW10_2_Merge.scala文件，在ch10_scala文件夹下创建HW10_2_Merge.sbt文件，创建文件的命令可参考图5；对于HW10_2_Merge.scala文件，内容如图11所示，对于HW10_2_Merge.sbt文件，内容如图12所示。

4.2删除ch10_scala下的target和project文件夹，删除后的文件夹内容如图13所示。

4.3在hdfs上将实验6的两个数据源复制到ch10/input_merge文件夹下，结果如图14所示。

4.4使用sbt package命令打包后，使用spark-submit --class "HW10_2_Merge" /usr/local/spark/sparkapps/ch10_scala/target/scala-2.12/hw10_2_merge_2.12-1.0.jar 命令对hdfs中的多数据文件进行合并去重，完成后通过cat命令观察生成的新文件，结果如图15所示。

5.编写独立应用程序实现求平均值问题

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。

5.1在ch10_scala文件夹下创建input_avg文件夹，在其下创建三个文件（本例名为Algorithm/Database/Python，文件内容参考如图16所示，并将该文件夹上传到hdfs的ch10文件夹下，命令如图17所示；

5.2在scala文件夹下，创建HW10_3_AvgScore.scala文件，在ch10_scala文件夹下创建HW10_3_AvgScore.sbt文件，创建文件的命令可参考图5；对于HW10_3_AvgScore.scala文件，内容如图18所示，对于HW10_3_AvgScore.sbt文件，内容如图19所示。

5.3删除ch10_scala下的target和project文件夹，删除后的内容如图20所示。

5.4使用sbt package命令打包后，使用spark-submit --class "HW10_3_AvgScore" /usr/local/spark/sparkapps/ch10_scala/target/scala-2.12/hw10_3_avgscore_2.12-1.0.jar 命令对hdfs中的多数据文件进行合并去重，完成后通过cat命令观察生成的新文件，结果如图21所示。

第一部分：Hive配置教程

1.如果您用的是本人发布的虚拟机，您可以直接如图1所示：从家目录直接获得hive安装文件，将其解压到/usr/local文件夹。

2.切换到解压路径下，将解压获得的文件夹更改名称，并赋予hadoop用户权限，操作命令如图2所示。

3.在~/.bashrc文件中添加属于hive的环境变量，因为本教程接续上一个实验，所以只需要更改如图3所示的两个地方即可。

4.切换到hive配置路径下，应用默认配置模板文件，并新建立hive-site.xml配置文件，如图4所示。

5.在配置文件中录入如图5所示内容。注意：此处可以添加关闭SSL连接和设置允许公钥检索，可以减少hive启动时的WARNING警告。

本文件可以从附件3下载，无需改动。

6.请注意，此处实际并非图中步骤，请以文本内容为准！图片仅供参考！将附件2下的mysql-connector-java-8.0.11.tar.gz解压，将获得的jar包复制到hive库文件夹，解压和复制命令与图6-图7同理，再次提醒：不是图中的5.1.40版本，是8.0.11版本！（为什么？因为本机安装的是mysql-server8.0.33版本，mysql的8.0和5.0版本不兼容，操作命令也不相同）。

7.使用service mysql start启动mysql服务。

8.启动完成后，使用sudo mysql -u root -p（然后按两下回车）登录mysql交互界面，成功登录的结果如图8所示。

9.此处因为是mysql8.0版本，授权用户与XMU的mysql5.0命令不相同，如果您的mysql是8.0，以此为准！创建hive用户，并授权其可以访问所有数据库和所有数据表，完成授权后，使用flush刷新权限，操作命令如图9所示。

10.同样也是因为新版的缘故，在使用jdbc连接的时候，5.0版本已经不适用，需要在hadoop文件夹下的库中找到guava-27.0-jre.jar文件，复制到hive文件夹下的库中，并将hive文件夹下的guava-19.0.jar删除，hive才可以正常运行。（这里也走了一个弯路）如图10所示。

11.使用schematool初始化hive，如图11所示。

12.完成初始化后，在终端输入hive即可启动hive，使用show databases;可以查看hive中的数据库，如图12所示，存在一个名为“default”的数据库。

第二部分：广州商学院大数据应用技术课程实验7报告参考教程内容

一、实验目的

1. 理解Hive作为数据仓库在Hadoop体系结构中的角色；
2. 熟练使用常用的HiveSQL语句。

二、实验仪器设备或材料

1. Ubuntu 20.0.4
2. Hadoop 3.3.1
3. Hive 3.1.2
4. JDK 1.8.0_301
5. Eclipse 2019-12(R)

三、实验原理

1. Hive的工作原理
2. Hive的基本操作
3. Hive的基本操作

create：创建数据库、表、视图

drop：删除数据库、表、视图

alter：修改数据库、表、视图

show：查看数据库、表、视图

describe：描述数据库、表、视图

load：向表中转载数据

select：查询表中的数据

四、实验内容与步骤

1.准备：Hive

（1）下载

（2）安装

（3）配置PATH

（4）配置Hive

2.准备：MySQL

（1）安装

（2）测试

（3）JDBC驱动

3.启动Hive

（1）MySQL为Hive创建数据库

（2）MySQL允许Hive接入

（3）启动Hive

（4）可能问题

（5）退出Hive、Hadoop

4.作业

（1）创建内部表

（2）创建外部分区表

（3）从stock.csv文件向stocks表导入数据

（4）创建未分区外部表

（5）为dividends表插入数据

下方作业涉及的数据集可以在附件1获取。

（6）查询IBM（symbol=IBM）从2000年期所有支付股息的交易日的收盘价（price_close）

（7）查询苹果公司在2008年10月每个交易日的涨跌情况

（8）查询stocks表的收盘价比开盘价（price_open）高得最多的那条记录的相关信息18

（9）查询stocks表的苹果公司年平均调整后收盘价（price_adj_close）

（10）查询每年年平均调整后收盘价（price_adj_close）前3名的公司

五、实验结果与分析

（1）创建内部表，命令如图13所示。

（2）创建外部分区表，并查看外部分区表的信息，命令如图14-图15所示。

（3）从stock.csv文件向stocks表导入数据(截图为从dividends.csv向dividends表导入数据，同理)，命令如图16所示。

（4）创建未分区外部表，命令如图17所示。

（5）为dividends表插入数据，此处需要开启动态分区功能，并允许所有分区字段都可以使用设置动态分区，然后将最大可创建动态分区数设置为1000（其实只要大于365就可以了），命令如图18所示。

（6）查询IBM（symbol=IBM）从2000年期所有支付股息的交易日的收盘价（price_close），数据库查询命令如图19所示，结果如图20所示。（因数据集中找不到IBM的字段信息，故本教程使用IBCPO字段代替）

（7）查询苹果公司在2008年10月每个交易日的涨跌情况：数据库查询命令和结果如图21所示。

（8）查询stocks表的收盘价比开盘价（price_open）高得最多的那条记录的相关信息，数据库查询命令和结果如图22所示。

（9）查询stocks表的苹果公司年平均调整后收盘价（price_adj_close）数据库查询命令如图24所示，结果如图25所示。

（10）查询每年年平均调整后收盘价（price_adj_close）前3名的公司，数据库查询命令如图26所示，结果如图27所示。

附件下载

1. 通过实验掌握基本的MapReduce编程方法；
2. 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。

二、实验仪器设备或材料

1. Ubuntu 20.0.1
2. Hadoop 3.3.1（至少完成伪分布模式）
3. JDK 1.8.0_301
4. Eclipse 2019-12(R)

三、实验原理

Map函数+Reduce函数+Shuffle过程

四、实验内容与步骤

1.Java API编程实现文件合并和去重操作

(1)输入

(2)处理

(3)输出

2.Java API编程实现对输入文件的排序6

(1)输入

(2)处理

(3)输出

3.Java API编程实现对给定的表格进行信息挖掘10

(1)输入

(2)处理

(3)输出

五、实验结果与分析

0.本教程第1-5步为Java API编程实现文件合并和去重操作；7-10步为Java API编程实现对输入文件的排序；12-15步为Java API编程实现对给定的表格进行信息挖掘。相关输入文件和类文件请至附件下载。

1.启动hadoop和hbase，命令和结果如图1所示。

2.在家目录下创建两个输入源文件，这里以ch701.txt和ch702.txt，两个文件内容可以在实验指导书中获取，也可以自己自定义文本内容，从实验指导书获取的文本如图2所示。

3.在hdfs上创建本例实验文件夹，然后将两个文件上传到实验文件夹内，操作命令如图3所示。

4.创建名为Merge的类文件，代码可以从实验指导书中获取，编译完成后导出为可运行的JAR文件，导出操作步骤如图4-图5所示，导出完成后，使用hadoop的jar命令调用相应的jar包进行数据处理，命令如图6所示。

5.执行完成后，在hdfs上使用cat命令回显输出结果的文件夹，显示已经成功去除了重复的数据项，如图7所示。

6.接下来的内容为Java API编程实现对输入文件的排序。

7.在家目录下创建三个输入源文件，这里以ch703.txt、ch704.txt、ch705.txt为例子命名，三个文件内容可以在实验指导书中获取，也可以自己自定义文本内容，从实验指导书获取的文本如图8所示。

8.创建名为MergeSort的类文件，如图9所示；代码可以从实验指导书中获取，编译完成后导出为可运行的JAR文件，导出操作步骤可参考图4-图5的内容，导出结果界面如图10所示。

9. 在hdfs上创建本例实验文件夹，然后将三个文件上传到实验文件夹内，操作命令如图11所示；导出完成后，使用hadoop的jar命令调用相应的jar包进行数据处理，命令如图12所示。

10.执行完成后，在hdfs上使用cat命令回显输出结果的文件夹，显示已经成功进行文本排序操作，如图13所示。

11.接下来的内容为Java API编程实现对给定的表格进行信息挖掘。

12.在家目录下创建输入源文件，这里以input_mining.txt为例子命名，文件内容可以在实验指导书中获取，也可以自己自定义文本内容(满足类似child parent格式需求就可以了)，从实验指导书获取的文本如图14所示。

13.创建DataMining类文件，大致代码如图15所示，文件的导出打包可以参见本例前序步骤。

14.在hdfs上创建本例实验文件夹，然后将文件上传到实验文件夹内，操作命令如图16所示；导出完成后，使用hadoop的jar命令调用相应的jar包进行数据处理，命令如图17所示。

15.执行完成后，在hdfs上使用cat命令回显输出结果的文件夹，显示已经成功进行了数据关系挖掘，如图18所示。

附件下载

1. 通过实验掌握基本的MapReduce编程方法；
2. 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。

二、实验仪器设备或材料

1. Ubuntu 20.0.1
2. Hadoop 3.3.1（至少完成伪分布模式）

• JDK 1.8.0_301
• Eclipse 2019-12(R)

三、实验原理

首先，在Linux系统本地创建两个文件，即文件wordfile1.txt和wordfile2.txt。在实际应用中，这两个文件可能会非常大，会被分布存储到多个节点上。但是，为了简化任务，这里的两个文件只包含几行简单的内容。需要说明的是，针对这两个小数据集样本编写的MapReduce词频统计程序，不作任何修改，就可以用来处理大规模数据集的词频统计。

文件wordfile1.txt的内容如下：

I love Spark

I love Hadoop

文件wordfile2.txt的内容如下：

Hadoop is good

Spark is fast

假设HDFS中有一个/user/hadoop/input文件夹，并且文件夹为空，请把文件wordfile1.txt和wordfile2.txt上传到HDFS中的input文件夹下。现在需要设计一个词频统计程序，统计input文件夹下所有文件中每个单词的出现次数，也就是说，程序应该输出如下形式的结果：

fast  1

good   1

Hadoop   2

I    2

is   2

love   2

Spark   2

四、实验内容与步骤

1.输入

2.处理

（1）Map的处理逻辑

（2）Reduce的处理逻辑

（3）main()测试

3.输出

（1）编译打包

（2）运行jar

五、实验结果与分析

1.创建文件wordfile1和wordfile2两个文件，命令如图1所示。

2.在两个文件中输入一些文本，这里以实验要求文本为要求，回显文件内容如图2所示。

3.在Eclipse中新建一个WordCount的类，然后通过JAVA API编程进行打包（代码可至文末附件下载）。上传到Hadoop服务容器内，代码部分内容如图3所示。

4.通过dfs命令删除Hadoop容器内的input output文件夹，重新创建input文件夹（这里也可通过删除input下所有文件完成），上传wordfile1,wordfile2到input文件夹。最后通过调用本地创建好的Jar包文件读取input文件夹中文件内容进行词频统计，结果输出到output文件夹中（如果已有同名文件夹，会输出失败），过程命令如图4所示。

5.使用cat命令回显output文件夹下的内容，可见成功完成词频统计。如图5所示。

附件下载

第一部分-Hbase配置教程

0.如果您用的是我制作的虚拟机镜像，或者是从周老师那获得的UbuntuKylin16.04的虚拟机镜像，您可以跟着此教程完成，否则，请您先下载hbase-2.2.2-bin.tar.gz到home目录下，并跟着之前的教程完成hadoop的配置，才可以跟着此教程完成配置。

1.在hadoop用户的家目录下，打开终端，输入tar命令解压hbase2.2.2，并进行赋予权限和改名的操作，最后将其移动到/usr/local/文件夹下，参考命令如图1所示。

2.（可选，偷懒可以跳过）使用vim ~/.bashrc编辑环境变量，在PATH下加入hbase文件夹的bin路径，路径内容可参考图2进行配置。完成配置后，使用source命令编译环境变量文件，并尝试输入 hbase version查看版本号，如果配置正确，hbase会回显正确版本号，如图3所示。

3.编辑hbase环境文件，命令如图4所示。

4.移除28，31，126，139行注释，并正确配置28，31行的路径，具体路径可以参考图5内的路径显示。

5.返回hadoop的core-site.xml,记住namenode配置的ip地址和端口号，方便后续使用，命令如图8所示，需要记住的内容如图9所示。

6.编辑hbase-site.xml，命令如图10所示，修改configuration中的内容如图11所示。

7.启动hadoop和hbase，启动完成后使用jps查看进程，如果配置正确，应该会看到Hmaster服务。如图12所示。

8.使用 /usr/local/hbase/bin/hbase shell 进入hbase的shell，尝试创建一个数据库，名称为teacherLXH，如果创建成功，会回显创建完成的提示。具体命令如图13所示。

9.使用Eclipse进行数据库新建和添加数据操作：可以用之前的HDFS1项目，新建一个类。代码可以从附件下载，也可以在HBase2.2.2安装和编程实践指南_厦大数据库实验室博客 (xmu.edu.cn)复制ExampleForHBase.java处的代码指令，复制完成后，修改地址和端口号为图9处显示的内容，代码区域如图14所示。

10.此时代码会有很多报错，是因为没有导入hbase的jar包。在HDFS1项目右键属性，进入Java Build Path，在Libraries处导入包，点击“Add External JARs”，进入到“/usr/local/hbase/lib”目录，选中该目录下的所有jar文件（注意，不要选中client-facing-thirdparty、ruby、shaded-clients和zkcli这四个目录），然后，点击界面底部的“OK”按钮。然后再到client-facing-thirdparty文件夹下选中该目录下所有jar文件。如图15所示

11.导入完成后，执行代码（Run as Java Application），可以正确在hbase创建一个student数据库并添加一些数据，如图16所示。

第二部分-实验4

（此部分内容建议您先完成第一部分内容再进行参考）

一、实验目的

a)    理解HBase在Hadoop体系结构中的角色。

b)    熟练使用HBase操作常用的shell命令。

c)    熟悉HBase操作常用的Java API。

二、实验仪器设备或材料

a)    Ubuntu 20.0.4

b)    Hadoop 3.3.1

c)    HBase 2.4.6

d)    JDK 1.8.3

e)    Eclipse R（2019-12）

三、实验原理

HBase是一个分布式的、面向列的开源数据库，源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站http://hbase.apache.org。

HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。

a)    单机模式：在一台计算机上安装和使用HBase，不涉及数据的分布式存储；

b)    伪分布式模式：在一台计算机上模拟一个小的集群；

c)    分布式模式：使用多台计算机实现物理意义上的分布式存储。

这里出于学习目的，我们只重点讨论单机模式和伪分布式模式。

四、实验内容与步骤

1.使用HBase Shell命令完成以下功能

1)    创建表student（行键为sid）

2)    为表student增加数据（数据类型为字符串）

3)    为表student修改数据（数据类型为字符串）

4)    查看student表的数据

5)    为表teacher删除数据

6)    为teacher表清空数据

7)    查看HBase数据库中所有的表

8)    删除teacher

2.使用JAVA API编程完成以下功能

1)    createTable(String tableName, String[] fields)

2)    addRecord(String tableName, String row, String[] fields, String[] values)

3)    scanColumn(String tableName, String column)

4)    modifyData(String tableName, String row, String column, String value)

5)    deleteRow(String tableName, String row)

6)    测试main()

五、实验结果与分析

1.使用HBase Shell命令完成以下功能

1)    创建表student（行键为sid）

2)    为表student增加数据（数据类型为字符串）

3)    为表student修改数据（数据类型为字符串）

4)    查看student表的数据

5)    为表teacher删除数据

6)    为teacher表清空数据

7)    查看HBase数据库中所有的表

8)    删除teacher

2.使用JAVA API编程完成以下功能

1)    createTable(String tableName, String[] fields)

2)    addRecord(String tableName, String row, String[] fields, String[] values)

3)    scanColumn(String tableName, String column)

4)    modifyData(String tableName, String row, String column, String value)

5)    deleteRow(String tableName, String row)

6)    测试main()

附件下载

1题目：本地机eclipse链接虚拟机伪分布集群hadoop进行开发（10分）

说明：

1）本作业作为课堂表现加分项目，完成+10，自愿参与；

2）可参考超星平台“资料”-->“***软件”中的相应文档,以及首页课程视频 2.1 或  https://www.bilibili.com/video/BV1ZY4y1C7cV/?vd_source=4e2a2c6e225cdb4b611a9f728016773f

3)提交作业只需要截取本地机eclipse运行案例结果即可（5.0分）

参考步骤

1.通过ifconfig观察虚拟机IP，如图1所示。

2.编辑Hadoop的core-site.xml文件，命令如图2所示；编辑内容参考图3。

3.下载Eclipse（本例使用2019版本进行演示）：

https://archive.eclipse.org/technology/epp/downloads/release/2019-06/R/eclipse-jee-2019-06-R-win32-x86_64.zip

4.解压后打开，将从学习通上下载的hadoop-eclipse-plugi.jar放到eclipse的plugins目录下，如图4所示。

5.也从学习通上下载hadoop-3.1.3.tar.gz文件，解压到任意目录（本例解压到下载目录下，如图5所示）

6.打开eclipse，在Window-Preferences面板左侧找到Hadoop Map/Reduce，路径选择您刚刚解压的文件夹路径，操作过程如图6-图7所示。

7.然后点击apply and close按钮保存关闭。

8.在Window-Show View-Other选中MapReduce Tools的下拉列表，选中Map/Reduce Locations 打开，如图8-图9所示。

10.完成后会在Eclipse界面下方出现Map/Reduce Locations界面，右键点击New Map/Reduce Location，然后分别设置Location name；Host；Port；User name为您的虚拟机中的参数，如图10所示。

11.如果你的FileExplorer里面没有项目，就新建一个，确保DFS Locations可以正常显示。如图11-13所示。

12.新建完成后，Project Explorer会有您的项目，此时如果没出现DFS Locations列表的话，点击右上角窗格图标，选择Map/Reduce，此时应该可以正确显示，如图14所示。

13.本次教程至此完成。

写在前面：本文教程图片和描述文字（除部分文字外）为李星海创作。配置均在实机进行。
本教程适用于【广州商学院】【2020级】【信息技术与工程学院】【计算机科学与技术（专升本）】【2022-2023学年第2学期】《大数据应用技术》课程环境。
参考资料：
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
Ubuntu (Kylin) 16.04 换源阿里云_ubuntukylin源_Pou光明的博客-程序员宝宝

0.前置准备环境：将提供的软件安装包下载到本机，本教程中以放到D盘的【DSJSOFT】文件夹为例，如图1所示。

1.在VMware新建虚拟机，读取文件夹下的ubuntukylin安装镜像文件，如图2所示。

2.指定Linux全名，用户名，密码（密码为jk2005），如图3所示。

3.指定安装大小，这里建议40G，如图4所示。

4.确保网络适配器处于“NAT”模式，如图5所示。

5.进入安装过程，此处等待20分钟左右，耐心等就好，会自动进入桌面，如图6所示。

6.完成安装之后，就显示了刚刚创建的账户，通过点击GZSXY进行登录，如图7-图8所示。

7.指定root账户密码，如图9所示。

8.设置系统环境为中文，在终端输入指令 dpkg-reconfigure locales，使用tab切换到语言选项界面，找到en_us.utf-8 使用【空格】将*号取消。如图10所示。

9.找到zh_cn.gbk 和zh_cn.utf-8，使用【空格】选中，如图11所示。

10.完成后，使用tab切换到<ok>，按【enter】，进入下一界面，使用↑↓找到【zh_cn.utf-8】按【enter】选中，如图12所示。

11.重启虚拟机，使配置生效

12.重启之后，在弹出的软件源更新提示选择【不更新】，同时为了配置方便，在文件夹命名选项选择【keep old names】。如图13所示

13.先使用【apt update】更新源，然后使用【apt install vim】安装vim编辑器，这里使用默认源，如图14所示。

14.完成vim编辑器的安装后，进行换源操作：输入【vim /etc/apt/source.list】，编辑源文件，将原有源使用【#】注释或者删除全部内容，然后将阿里云源粘贴到文件中。

deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse 

deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse 

deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse 

deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse 

15.对于14步的操作，完成后的源文件内容如图15所示。

16.使用【apt update】命令更新源，然后输入【apt install ssh】安装ssh服务，如图16所示。

17.添加hadoop用户，使用【useradd -m hadoop -s /bin/bash】完成新建hadoop用户，使用【passwd hadoop】设置密码，使用【adduser hadoop sudo】将其添加到管理员组，命令操作过程如图17所示。

18.使用【su hadoop】或切换用户方式（推荐），切换到hadoop用户后，使用【ssh localhost】完成ssh初次启动，通过命令【cd ~/.ssh/】【ssh-keygen -t rsa】【cat ./id_rsa.pub >> ./authorized_keys】添加自动登录，如图18所示。

19.通过【ifconfig】查看虚拟机IP地址。使用Xshell软件对其进行连接，配置界面如图19所示。

20.点击图19的【连接】按钮后，弹出用户名和密码，这里输入创建的hadoop用户及密码，如图20-21所示。

21.如果输入内容都正确，则此时会连接上Ubuntu，终端显示为hadoop用户，如图22所示。

22.将图1中的【tar.gz】后缀复制到hadoop的家目录下，然后使用

1. cd ~
2. tar -zxf hadoop-3.1.3.tar.gz -C /usr/local
3. cd /usr/local/
4. mv ./hadoop-3.1.3/ ./hadoop
5. chown -R hadoop ./hadoop

命令解压并配置hadoop，如图23所示。

23.将目录切换到【/usr/lib】下，创建存放JDK的文件夹，返回主目录，解压JDK文件到存放JDK的文件夹下，命令组如下所示，操作过程如图24所示。

1. cd /usr/lib
2. mkdir jvm
3. cd /home/hadoop
4. tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm

24.使用【vim ./.bashrc】编辑bashrc文件,在头部空行增加如下内容，完成结果如图25所示。

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

25.使用source ~/.bashrc 编译文件，然后通过输入【java -version】查看java版本，如果之前的步骤都正确进行，可以显示java版本号，如图26所示。

26.切换到hadoop目录，使用【./bin/hadoop version】查看hadoop版本，如果前面的步骤均正确配置，可以显示hadoop的版本号，如图27所示。

27.通过运行grep实例，将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中，如图28所示。

28.执行成功后显示dfsadmin出现了一次，如图29所示。

29.下面通过配置xml文件对Hadoop进行伪分布式配置

30.Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。使用命令【vim ./etc/hadoop/core-site.xml】修改配置文件 core-site.xml，修改结果如图30所示。

31.使用命令【vim ./etc/hadoop/hdfs-site.xml】修改文件，修改结果如图31所示。

32.执行NameNode格式化，如图32所示。

33.使用命令【./sbin/start-dfs.sh】开启namenode和datanode守护进程，结果如图33所示。

34.可以通过浏览器访问【http://虚拟机地址:9870】查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。如图34所示。

35.要使用 HDFS，首先需要在 HDFS 中创建用户目录【./bin/hdfs dfs -mkdir -p /user/hadoop】，接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input【./bin/hdfs dfs -mkdir input 】【./bin/hdfs dfs -mkdir input】。复制完成后，可以通过【./bin/hdfs dfs -ls input】命令查看文件列表，命令过程如图35所示。

36.通过执行hadoop伪分布式运行，对结果再次进行验证，命令如下所示，结果如图36所示。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'

37.将结果取回本地的./output目录，并使用cat命令进行显示，操作过程和结果如图37所示。

38.使用【./bin/hdfs dfs -rm -r output】  删除 output 文件夹，使用【./sbin/stop-dfs.sh】停止hadoop，使用【./sbin/start-dfs.sh】启动hadoop（要求在hadoop安装目录下），如图38所示。

39.此处开始是配置Eclipse，因为不算难，所以放到一起来写。

40.解压Eclipse软件，然后在刚刚创建的【/usr/lib/jvm/jdk1.8.0_162/jre/bin】目录下将jre复制到eclipse的jre中，双击eclipse齿轮图标，即可正常启动。如图39所示。

环境配置可以提供技术支持和指导：

对于【计科2005】班：免费完全技术支持

对于【其他】班：免费有限技术支持或付费完全技术支持