该文为个人学习笔记,仅供参考。 更多内容关注本人Halo^0博客

服务启动命令

Hadoop

启动全部守护进程

$ start-all.sh
  • HDFS分布式文件系统

    • 在hadoop根目录下执行
    $ sbin/hadoop-daemon.sh start namenode
    $ sbin/hadoop-daemon.sh start datanode
    
    • 配置好全局环境变量,可全局执行。
    $ start-dfs.sh
    
  • YARN

    • 在hadoop根目录下执行

        $ sbin/yarn-daemon.sh start resourcemanager
        $ sbin/yarn-daemon.sh start nodemanager
      
    • 配置好全局环境变量,可全局执行。

        $ start-yarn.sh
      
  • Jobhistory

    在Hadoop根目录下执行

    $ sbin/mr-jobhistory-daemon.sh start historyserver
    

Sqoop

$ bin/sqoop  import  \
--connect jdbc:mysql://master:3306/my_db \
--username root \
--password 123456  \
--table so_detail  \
--columns  "id,product_id,price" \
--hbase-table "sqoop_order"  \
--hbase-create-table  \
--column-family "info"  \
--hbase-row-key "id"  \
-m 1 

Hive

启动元数据服务

Hive目录下启动

bin/hive --service metastore & 

配置好全局环境变量,可全局执行。

$ hive --service metastore & 

启动Hive Shell

Hive目录下启动

$ bin/hive 

配置好全局环境变量,可全局执行。

$ hive 

Zookeeper

  • Zookeeper根目录下启动
$ bin/zkServer.sh start
  • 配置好全局环境变量,可全局执行。
$ zkServer.sh start

HBase

  • HBase根目录下启动

启动hbase进程【HMaster、HRegionServer】

$ bin/start-hbase.sh

启动hbase 的thrift server服务进程 Hue需要通过此服务进行信息交互

$ bin/hbase-daemon.sh start thrift 
  • 配置好全局环境变量,可全局执行。

启动hbase进程【HMaster、HRegionServer】

$ start-hbase.sh

启动hbase 的thrift server服务进程 Hue需要通过此服务进行信息交互

$ hbase-daemon.sh start thrift 

Hue

  • Hue根目录下启动
$ build/env/bin/supervisor 
  • 配置好全局环境变量,可全局执行。
$ supervisor 

所有进程启动后

[hadoop@master sqoop-1.4.6-cdh5.14.2]$ jps
11683 ThriftServer
14119 RunJar
20685 Jps
12046 Main
15120 HRegionServer
10193 ResourceManager
10292 NodeManager
9845 DataNode
9751 NameNode
10649 QuorumPeerMain
14974 HMaster

全局变量配置

# vi /etc/profile

在最下面添加配置,修改各个HOME路径

#set java
export JAVA_HOME=/usr/java/jdk1.8.0_201
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

#set hadoop
export HADOOP_HOME=/opt/modules/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin

#hadoop_classpath
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.1.0-cdh5.14.2/lib/*:/opt/modules/hbase-1.2.0-cdh5.14.2/lib/*

#set hive 
export HIVE_HOME=/opt/modules/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin

#set flume
export FLUME_HOME=/opt/modules/flume-1.6.0-cdh5.14.2
export PATH=$PATH:$FLUME/bin

#set oozie
export OOZIE_HOME=/opt/modules/oozie-4.1.0-cdh5.14.2
export PATH=$PATH:$OOZIE_HOME/bin

#set hue
export HUE_HOME=/opt/modules/hue-3.9.0-cdh5.14.2
export PATH=$PATH:$HUE_HOME/build/env/bin

#set hbase
export HBASE_HOME=/opt/modules/hbase-1.2.0-cdh5.14.2
export PATH=$PATH:$HBASE_HOME/bin

#set zookeeper
export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.5-cdh5.14.2
export PATH=$PATH:$ZOOKEEPER_HOME/bin