Hive 创建表 & 加载数据



  • Hive 创建表

    本章介绍如何创建表以及如何在表中插入数据。在HIVE中创建表的约定与使用SQL创建表非常相似。
  • 创建表语句

    创建表是用于在Hive中创建表的语句。语法和示例如下:
    
    CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name
    
    [(col_name data_type [COMMENT col_comment], ...)]
    [COMMENT table_comment]
    [ROW FORMAT row_format]
    [STORED AS file_format]
    <
    
    - 让我们假设您需要使用CREATE TABLE语句创建一个名为employee的表。下表列出了employee表中的字段及其数据类型:
    • eid - int
    • name - String
    • salary - Float
    • designation - string
    以下数据是注释,行格式的字段,例如字段终止符,行终止符和存储的文件类型。
    
    COMMENT ‘Employee details’
    FIELDS TERMINATED BY ‘\t’
    LINES TERMINATED BY ‘\n’
    STORED IN TEXT FILE
    
    
    以下查询使用上述数据创建一个名为employee的表。
    
    hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,salary String, destination String)
    COMMENT 'Employee details'
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    LINES TERMINATED BY '\n'
    STORED AS TEXTFILE;
    
    
    如果您添加选项IF NOT EXISTS,则在表已存在的情况下,Hive会忽略该语句。
    成功创建表后,您将看到以下响应:
    
    OK
    Time taken: 5.905 seconds
    hive>
    
    
  • 使用JDBC程序创建表

    给出了创建表的JDBC程序示例。
    新版HIVE,应该启动hiveserver2,hiveserver服务已经没有。启动流程如下:
    • $HADOOP_HOME/sbin/start-dfs.sh
    • $HADOOP_HOME/sbin/start-yarn.sh
    • $HIVE_HOME/bin/hive --service hiveserver2
    启动后可以用$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000 连接测试 上面启动hiveserver2同时也启动了一个webui,在浏览器可以通过http://ip:10002 来查看
    
    import java.sql.SQLException;
    import java.sql.Connection;
    import java.sql.ResultSet;
    import java.sql.Statement;
    import java.sql.DriverManager;
    
    public class HiveCreateTable {
       private static String driverName = "org.apache.hive.jdbc.HiveDriver";
       
       public static void main(String[] args) throws SQLException {
          try {
             // Register driver and create driver instance
             Class.forName(driverName);
             
             // get connection
             Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/userdb", "", "");
             
             // create statement
             Statement stmt = con.createStatement();
             
             // execute statement
             stmt.execute("CREATE TABLE IF NOT EXISTS "
                +" employee ( eid int, name String, "
                +" salary String, destignation String)"
                +" COMMENT ‘Employee details’"
                +" ROW FORMAT DELIMITED"
                +" FIELDS TERMINATED BY ‘\t’"
                +" LINES TERMINATED BY ‘\n’"
                +" STORED AS TEXTFILE");
                
             System.out.println(“ Table employee created.”);
             con.close();
          } catch (Exception e) {
             System.out.println(e.getMessage());
          }   
       }
    }
    
    
    将程序保存在名为HiveCreateDb.java的文件中。以下命令用于编译和执行该程序。
    
    $ javac HiveCreateDb.java
    $ java HiveCreateDb
    
    
    输出
    
    Table employee created.
    
    
  • 加载数据语句

    通常,在SQL中创建表后,我们可以使用Insert语句插入数据。但是在Hive中,我们可以使用LOAD DATA语句插入数据。
    在将数据插入Hive时,最好使用LOAD DATA来存储批量记录。有两种加载数据的方法:一种是从本地文件系统加载,第二种是从Hadoop文件系统加载。
    LOAD DATA 的语法如下:
    
    LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename 
    [PARTITION (partcol1=val1, partcol2=val2 ...)]
    
    
    • LOCAL是用于指定本地路径的标识符。它是可选的。
    • OVERWRITE是可选的,可以覆盖表中的数据。
    • PARTITION是可选的。
    - 我们将以下数据插入表中。它被命名为一个文本文件sample.txt的在/home/user的目录。
    
    1201  Gopal       45000    Technical manager
    1202  Manisha     45000    Proof reader
    1203  Masthanvali 40000    Technical writer
    1204  Kiran       40000    Hr Admin
    1205  Kranthi     30000    Op Admin
    
    
    以下查询将给定的文本加载到表中。
    
    hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt' OVERWRITE INTO TABLE employee;
    
    
    成功LOAD后,您将看到以下响应:
    
    OK
    Time taken: 15.905 seconds
    hive>
    
    
  • 使用JDBC程序加载数据

    下面给出的是JDBC程序,用于将给定数据加载到表中。
    
    import java.sql.SQLException;
    import java.sql.Connection;
    import java.sql.ResultSet;
    import java.sql.Statement;
    import java.sql.DriverManager;
    
    public class HiveLoadData {
    
       private static String driverName = "org.apache.hive.jdbc.HiveDriver";
       
       public static void main(String[] args) throws SQLException {
          try {
             // Register driver and create driver instance
             Class.forName(driverName);
             
             // get connection
             Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/userdb", "", "");
             
             // create statement
             Statement stmt = con.createStatement();
             
             // execute statement
             stmt.execute("LOAD DATA LOCAL INPATH '/home/user/sample.txt'" + "OVERWRITE INTO TABLE employee");
             System.out.println("Load Data into employee successful");
             
             con.close();
          } catch (Exception e) {
             System.out.println(e.getMessage());
          }   
       }
    }
    
    
    将程序保存在名为HiveLoadData.java的文件中。使用以下命令来编译和执行该程序。
    
    $ javac HiveLoadData.java
    $ java HiveLoadData
    
    
    输出:
    
    Load Data into employee successful