快乐程序员
快乐程序员

sqoop的安装、配置及使用简介

Sqoop的安装和配置

  • 下载sqoop和hadoop：wget http://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1.tar.gz
                                        wget http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz
  • 解压：tar zxvf sqoop-1.3.0-cdh3u1.tar.gz
                tar zxvf hadoop-0.20.2-cdh3u1.tar.gz
  • 设置环境变量：export SQOOP_HOME=XXXXX
  • 将Hadoop的hadoop-core-0.20.2-cdh3u1.jar、HBase的hbase-XXX.jar、ZooKeeper的zookeeper-XXX.jar以及MySQL的mysql-connector-java-XXXX-bin.jar拷贝到Sqoop的lib目录下
  • 设置要远程访问的MySQL数据库的权限：
[sql]  view plain copy
  1. [root@test1 bin]# /usr/local/mysql/bin/mysql -u root -p  
  2. Enter password:   
  3. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  4. Your MySQL connection id is 110  
  5. Server version: 5.1.59 MySQL Community Server (GPL)  
  6.   
  7.   
  8. Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.  
  9.   
  10.   
  11. Oracle is a registered trademark of Oracle Corporation and/or its  
  12. affiliates. Other names may be trademarks of their respective  
  13. owners.  
  14.   
  15.   
  16. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
  17.   
  18.   
  19. mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;  
  20. Query OK, 0 rows affected (0.00 sec)  
  21.   
  22.   
  23. mysql> flush privileges;  
  24. Query OK, 0 rows affected (0.01 sec)  

sqoop的简单使用

连接MySQL数据库

查看MySQL的数据库
[sql]  view plain copy
  1. sqoop list-databases --connect jdbc:mysql://IP:PORT/ --username USER --password PASSWD   
  2. sqoop list-databases --connect jdbc:mysql://IP:PORT/ --username USER -P   (此方式更加安全一点)  

[sql]  view plain copy
  1. [root@test1 bin]# sqoop list-databases --connect jdbc:mysql://IP:PORT/ --username root -P             
  2. Enter password:   
  3. 12/06/04 07:56:48 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  4. information_schema  
  5. hive_metastore  
  6. mysql  
  7. test  

查看数据库中的表

[sql]  view plain copy
  1. sqoop list-tables --connect jdbc:mysql://IP:PORT/database --username USER -P  
[sql]  view plain copy
  1. [root@test1 bin]# sqoop list-tables --connect jdbc:mysql://IP:PORT/mysql --username root -P    
  2. Enter password:   
  3. 12/06/04 07:55:57 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  4. columns_priv  
  5. db  
  6. event  
  7. func  
  8. general_log  
  9. help_category  
  10. help_keyword  
  11. help_relation  
  12. help_topic  
  13. host  
  14. ndb_binlog_index  
  15. plugin  
  16. proc  
  17. procs_priv  
  18. servers  
  19. slow_log  
  20. tables_priv  
  21. time_zone  
  22. time_zone_leap_second  
  23. time_zone_name  
  24. time_zone_transition  
  25. time_zone_transition_type  
  26. user  

sqoop-imoprt : RMDBS——>DFS

将mysql的test库中的表students的数据导到DFS上

  • --connect : 要连接的数据库JDBC-URL
  • --username：登录数据库的用户名
  • --password：登录数据的密码
  • --table ： 需要导出的表
  • --target-dir ：目标目录
  • --split-by：字段的分隔符

[sql]  view plain copy
  1. [root@test1 bin]# sqoop import --verbose --fields-terminated-by ','  --connect jdbc:mysql://IP:PORT/test --username root --password PASSWD --table students --target-dir /test/students --split-by 'age'  
  2. 12/06/04 11:52:07 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.  
  3. 12/06/04 11:52:07 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  4. 12/06/04 11:52:07 INFO tool.CodeGenTool: Beginning code generation  
  5. 12/06/04 11:52:07 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  6. 12/06/04 11:52:07 INFO orm.CompilationManager: HADOOP_HOME is /usr/local/hadoop/install/bin/..  
  7. Note: /tmp/sqoop-root/compile/821690e0ecd4932aeddf6b4ad1252aa0/students.java uses or overrides a deprecated API.  
  8. Note: Recompile with -Xlint:deprecation for details.  
  9. 12/06/04 11:52:14 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/821690e0ecd4932aeddf6b4ad1252aa0/students.jar  
  10. 12/06/04 11:52:14 WARN manager.MySQLManager: It looks like you are importing from mysql.  
  11. 12/06/04 11:52:14 WARN manager.MySQLManager: This transfer can be faster! Use the --direct  
  12. 12/06/04 11:52:14 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.  
  13. 12/06/04 11:52:14 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)  
  14. 12/06/04 11:52:14 INFO mapreduce.ImportJobBase: Beginning import of students  
  15. 12/06/04 11:52:56 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(`age`), MAX(`age`) FROM `students`  
  16. 12/06/04 11:52:57 INFO mapred.JobClient: Running job: job_201206040901_0014  
  17. 12/06/04 11:52:58 INFO mapred.JobClient:  map 0% reduce 0%  
  18. 12/06/04 11:54:04 INFO mapred.JobClient:  map 100% reduce 0%  
  19. 12/06/04 11:54:18 INFO mapred.JobClient: Job complete: job_201206040901_0014  
  20. 12/06/04 11:54:18 INFO mapred.JobClient: Counters: 14  
  21. 12/06/04 11:54:18 INFO mapred.JobClient:   Job Counters   
  22. 12/06/04 11:54:18 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=35427  
  23. 12/06/04 11:54:18 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  24. 12/06/04 11:54:18 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  25. 12/06/04 11:54:18 INFO mapred.JobClient:     Launched map tasks=1  
  26. 12/06/04 11:54:18 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0  
  27. 12/06/04 11:54:18 INFO mapred.JobClient:   File Output Format Counters   
  28. 12/06/04 11:54:18 INFO mapred.JobClient:     Bytes Written=21  
  29. 12/06/04 11:54:18 INFO mapred.JobClient:   FileSystemCounters  
  30. 12/06/04 11:54:18 INFO mapred.JobClient:     GFS_BYTES_WRITTEN=21  
  31. 12/06/04 11:54:18 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=39425  
  32. 12/06/04 11:54:18 INFO mapred.JobClient:     GFS_BYTES_READ=106  
  33. 12/06/04 11:54:18 INFO mapred.JobClient:   File Input Format Counters   
  34. 12/06/04 11:54:18 INFO mapred.JobClient:     Bytes Read=0  
  35. 12/06/04 11:54:18 INFO mapred.JobClient:   Map-Reduce Framework  
  36. 12/06/04 11:54:18 INFO mapred.JobClient:     Map input records=2  
  37. 12/06/04 11:54:18 INFO mapred.JobClient:     Spilled Records=0  
  38. 12/06/04 11:54:18 INFO mapred.JobClient:     Map output records=2  
  39. 12/06/04 11:54:18 INFO mapred.JobClient:     SPLIT_RAW_BYTES=103  
  40. 12/06/04 11:54:18 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 123.2224 seconds (0 bytes/sec)  
  41. 12/06/04 11:54:18 INFO mapreduce.ImportJobBase: Retrieved 2 records.  
查看DFS上的数据是否和mysql中的数据一致：
[sql]  view plain copy
  1. [root@test1 bin]# hadoop fs -ls /test/students  
  2. Found 3 items  
  3. -rwxrwxrwx   2          0 2012-06-04 11:54 /test/students/_SUCCESS  
  4. drwxrwxrwx   -          0 2012-06-04 11:52 /test/students/_logs  
  5. -rwxrwxrwx   2         21 2012-06-04 11:53 /test/students/part-m-00000  
  6. [root@test1 bin]# hadoop fs -cat /test/students/part-m-00000  
  7. aaaaaa,26  
  8. bbbbbb,27  
  9. [root@test1 bin]#   
[sql]  view plain copy
  1. [root@test1 conf]# /usr/local/mysql/bin/mysql -uUSER -pPASSWD  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is 230  
  4. Server version: 5.1.59 MySQL Community Server (GPL)  
  5.   
  6. Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.  
  7.   
  8. Oracle is a registered trademark of Oracle Corporation and/or its  
  9. affiliates. Other names may be trademarks of their respective  
  10. owners.  
  11.   
  12. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
  13.   
  14. mysql> select * from test.students;  
  15. +---------+------+  
  16. | name    | age  |  
  17. +---------+------+  
  18. | aaaaaa  |   26 |  
  19. | bbbbbb  |   27 |  
  20. +---------+------+  
  21. 2 rows in set (0.01 sec)  
  22.   
  23. mysql>   

sqoop-export：DFS——>RMDBS

将数据从DFS导入到MySQL

[sql]  view plain copy
  1. [root@test1 bin]# sqoop export --connect jdbc:mysql://IP:PORT/test --username USER --password PASSWD --table students --export-dir /test/students/ --input-fields-terminated-by '\t'             
  2. 12/06/04 12:31:49 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.  
  3. 12/06/04 12:31:49 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  4. 12/06/04 12:31:49 INFO tool.CodeGenTool: Beginning code generation  
  5. 12/06/04 12:31:49 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  6. 12/06/04 12:31:50 INFO orm.CompilationManager: HADOOP_HOME is /usr/local/hadoop/install/bin/..  
  7. Note: /tmp/sqoop-root/compile/546460e114dd8311c4a1dc80cac7419b/students.java uses or overrides a deprecated API.  
  8. Note: Recompile with -Xlint:deprecation for details.  
  9. 12/06/04 12:32:01 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/546460e114dd8311c4a1dc80cac7419b/students.jar  
  10. 12/06/04 12:32:01 INFO mapreduce.ExportJobBase: Beginning export of students  
  11. 12/06/04 12:32:40 INFO input.FileInputFormat: Total input paths to process : 1  
  12. 12/06/04 12:32:40 INFO input.FileInputFormat: Total input paths to process : 1  
  13. 12/06/04 12:32:41 INFO mapred.JobClient: Running job: job_201206040901_0021  
  14. 12/06/04 12:32:42 INFO mapred.JobClient:  map 0% reduce 0%  
  15. 12/06/04 12:33:27 INFO mapred.JobClient:  map 100% reduce 0%  
  16. 12/06/04 12:33:38 INFO mapred.JobClient: Job complete: job_201206040901_0021  
  17. 12/06/04 12:33:39 INFO mapred.JobClient: Counters: 14  
  18. 12/06/04 12:33:39 INFO mapred.JobClient:   Job Counters   
  19. 12/06/04 12:33:39 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=20935  
  20. 12/06/04 12:33:39 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  21. 12/06/04 12:33:39 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  22. 12/06/04 12:33:39 INFO mapred.JobClient:     Rack-local map tasks=1  
  23. 12/06/04 12:33:39 INFO mapred.JobClient:     Launched map tasks=1  
  24. 12/06/04 12:33:39 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0  
  25. 12/06/04 12:33:39 INFO mapred.JobClient:   File Output Format Counters   
  26. 12/06/04 12:33:39 INFO mapred.JobClient:     Bytes Written=0  
  27. 12/06/04 12:33:39 INFO mapred.JobClient:   FileSystemCounters  
  28. 12/06/04 12:33:39 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=39238  
  29. 12/06/04 12:33:39 INFO mapred.JobClient:     GFS_BYTES_READ=148  
  30. 12/06/04 12:33:39 INFO mapred.JobClient:   File Input Format Counters   
  31. 12/06/04 12:33:39 INFO mapred.JobClient:     Bytes Read=0  
  32. 12/06/04 12:33:39 INFO mapred.JobClient:   Map-Reduce Framework  
  33. 12/06/04 12:33:39 INFO mapred.JobClient:     Map input records=2  
  34. 12/06/04 12:33:39 INFO mapred.JobClient:     Spilled Records=0  
  35. 12/06/04 12:33:39 INFO mapred.JobClient:     Map output records=2  
  36. 12/06/04 12:33:39 INFO mapred.JobClient:     SPLIT_RAW_BYTES=108  
  37. 12/06/04 12:33:39 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 96.3916 seconds (0 bytes/sec)  
  38. 12/06/04 12:33:39 INFO mapreduce.ExportJobBase: Exported 2 records.  

查看DFS上的数据是否已经导入mysql：

[sql]  view plain copy
  1. [root@test1 bin]# hadoop fs -cat /test/students/part-m*  
  2. cccccc  26  
  3. dddddd  24  
[sql]  view plain copy
  1. [root@test1 bin]# /usr/local/mysql/bin/mysql -uUSER -pPASSWD  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is 262  
  4. Server version: 5.1.59 MySQL Community Server (GPL)  
  5.   
  6. Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.  
  7.   
  8. Oracle is a registered trademark of Oracle Corporation and/or its  
  9. affiliates. Other names may be trademarks of their respective  
  10. owners.  
  11.   
  12. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
  13.   
  14. mysql> select * from test.students;  
  15. +---------+------+  
  16. | name    | age  |  
  17. +---------+------+  
  18. | aaaaaa  |   26 |  
  19. | bbbbbb  |   27 |  
  20. | cccccc  |   26 |  
  21. | dddddd  |   24 |  
  22. +---------+------+  
  23. 4 rows in set (0.00 sec)  
  24.   
  25. mysql>   

选取一定条件的数据导入DFS

[sql]  view plain copy
  1. sqoop import --connect jdbc:mysql://IP:PORT/test --username USER --password PASSWD --query 'SELECT * FROM students WHERE age=26 AND $CONDITIONS' -m 1 --target-dir /test/student26       
  2. 12/06/05 05:53:55 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.  
  3. 12/06/05 05:53:55 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  4. 12/06/05 05:53:55 INFO tool.CodeGenTool: Beginning code generation  
  5. 12/06/05 05:53:56 INFO manager.SqlManager: Executing SQL statement: SELECT * FROM students WHERE age=26 AND  (1 = 0)   
  6. 12/06/05 05:53:56 INFO manager.SqlManager: Executing SQL statement: SELECT * FROM students WHERE age=26 AND  (1 = 0)   
  7. 12/06/05 05:53:56 INFO orm.CompilationManager: HADOOP_HOME is /usr/local/hadoop/install/bin/..  
  8. 12/06/05 05:54:06 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/38bfade178cccb8dfaa2b31c2502eec3/QueryResult.jar  
  9. 12/06/05 05:54:06 INFO mapreduce.ImportJobBase: Beginning query import.  
  10. 12/06/05 05:54:38 INFO mapred.JobClient: Running job: job_201206040901_0033  
  11. 12/06/05 05:54:39 INFO mapred.JobClient:  map 0% reduce 0%  
  12. 12/06/05 05:55:11 INFO mapred.JobClient:  map 100% reduce 0%  
  13. 12/06/05 05:55:19 INFO mapred.JobClient: Job complete: job_201206040901_0033  
  14. 12/06/05 05:55:19 INFO mapred.JobClient: Counters: 14  
  15. 12/06/05 05:55:19 INFO mapred.JobClient:   Job Counters   
  16. 12/06/05 05:55:19 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=21246  
  17. 12/06/05 05:55:19 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  18. 12/06/05 05:55:19 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  19. 12/06/05 05:55:19 INFO mapred.JobClient:     Launched map tasks=1  
  20. 12/06/05 05:55:19 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0  
  21. 12/06/05 05:55:19 INFO mapred.JobClient:   File Output Format Counters   
  22. 12/06/05 05:55:19 INFO mapred.JobClient:     Bytes Written=20  
  23. 12/06/05 05:55:19 INFO mapred.JobClient:   FileSystemCounters  
  24. 12/06/05 05:55:19 INFO mapred.JobClient:     GFS_BYTES_WRITTEN=20  
  25. 12/06/05 05:55:19 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=32065  
  26. 12/06/05 05:55:19 INFO mapred.JobClient:     GFS_BYTES_READ=90  
  27. 12/06/05 05:55:19 INFO mapred.JobClient:   File Input Format Counters   
  28. 12/06/05 05:55:19 INFO mapred.JobClient:     Bytes Read=0  
  29. 12/06/05 05:55:19 INFO mapred.JobClient:   Map-Reduce Framework  
  30. 12/06/05 05:55:19 INFO mapred.JobClient:     Map input records=2  
  31. 12/06/05 05:55:19 INFO mapred.JobClient:     Spilled Records=0  
  32. 12/06/05 05:55:19 INFO mapred.JobClient:     Map output records=2  
  33. 12/06/05 05:55:19 INFO mapred.JobClient:     SPLIT_RAW_BYTES=87  
  34. 12/06/05 05:55:19 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 72.4785 seconds (0 bytes/sec)  
  35. 12/06/05 05:55:19 INFO mapreduce.ImportJobBase: Retrieved 2 records.  
如果--query 后面的SQL语句带有WHERE，则一定要加上 （AND $CONDITIONS），否则会出错。

到目前为止已经可以实现MySQL和DFS之间相互导数据了，可以先凑合着用了。


使用sqoop将MySQL数据库中的数据导入Hbase

[plain]  view plain copy
  1. sqoop import --connect jdbc:mysql://IP:PORT/test --table students --hbase-table sqoop_test --column-family st_info --hbase-row-key id --hbase-create-table --username USER --password PASSWD  
  2. 12/06/13 15:09:10 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  3. 12/06/13 15:09:10 INFO tool.CodeGenTool: Beginning code generation  
  4. 12/06/13 15:09:11 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  5. 12/06/13 15:09:11 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  6. 12/06/13 15:09:11 INFO orm.CompilationManager: HADOOP_HOME is /usr/local/hadoop/install/bin/..  
  7. 12/06/13 15:09:18 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/807268e14873b072ec8b9a9e7f46f326/students.jar  
  8. 12/06/13 15:09:18 WARN manager.MySQLManager: It looks like you are importing from mysql.  
  9. 12/06/13 15:09:18 WARN manager.MySQLManager: This transfer can be faster! Use the --direct  
  10. 12/06/13 15:09:18 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.  
  11. 12/06/13 15:09:18 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)  
  12. 12/06/13 15:09:18 INFO mapreduce.ImportJobBase: Beginning import of students  
  13. 12/06/13 15:09:19 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  14. 12/06/13 15:09:20 INFO zookeeper.ZooKeeper: Session: 0x437cf07b9a50013 closed  
  15. 12/06/13 15:09:20 INFO mapreduce.HBaseImportJob: Creating missing HBase table sqoop_test  
  16. 12/06/13 15:09:20 INFO zookeeper.ClientCnxn: EventThread shut down  
  17. 12/06/13 15:09:54 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(`id`), MAX(`id`) FROM `students`  
  18. 12/06/13 15:09:56 INFO mapred.JobClient: Running job: job_201206131415_0002  
  19. 12/06/13 15:09:57 INFO mapred.JobClient:  map 0% reduce 0%  
  20. 12/06/13 15:10:29 INFO mapred.JobClient:  map 33% reduce 0%  
  21. 12/06/13 15:10:54 INFO mapred.JobClient:  map 66% reduce 0%  
  22. 12/06/13 15:10:58 INFO mapred.JobClient:  map 100% reduce 0%  
  23. 12/06/13 15:11:09 INFO mapred.JobClient: Job complete: job_201206131415_0002  
  24. 12/06/13 15:11:09 INFO mapred.JobClient: Counters: 13  
  25. 12/06/13 15:11:09 INFO mapred.JobClient:   Job Counters   
  26. 12/06/13 15:11:09 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=48737  
  27. 12/06/13 15:11:09 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  28. 12/06/13 15:11:09 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  29. 12/06/13 15:11:09 INFO mapred.JobClient:     Launched map tasks=3  
  30. 12/06/13 15:11:09 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0  
  31. 12/06/13 15:11:09 INFO mapred.JobClient:   File Output Format Counters   
  32. 12/06/13 15:11:09 INFO mapred.JobClient:     Bytes Written=0  
  33. 12/06/13 15:11:09 INFO mapred.JobClient:   FileSystemCounters  
  34. 12/06/13 15:11:09 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=124270  
  35. 12/06/13 15:11:09 INFO mapred.JobClient:     GFS_BYTES_READ=304  
  36. 12/06/13 15:11:09 INFO mapred.JobClient:   File Input Format Counters   
  37. 12/06/13 15:11:09 INFO mapred.JobClient:     Bytes Read=0  
  38. 12/06/13 15:11:09 INFO mapred.JobClient:   Map-Reduce Framework  
  39. 12/06/13 15:11:09 INFO mapred.JobClient:     Map input records=4  
  40. 12/06/13 15:11:09 INFO mapred.JobClient:     Spilled Records=0  
  41. 12/06/13 15:11:09 INFO mapred.JobClient:     Map output records=4  
  42. 12/06/13 15:11:09 INFO mapred.JobClient:     SPLIT_RAW_BYTES=295  
  43. 12/06/13 15:11:09 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 103.0751 seconds (0 bytes/sec)  
  44. 12/06/13 15:11:09 INFO mapreduce.ImportJobBase: Retrieved 4 records.  
到hbase中查看结果：
[plain]  view plain copy
  1. hbase(main):004:0> list  
  2. TABLE                                                                                                                                          
  3. sqoop_test                                                                                                                                     
  4. 1 row(s) in 0.7200 seconds  
  5.   
  6. hbase(main):005:0> scan 'sqoop_test'  
  7. ROW                                  COLUMN+CELL                                                                                               
  8.  1                                   column=st_info:age, timestamp=1339571427057, value=26                                                     
  9.  1                                   column=st_info:name, timestamp=1339571427057, value=aaaaaa                                                
  10.  2                                   column=st_info:age, timestamp=1339571450535, value=27                                                     
  11.  2                                   column=st_info:name, timestamp=1339571450535, value=bbbbbb                                               
  12.  3                                   column=st_info:age, timestamp=1339571451670, value=26                                                     
  13.  3                                   column=st_info:name, timestamp=1339571451670, value=cccccc                                                
  14.  4                                   column=st_info:age, timestamp=1339571451670, value=24                                                     
  15.  4                                   column=st_info:name, timestamp=1339571451670, value=dddddd                                                
  16. 4 row(s) in 0.5560 seconds  
  17.   
  18. hbase(main):006:0>   


性能测试

1）MySQL导向DFS

数据库表sqoop_test：
[sql]  view plain copy
  1. mysql> desc relation ;  
  2. +-----------------+------------------+------+-----+---------+-------+  
  3. | Field           | Type             | Null | Key | Default | Extra |  
  4. +-----------------+------------------+------+-----+---------+-------+  
  5. | cid             | varchar(40)      |      |     |         |       |  
  6. | recommended_cid | varchar(40)      |      |     |         |       |  
  7. | similarity      | int(10) unsigned |      |     | 0       |       |  
  8. +-----------------+------------------+------+-----+---------+-------+  
  9. 3 rows in set (0.00 sec)  
  10.   
  11. mysql> select count(*) from relation;  
  12. +----------+  
  13. | count(*) |  
  14. +----------+  
  15. | 23512528 |  
  16. +----------+  
  17. 1 row in set (0.00 sec)  
测试结果如下表所示：
sqoop_from_mysql_to_dfs
split-by map num time
cid 6 4m16.053s
cid 12 2m36.905s
[sql]  view plain copy
  1. similarity   
 4 3m36.390s
[sql]  view plain copy
  1. similarity  
 10 2m5.120s

注：推荐--sqlit-by的参数为整数类型的：
[java]  view plain copy
  1. 12/06/11 17:03:16 WARN db.TextSplitter: You are strongly encouraged to choose an integral split column.  

2）DFS导向MySQL
数据还是和上述的数据一样，总共23512528行记录。
测试结果如下表所示：
sqoop_from_dfs_to_mysql
map num time
4 42m56.324s
10 41m31.888s

在往Hive导数据的过程中遇到下面的问题，目前还未找到解决方法
[java]  view plain copy
  1. [root@test1 ~]# sqoop import --connect jdbc:mysql://IP:PORT/test --username USER --password PASSWD --table students --input-fields-terminated-by '\t' --hive-import -m 1  
  2. 12/06/05 06:34:32 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.  
  3. 12/06/05 06:34:32 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override  
  4. 12/06/05 06:34:32 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc.  
  5. 12/06/05 06:34:32 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  6. 12/06/05 06:34:32 INFO tool.CodeGenTool: Beginning code generation  
  7. 12/06/05 06:34:33 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  8. 12/06/05 06:34:33 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  9. 12/06/05 06:34:33 INFO orm.CompilationManager: HADOOP_HOME is /usr/local/hadoop/install/bin/..  
  10. 12/06/05 06:34:39 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/97263d4aeecd15c92e0b3d570c3aa024/students.jar  
  11. 12/06/05 06:34:39 WARN manager.MySQLManager: It looks like you are importing from mysql.  
  12. 12/06/05 06:34:39 WARN manager.MySQLManager: This transfer can be faster! Use the --direct  
  13. 12/06/05 06:34:39 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.  
  14. 12/06/05 06:34:39 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)  
  15. 12/06/05 06:34:39 INFO mapreduce.ImportJobBase: Beginning import of students  
  16. 12/06/05 06:34:40 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  17. 12/06/05 06:35:08 INFO mapred.JobClient: Running job: job_201206040901_0035  
  18. 12/06/05 06:35:09 INFO mapred.JobClient:  map 0% reduce 0%  
  19. 12/06/05 06:35:52 INFO mapred.JobClient:  map 100% reduce 0%  
  20. 12/06/05 06:36:03 INFO mapred.JobClient: Job complete: job_201206040901_0035  
  21. 12/06/05 06:36:03 INFO mapred.JobClient: Counters: 14  
  22. 12/06/05 06:36:03 INFO mapred.JobClient:   Job Counters   
  23. 12/06/05 06:36:03 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=28519  
  24. 12/06/05 06:36:03 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  25. 12/06/05 06:36:03 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  26. 12/06/05 06:36:03 INFO mapred.JobClient:     Launched map tasks=1  
  27. 12/06/05 06:36:03 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0  
  28. 12/06/05 06:36:03 INFO mapred.JobClient:   File Output Format Counters   
  29. 12/06/05 06:36:03 INFO mapred.JobClient:     Bytes Written=41  
  30. 12/06/05 06:36:03 INFO mapred.JobClient:   FileSystemCounters  
  31. 12/06/05 06:36:03 INFO mapred.JobClient:     GFS_BYTES_WRITTEN=41  
  32. 12/06/05 06:36:03 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=31978  
  33. 12/06/05 06:36:03 INFO mapred.JobClient:     GFS_BYTES_READ=90  
  34. 12/06/05 06:36:03 INFO mapred.JobClient:   File Input Format Counters   
  35. 12/06/05 06:36:03 INFO mapred.JobClient:     Bytes Read=0  
  36. 12/06/05 06:36:03 INFO mapred.JobClient:   Map-Reduce Framework  
  37. 12/06/05 06:36:03 INFO mapred.JobClient:     Map input records=4  
  38. 12/06/05 06:36:03 INFO mapred.JobClient:     Spilled Records=0  
  39. 12/06/05 06:36:03 INFO mapred.JobClient:     Map output records=4  
  40. 12/06/05 06:36:03 INFO mapred.JobClient:     SPLIT_RAW_BYTES=87  
  41. 12/06/05 06:36:03 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 83.3192 seconds (0 bytes/sec)  
  42. 12/06/05 06:36:03 INFO mapreduce.ImportJobBase: Retrieved 4 records.  
  43. 12/06/05 06:36:03 INFO hive.HiveImport: Removing temporary files from import process: students/_logs  
  44. 12/06/05 06:36:03 INFO hive.HiveImport: Loading uploaded data into Hive  
  45. 12/06/05 06:36:03 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  46. 12/06/05 06:36:03 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `students` AS t LIMIT 1  
  47. hive-log4j.properties not found  
  48. Hive history file=/tmp/root/hive_job_log_root_201206050636_1946485104.txt  
  49. 12/06/05 06:36:05 INFO exec.HiveHistory: Hive history file=/tmp/root/hive_job_log_root_201206050636_1946485104.txt  
  50. 12/06/05 06:36:05 INFO parse.ParseDriver: Parsing command: CREATE TABLE IF NOT EXISTS `students` ( `name` STRING, `age` INT) COMMENT 'Imported by sqoop on 2012/06/05 06:36:03' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\012' STORED AS TEXTFILE  
  51. 12/06/05 06:36:06 INFO parse.ParseDriver: Parse Completed  
  52. 12/06/05 06:36:06 INFO parse.SemanticAnalyzer: Starting Semantic Analysis  
  53. 12/06/05 06:36:06 INFO parse.SemanticAnalyzer: Creating table students position=27  
  54. org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: URI:  does not have a scheme  
  55.         at org.apache.hadoop.hive.ql.metadata.Hive.getTablesByPattern(Hive.java:919)  
  56.         at org.apache.hadoop.hive.ql.metadata.Hive.getTablesByPattern(Hive.java:904)  
  57.         at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeCreateTable(SemanticAnalyzer.java:7074)  
  58.         at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:6573)  
  59.         at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:238)  
  60.         at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:340)  
  61.         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:736)  
  62.         at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)  
  63.         at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:241)  
  64.         at org.apache.hadoop.hive.cli.CliDriver.processReader(CliDriver.java:262)  
  65.         at org.apache.hadoop.hive.cli.CliDriver.processFile(CliDriver.java:269)  
  66.         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:430)  
  67.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  68.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)  
  69.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)  
  70.         at java.lang.reflect.Method.invoke(Method.java:616)  
  71.         at com.cloudera.sqoop.hive.HiveImport.executeScript(HiveImport.java:270)  
  72.         at com.cloudera.sqoop.hive.HiveImport.importTable(HiveImport.java:218)  
  73.         at com.cloudera.sqoop.tool.ImportTool.importTable(ImportTool.java:362)  
  74.         at com.cloudera.sqoop.tool.ImportTool.run(ImportTool.java:423)  
  75.         at com.cloudera.sqoop.Sqoop.run(Sqoop.java:144)  
  76.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  77.         at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:180)  
  78.         at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:219)  
  79.         at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:228)  
  80.         at com.cloudera.sqoop.Sqoop.main(Sqoop.java:237)  
  81. Caused by: java.lang.IllegalArgumentException: URI:  does not have a scheme  
  82.         at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:127)  
  83.         at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:1868)  
  84.         at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:1878)  
  85.         at org.apache.hadoop.hive.ql.metadata.Hive.getTablesByPattern(Hive.java:917)  
  86.         ... 25 more  
  87. 12/06/05 06:36:06 INFO ql.Driver: Semantic Analysis Completed  
  88. 12/06/05 06:36:06 INFO ql.Driver: Returning Hive schema: Schema(fieldSchemas:null, properties:null)  
  89. 12/06/05 06:36:06 INFO ql.Driver: Starting command: CREATE TABLE IF NOT EXISTS `students` ( `name` STRING, `age` INT) COMMENT 'Imported by sqoop on 2012/06/05 06:36:03' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\012' STORED AS TEXTFILE  
  90. 12/06/05 06:36:06 INFO exec.DDLTask: Default to LazySimpleSerDe for table students  
  91. 12/06/05 06:36:06 INFO hive.log: DDL: struct students { string name, i32 age}  
  92. FAILED: Error in metadata: java.lang.IllegalArgumentException: URI:  does not have a scheme  
  93. 12/06/05 06:36:07 ERROR exec.DDLTask: FAILED: Error in metadata: java.lang.IllegalArgumentException: URI:  does not have a scheme  
  94. org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: URI:  does not have a scheme  
  95.         at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:476)  
  96.         at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3146)  
  97.         at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:213)  
  98.         at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:130)  
  99.         at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)  
  100.         at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1063)  
  101.         at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:900)  
  102.         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:748)  
  103.         at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)  
  104.         at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:241)  
  105.         at org.apache.hadoop.hive.cli.CliDriver.processReader(CliDriver.java:262)  
  106.         at org.apache.hadoop.hive.cli.CliDriver.processFile(CliDriver.java:269)  
  107.         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:430)  
  108.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  109.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)  
  110.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)  
  111.         at java.lang.reflect.Method.invoke(Method.java:616)  
  112.         at com.cloudera.sqoop.hive.HiveImport.executeScript(HiveImport.java:270)  
  113.         at com.cloudera.sqoop.hive.HiveImport.importTable(HiveImport.java:218)  
  114.         at com.cloudera.sqoop.tool.ImportTool.importTable(ImportTool.java:362)  
  115.         at com.cloudera.sqoop.tool.ImportTool.run(ImportTool.java:423)  
  116.         at com.cloudera.sqoop.Sqoop.run(Sqoop.java:144)  
  117.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  118.         at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:180)  
  119.         at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:219)  
  120.         at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:228)  
  121.         at com.cloudera.sqoop.Sqoop.main(Sqoop.java:237)  
  122. Caused by: java.lang.IllegalArgumentException: URI:  does not have a scheme  
  123.         at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:127)  
  124.         at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:1868)  
  125.         at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:1878)  
  126.         at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:470)  
  127.         ... 26 more  
  128.   
  129. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask  
  130. 12/06/05 06:36:07 ERROR ql.Driver: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask  
  131. 12/06/05 06:36:08 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive CliDriver exited with status=9  
  132.         at com.cloudera.sqoop.hive.HiveImport.executeScript(HiveImport.java:294)  
  133.         at com.cloudera.sqoop.hive.HiveImport.importTable(HiveImport.java:218)  
  134.         at com.cloudera.sqoop.tool.ImportTool.importTable(ImportTool.java:362)  
  135.         at com.cloudera.sqoop.tool.ImportTool.run(ImportTool.java:423)  
  136.         at com.cloudera.sqoop.Sqoop.run(Sqoop.java:144)  
  137.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  138.         at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:180)  
  139.         at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:219)  
  140.         at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:228)  
  141.         at com.cloudera.sqoop.Sqoop.main(Sqoop.java:237)  
原文地址：http://blog.csdn.net/leeqing2011/article/details/7630690?utm_source=weibolife

你可能感兴趣的:(sqoop)

  • hive学习笔记之五：分桶 程序员欣宸
    欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop基础UDF用户自定义聚合函数(UDAF)UDTF本篇概览本文是《hive学习笔记》的第五篇
  • 学习大数据DAY43 Sqoop 安装，配置环境和使用 工科小石头 大数据培训学习大数据sqoophivehadoop
    目录sqoop安装配置mysqlsqoop安装sqoop指令集sqoop使用sqoop创建hive表sqoop全量导入表sqoop增量导入表sqoop全量导出表sqoop分区表导入表sqoop分区表导出表上机练习sqoop安装配置mysqlcreatedatabasetestDEFAULTCHARACTERSETutf8DEFAULTCOLLATEutf8_general_ci;--创建数据库sh
  • python读取hive数据库_利用pyhive将hive查询数据导入到mysql weixin_39939668 python读取hive数据库
    在大数据工作中经常碰到需要将hive查询数据导入到mysql的需求，常见的方法主要有两种，一是sqoop，另一种则是pyhive。本文主要讲的就是python的pyhive库的安装与使用。pyhive作用远程连接hive数据库，运行hivesql，而不需要登录到安装有hive的服务器上去可以更方便处理更多连续命令，可以封装一些经常需要复用的命令脚本化，不需要编译，随时改，随时执行看结果方便对hiv
  • 大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统 qq_79856539 javaweb大数据hadoop课程设计
    （一）Selenium自动化Python爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集；（二）使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；（三）使用hive数仓技术建表建库，导入.csv数据集；（四）离线分析采用hive_sql完成，实时分析利用Spark之Scala完成;（五）统计指标使用sqoop导入m
  • 从零到一建设数据中台 - 关键技术汇总 我码玄黄 数据中台数据挖掘数据分析大数据
    一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark、Flink实时流式计算：Storm/SparkStreaming、Flink批处理消息队列：Kafka查询分析：Hbase、Hive、ClickHouse、Presto搜索引擎：Elast
  • Sqoop一些常用命令及参数 大数据小同学
    常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。命令类说明importImportTool将数据导入到集群exportExportTool将集群数据导出codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jarcreate-hive-tableCreateHiveTableTool创建Hive表evalEval
  • hive学习笔记之九：基础UDF 程序员欣宸
    欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop基础UDF用户自定义聚合函数(UDAF)UDTF本篇概览本文是《hive学习笔记》的第九篇
  • Hadoop生态圈 陈超Terry的技术屋
    生态圈1.HBase的数据存储在HDFS里2.MapReduce可以计算HBase里的数据，也可以计算HDFS里的数据3.Hive是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop的HA通过Zookeeper来实现8.HU
  • hive学习笔记之三：内部表和外部表 程序员欣宸
    欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop基础UDF用户自定义聚合函数(UDAF)UDTF本篇概览本文是《hive学习笔记》系列的第
  • Sqoop 入门基础 香菜的开发日记 sqoophadoophive
    简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。它提供了一种快速高效的方式，将数据从关系型数据库导入到Hadoop集群进行分析，并支持将Hadoop集群中的数据导出到关系型数据库中。本篇教程将详细介绍Sqoop的全部用法，包括基本概念、使用方法和实例代码。我们将创建一个示例数据表，并使用Sqoop来导入和导出数据。一、准备工作在开始之前，请确保
  • shell脚本循环遍历日期，用于sqoop脚本 茂盛哥哥
    #!/bin/bashfirst="$1"second="$2"while["$first"!="$second"]dodate=`date-d"$first"+"%Y-%m-%d"`sqoopexport\--connectjdbc:mysql://\--username\--password\--tabledwd_fact_front_orderinfo\--export-dir/user/h
  • Sqoop你用对了吗？ 你值得拥有更好的12138
    个人想法，有错请指出怎么让sqoop流程化1.首先创造配置表和任务表tb_configidjdbc_urluserpass_wordcolumnstablehive_tableis_incremental1jdbc:mysql....rootrootid,user,pwuseruser0taskidtask_nameconf_idstatusctimeretrys1sqoop_table_is_i
  • HIVE中小文件问题 这孩子谁懂哈 HIVEhivehadoop数据仓库
    一、小文件产生原因1.动态分区插入数据，会产生大量小文件2.数据源本来就含有大量小文件3.数据增量导入，如Sqoop数据导入，增量insert导入数据等4.分桶表（主要是切分文件，容易产生小文件问题）1.2.3都是数据导入的问题：hive中的小文件肯定是向hive表中导入数据时产生，所以先看下向hive中导入数据的几种方式1.直接向表中插入数据insertintotableAvalues(1,'z
  • 大数据开发之Sqoop详细介绍 只是甲
    备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Had
  • Datax ETL工具源码研究 Spring1985
    由于公司数据共享交换产品中需要用到数据交换工具，所以对数据交换工具进行了大量的研究，目前比较流行的数据交换工具有Kittle、Sqoop、KafkaConnect、DataX；以下是个人的一点比对结果：如下四款工具除了Kittle其他的共同点都是面向插件方式开发，扩展性都比较好。Kittle优点：与大数据Hadoop结合比较好，功能比较齐全，强大，支持数据库，文件数据读写，界面拖拽方式操作；缺点：
  • 2018-07-19 sqoop 江江江123
    sqoop:数据从传统数据库到到hadoop的导入,导出安装：1.解压2.修改配置文件cdSQOOP_HOME/conf$mvsqoop-env-template.shsqoop-env.sh打开sqoop-env.sh并编辑下面几行：exportHADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.6.1/exportHADOOP_MAPRED_HOME=/
  • 离线数仓（一）【数仓概念、需求架构】 让线程再跑一会 离线数仓大数据
    前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。把学过的内容用到实践这是最重要的，相信会有很大的收获。1、数据仓库概念1.1、概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。（数据仓库的目的
  • 计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计 计算机毕业设计大神
    流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库，导入.csv数据集；4.离线分析采用hive_sql完成，实时分析利用Flink之Scala、FlinkSQL完成;5.统计指标使用sqoop导入mysql数据库；6
  • SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25 莫叫石榴姐 SQLBOY1000题sqlHiveSql面试题sql
    目录0需求分析1数据准备3数据分析4小结0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108以上数据中，goods_type列，假设26代表是广告，现在有个需求，想获取每个用户每次搜索下非广告类型的商品位置自然排序，如果下效果：u
  • HiveSQL——条件判断语句嵌套windows子句的应用 爱吃辣条byte #HIveSQL大数据数据仓库
    注：参考文章：SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25_sql剁成嵌套判断-CSDN博客文章浏览阅读920次，点赞4次，收藏4次。0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108以上数
  • 大数据课程综合实验案例---课设问题汇总 钟良堂 笔记大数据hbasehadoopubuntuecharts
    最近翻看两年前的大数据课设，感觉这个大数据课设实验当时答辩在大数据课设实验过程中，我遇到了很多问题，在这里做出汇总：1、MySQL启动报错首先，我的MySQL有时候启动不了，当我输入这个命令的时候，会报很多信息出来：mysql-uroot-p有时候，我尝试了很多这个命令，就是打不开，一直显示这个信息。但有时候却可以启动，感觉很奇怪，很多时候得看运气：2、Sqoop连接MySQL报错在测试sqoop
  • sqoop导入数据到hdfs 鲲鹏猿 hdfssqoophadoop
    Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop的文件系统中导出数据到关系数据库2.Sqoop的工作机制将导入和导出的命令翻译成mapreduce程序实现在翻译出的mapreduce中主要是对inputformat和outputformat
  • 2024-02-07（Sqoop，Flume） 陈xr 随记日志sqoopflume
    1.Sqoop的增量导入实际工作中，数据的导入很多时候只需要导入增量的数据，并不需要将表中的数据每次都全部导入到hive或者hdfs中，因为这样会造成数据重复问题。增量导入就是仅导入新添加到表中的行的技术。sqoop支持两种模式的增量导入：append模式：根据数值类型字段进行追加导入，大于指定的last-value值Lastmodified模式：根据时间戳类型的字段进行追加，>=指定的last-
  • SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比 浪尖聊大数据-浪尖 sqoopflumeflinkhadoophive
    产品概述ApacheSeaTunnel是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到Apache基金会的数据集成顶级项目。SeaTunnel主要解决数据集成领域的常见问题：*数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据
  • 数据采集工具Sqoop、Datax、Flume、Canal yue-verdure 大数据sqoopflume大数据阿里云
    离线采集工具Sqoop1.环境配置解压安装包配置环境变量（记得source）添加MySQL驱动包到sqoop文件夹下的libcpmysql-connector-java-5.1.10.jar/sqoop-install-path/lib重命名文件并配置文件mvsqoop-env-template.shsqoop-env.sh#添加环境变量exportHADOOP_COMMON_HOME=/usr/
  • 大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3） 道-闇影 bigdata大数据sqoopflume
    Boys，Grils，Friends！MynameisJinsuo.Shi.一个不正经的大数据开发工程师，目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python，P
  • 数据同步工具对比——SeaTunnel 、DataX、Sqoop、Flume、Flink CDC 大数据_苡~ 041-数据同步与采集sqoopflumeflink大数据
    在大数据时代，数据的采集、处理和分析变得尤为重要。业界出现了多种工具来帮助开发者和企业高效地处理数据流和数据集。本文将对比五种流行的数据处理工具：SeaTunnel、DataX、Sqoop、Flume和FlinkCDC，从它们的设计理念、使用场景、优缺点等方面进行详细介绍。1、SeaTunnel简介SeaTunnel是一个分布式、高性能、支持多种数据源之间高效数据同步的开源工具。它旨在解决大数据处
  • 2024-02-06（Sqoop） 陈xr 随记日志sqoop大数据
    1.SqoopApacheSqoop是Hadoop生态体系和RDBMS（关系型数据库）体系之间传递数据的一种工具。Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。在翻译出的MapReduce中主要是对inputformat和outputformat进行定制。Hadoop生态包括：HDFS，Hive，Hbase等。RDBMS体系包括：Mysql，Oracle，DB2等。Sq
  • Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装 WaiSaa
    Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。就Ambari的作用来说，就是创建、管理、监视Hadoop集群，但是这里的Hadoop指的是Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等），而并不仅是特指Had
  • 计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计 计算机毕业设计大神
    流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
  • redis学习笔记——不仅仅是存取数据 Everyday都不同 returnSourceexpire/delincr/lpush数据库分区redis
    最近项目中用到比较多redis，感觉之前对它一直局限于get/set数据的层面。其实作为一个强大的NoSql数据库产品，如果好好利用它，会带来很多意想不到的效果。（因为我搞java，所以就从jedis的角度来补充一点东西吧。PS：不一定全，只是个人理解，不喜勿喷）   1、关于JedisPool.returnSource(Jedis jeids)   这个方法是从red
  • SQL性能优化-持续更新中。。。。。。 atongyeye oraclesql
    1 通过ROWID访问表--索引 你可以采用基于ROWID的访问方式情况,提高访问表的效率, , ROWID包含了表中记录的物理位置信息..ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系. 通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高. 2 共享SQL语句--相同的sql放入缓存 3 选择最有效率的表
  • [JAVA语言]JAVA虚拟机对底层硬件的操控还不完善 comsci JAVA虚拟机
         如果我们用汇编语言编写一个直接读写CPU寄存器的代码段，然后利用这个代码段去控制被操作系统屏蔽的硬件资源，这对于JVM虚拟机显然是不合法的，对操作系统来讲，这样也是不合法的，但是如果是一个工程项目的确需要这样做，合同已经签了，我们又不能够这样做，怎么办呢？ 那么一个精通汇编语言的那种X客，是否在这个时候就会发生某种至关重要的作用呢？ &n
  • lvs- real 男人50 LVS
    #!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # #.  /etc/rc.d/init.d/functions VIP=10.10.6.252 host='/bin/hostname' case "$1" in sta
  • 生成公钥和私钥 oloz DSA安全加密
    package com.msserver.core.util; import java.security.KeyPair; import java.security.PrivateKey; import java.security.PublicKey; import java.security.SecureRandom; public class SecurityUtil {
  • UIView 中加入的cocos2d，背景透明 374016526 cocos2dglClearColor
    要点是首先pixelFormat:kEAGLColorFormatRGBA8，必须有alpha层才能透明。然后view设置为透明glView.opaque = NO;[director setOpenGLView:glView];[self.viewController.view setBackgroundColor:[UIColor clearColor]];[self.viewControll
  • mysql常用命令 香水浓 mysql
    连接数据库 mysql -u troy -ptroy 备份表 mysqldump -u troy -ptroy mm_database mm_user_tbl > user.sql 恢复表（与恢复数据库命令相同） mysql -u troy -ptroy mm_database < user.sql 备份数据库 mysqldump -u troy -ptroy
  • 我的架构经验系列文章 - 后端架构 - 系统层面 agevs JavaScriptjquerycsshtml5
    系统层面： 高可用性 所谓高可用性也就是通过避免单独故障加上快速故障转移实现一旦某台物理服务器出现故障能实现故障快速恢复。一般来说，可以采用两种方式，如果可以做业务可以做负载均衡则通过负载均衡实现集群，然后针对每一台服务器进行监控，一旦发生故障则从集群中移除；如果业务只能有单点入口那么可以通过实现Standby机加上虚拟IP机制，实现Active机在出现故障之后虚拟IP转移到Standby的快速
  • 利用ant进行远程tomcat部署 aijuans tomcat
    在javaEE项目中，需要将工程部署到远程服务器上，如果部署的频率比较高，手动部署的方式就比较麻烦，可以利用Ant工具实现快捷的部署。这篇博文详细介绍了ant配置的步骤（http://www.cnblogs.com/GloriousOnion/archive/2012/12/18/2822817.html），但是在tomcat7以上不适用，需要修改配置，具体如下： 1.配置tomcat的用户角色
  • 获取复利总收入 baalwolf 获取
           public static void main(String args[]){         int money=200;         int year=1;         double rate=0.1; &
  • eclipse.ini解释 BigBird2012 eclipse
    大多数java开发者使用的都是eclipse，今天感兴趣去eclipse官网搜了一下eclipse.ini的配置，供大家参考，我会把关键的部分给大家用中文解释一下。还是推荐有问题不会直接搜谷歌，看官方文档，这样我们会知道问题的真面目是什么，对问题也有一个全面清晰的认识。 Overview 1、Eclipse.ini的作用 Eclipse startup is controlled by th
  • AngularJS实现分页功能 bijian1013 JavaScriptAngularJS分页
            对于大多数web应用来说显示项目列表是一种很常见的任务。通常情况下，我们的数据会比较多，无法很好地显示在单个页面中。在这种情况下，我们需要把数据以页的方式来展示，同时带有转到上一页和下一页的功能。既然在整个应用中这是一种很常见的需求，那么把这一功能抽象成一个通用的、可复用的分页（Paginator）服务是很有意义的。   &nbs
  • [Maven学习笔记三]Maven archetype bit1129 ArcheType
    archetype的英文意思是原型，Maven archetype表示创建Maven模块的模版，比如创建web项目，创建Spring项目等等.   mvn archetype提供了一种命令行交互式创建Maven项目或者模块的方式，   mvn archetype   1.在LearnMaven-ch03目录下，执行命令mvn archetype:gener
  • 【Java命令三】jps bit1129 Java命令
    jps很简单，用于显示当前运行的Java进程，也可以连接到远程服务器去查看   [hadoop@hadoop bin]$ jps -help usage: jps [-help] jps [-q] [-mlvV] [<hostid>] Definitions: <hostid>: <hostname>[:
  • ZABBIX2.2 2.4 等各版本之间的兼容性 ronin47
    zabbix更新很快，从2009年到现在已经更新多个版本，为了使用更多zabbix的新特性，随之而来的便是升级版本，zabbix版本兼容性是必须优先考虑的一点 客户端AGENT兼容 zabbix1.x到zabbix2.x的所有agent都兼容zabbix server2.4：如果你升级zabbix server，客户端是可以不做任何改变，除非你想使用agent的一些新特性。 Zabbix代理（p
  • unity 3d还是cocos2dx哪个适合游戏？ brotherlamp unity自学unity教程unity视频unity资料unity
    unity 3d还是cocos2dx哪个适合游戏？ 问：unity 3d还是cocos2dx哪个适合游戏？ 答：首先目前来看unity视频教程因为是3d引擎，目前对2d支持并不完善，unity 3d 目前做2d普遍两种思路，一种是正交相机，3d画面2d视角，另一种是通过一些插件，动态创建mesh来绘制图形单元目前用的较多的是2d toolkit，ex2d，smooth moves，sm2，
  • 百度笔试题：一个已经排序好的很大的数组，现在给它划分成m段，每段长度不定，段长最长为k，然后段内打乱顺序，请设计一个算法对其进行重新排序 bylijinnan java算法面试百度招聘
    import java.util.Arrays; /** * 最早是在陈利人老师的微博看到这道题： * #面试题#An array with n elements which is K most sorted，就是每个element的初始位置和它最终的排序后的位置的距离不超过常数K * 设计一个排序算法。It should be faster than O(n*lgn)。
  • 获取checkbox复选框的值 chiangfai checkbox
    <title>CheckBox</title> <script type = "text/javascript"> doGetVal: function doGetVal() { //var fruitName = document.getElementById("apple").value;//根据
  • MySQLdb用户指南 chenchao051 mysqldb
    原网页被墙，放这里备用。 MySQLdb User's Guide Contents Introduction Installation _mysql MySQL C API translation MySQL C API function mapping Some _mysql examples MySQLdb
  • HIVE 窗口及分析函数 daizj hive窗口函数分析函数
    窗口函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 一、分析函数 用于等级、百分点、n分片等。 函数             说明 RANK()     &nbs
  • PHP ZipArchive 实现压缩解压Zip文件 dcj3sjt126com PHPzip
    PHP ZipArchive 是PHP自带的扩展类，可以轻松实现ZIP文件的压缩和解压，使用前首先要确保PHP ZIP 扩展已经开启，具体开启方法就不说了，不同的平台开启PHP扩增的方法网上都有，如有疑问欢迎交流。这里整理一下常用的示例供参考。 一、解压缩zip文件 01 02 03 04 05 06 07 08 09 10 11
  • 精彩英语贺词 dcj3sjt126com 英语
    I'm always here              我会一直在这里支持你                &nb
  • 基于Java注解的Spring的IoC功能 e200702084 javaspringbeanIOCOffice
                                      
  • java模拟post请求 geeksun java
    一般API接收客户端（比如网页、APP或其他应用服务）的请求，但在测试时需要模拟来自外界的请求，经探索，使用HttpComponentshttpClient可模拟Post提交请求。 此处用HttpComponents的httpclient来完成使命。 import org.apache.http.HttpEntity ; import org.apache.http.HttpRespon
  • Swift语法之 ---- ?和!区别 hongtoushizi ?swift!
    转载自： http://blog.sina.com.cn/s/blog_71715bf80102ux3v.html   Swift语言使用var定义变量，但和别的语言不同，Swift里不会自动给变量赋初始值，也就是说变量不会有默认值，所以要求使用变量之前必须要对其初始化。如果在使用变量之前不进行初始化就会报错： var stringValue : String //
  • centos7安装jdk1.7 jisonami jdkcentos
    安装JDK1.7 步骤1、解压tar包在当前目录 [root@localhost usr]#tar -xzvf jdk-7u75-linux-x64.tar.gz 步骤2：配置环境变量 在etc/profile文件下添加 export JAVA_HOME=/usr/java/jdk1.7.0_75 export CLASSPATH=/usr/java/jdk1.7.0_75/lib
  • 数据源架构模式之数据映射器 home198979 PHP架构数据映射器datamapper
    前面分别介绍了数据源架构模式之表数据入口、数据源架构模式之行和数据入口数据源架构模式之活动记录，相较于这三种数据源架构模式，数据映射器显得更加“高大上”。   一、概念 数据映射器（Data Mapper）：在保持对象和数据库（以及映射器本身）彼此独立的情况下，在二者之间移动数据的一个映射器层。概念永远都是抽象的，简单的说，数据映射器就是一个负责将数据映射到对象的类数据。 &nb
  • 在Python中使用MYSQL pda158 mysqlpython
    缘由 　　近期在折腾一个小东西须要抓取网上的页面。然后进行解析。将结果放到 数据库中。 　　了解到 Python在这方面有优势，便选用之。 　　由于我有台 server上面安装有 mysql，自然使用之。在进行数据库的这个操作过程中遇到了不少问题，这里 记录一下，大家共勉。 　　 python中mysql的调用 　　 百度之后能够通过MySQLdb进行数据库操作。
  • 单例模式 hxl1988_0311 java单例设计模式单件
    package com.sosop.designpattern.singleton; /* * 单件模式：保证一个类必须只有一个实例，并提供全局的访问点 * * 所以单例模式必须有私有的构造器，没有私有构造器根本不用谈单件 * * 必须考虑到并发情况下创建了多个实例对象 * */ /** * 虽然有锁，但是只在第一次创建对象的时候加锁，并发时不会存在效率
  • 27种迹象显示你应该辞掉程序员的工作 vipshichg 工作
    1、你仍然在等待老板在2010年答应的要提拔你的暗示。 2、你的上级近10年没有开发过任何代码。 3、老板假装懂你说的这些技术，但实际上他完全不知道你在说什么。 4、你干完的项目6个月后才部署到现场服务器上。 5、时不时的，老板在检查你刚刚完成的工作时，要求按新想法重新开发。 6、而最终这个软件只有12个用户。 7、时间全浪费在办公室政治中，而不是用在开发好的软件上。 8、部署前5分钟才开始测试。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他