hadoop第七天

1.公司用的最多的就是hive的udf
2hive和数据库的区别:关系数据库可以实时增删改查, hive是数据仓库,一写多读, 可以保存大量数据,可以分析计算,不能实时修改,要先下载,修改,上传,不能删除,只能删除文件
hive数据挖掘工具,一种sql解析引擎,可以把sql语句转化成MR在job上运行
业务通过hive解决,不求就自定义udf,最后考虑mapreduce
hive里面的表对应hdfs里面的文件夹,hive表里面的数据对应hdfs里面的文件
hive的用户接口常用shell命令行,jdbc/odbc问题多,过场多,打开连接,连接,关闭连接,对并发和连接支持不好,淘宝都用shell
hive的状态下运行hdfs的命令
(遇到的困难,hive执行不了)修改源码
公司中sqoop和hive用的多
spark是内存计算,数据量大吃不消,hive的地位高
hive的udf,就是自定义函数
存储过程和函数的区别?存储过程有输入有输出,但是函数有返回值,存储过程没有
系统位数,jdk的版本,都会导致错误
负载均衡服务器(f5)只负责消息转发,不处理逻辑
自动化采集框架flume 1.5.0
数据采集基于多agent
flex视图工具
5:历史数据至少200G,每天2-3G,集群20台左右,200G一般业务MR跑半个小时,pv,uv指标,cookie唯一标识

你可能感兴趣的:(hadoop第七天)