层次数据库、网状数据库
关系型数据库,目前主流的数据库包括Oracle、MySQL、PostgreSQL、DB2、SQL server等
关系型数据库可以很好地处理结构化数据,但是对于大量的数据、数据类型多样化的问题却难以处理,所以就产生了非关系型数据库,比如说NoSQL,但是这样就丧失了关系数据库的强一致性、事务支持等特性
key-value数据库:redis memched
列存储:bigtable Hbase
大约在20世纪90年代才进入萌芽阶段,比如说现在发展较好的有PingCAP的TiDB(兼容MySQL)、华为的openGauses、阿里的OceanBase、达梦数据库DM、南大通用GBase、人大金仓的KingBase、腾讯的TDSQL、中兴的GoldenDB(主要应用于金融、财政行业,采用无共享架构)等
触发器是一种特殊类型的存储过程,是通过事件触发而被执行的,既不是主动调用而执行的,trigger,指事先为某张表绑定一段代码,当表中的某些内容发生改变的时候,系统会自动触发代码并执行
作用:
在写入数据前,强制检验或转换数据,是为了保护数据的安全
触发器发生错误的时候,前面用户已经执行成功的操作会被撤销,类似于事务的回滚
基本语法:
delimiter 自定义结束符号
create trigger 触发器名字 触发时间 触发事件 on 表 for each row
begin
----触发器内容主体
end
delimiter;
before after 如果before触发器失败或语句本身失败,将不执行after触发器
对应的触发操作有:
INSERT DELETE UPDATE
每个表中的每个事件每次只能允许一个触发器,因此每个表最多6个触发器,before/after insert
before/after delete before/after update
可以通过数据库中的关联表实现级联更改,一张表数据的改变会影响到其他表的数据
可以保证数据安全,并进行安全校验
flume技术把数据采集搬运到指定位置,然后使用到了nginx日志进行收录,nginx是作为http和反向代理的web服务器,不管是做用户行为分析还是安全分析都是非常重要的数据源之一,nginx可以帮助我们记录常规需要记录的数据,比如说从那个页面链接访问过来、客户端浏览器信息等
ETL(数据入库):
预处理完的数据通过会导入到hive数据仓库中,建立到库和表中之间映射关联,把数据加进到面向分析的数据仓库,而不是数据库,是将数据进行抽取、清洗转换之后加载到数据仓库的过程。
数据库访问技术主要包括:ODBC、DAO、OLE DB 、 ADO、 JDBC等
ODBC:开放数据库互连,提供一组访问数据库的标准API,一组函数调用组成,核心是SQL语句
DAO:数据访问对象集,是一种对象集合访问技术,能够独立于数据库管理系统,对数据进行交互和访问
异步复制是mysql默认的复制方式
数据库的读写延迟的因为会受到网络磁盘等相关因素的影响,但是可能最主要的影响是master太过繁忙写入导致slave无法有效从日志中读取到最新的相关记录。
软件实施工程师需要有专业的能力、工作思维、软实力以及意识和进取心,要有项目进度、优先级别、质量观念和服务意识,不仅需要扎实的计算机专业知识,良好的表达沟通能力和健康的心理素质。
这个岗位大概就是参与到产品软件的开发计划,对软件安装使用培训进行现场指导,解决疑难问题
对软件项目开发过程中遭遇到的问题要及时解决,组织相关的工作人员进行软件项目验收
负责客户定期回访,了解客户需求与意见,跟踪处理产品问题
综合项目写文档,协助公司其他部门排除技术方面的故障
大概就是实施工程师是离客户最近的,最需要去了解用户的具体需求,沟通能力要求比较重要,现场的压力可能比较大