大数据项目第12页

数据分析师成长日记1

【工作职责】1、参与AI大数据项目的数据探索、分析洞察、挖掘建模工作，完成数据获取、指标定义、可视化设计等内容，开发并持续完善公司各项业务数据的统计分析模型，确保其准确性、实用性及可衡量性；2、能够基于数据分析得到有价值的信息

dxwd320·2020-06-26 22:11

大数据技术大合集：Hadoop家族、Cloudera系列、spark、storm

为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.hadoop都包含什么技术？

墨者侠客sbw·2020-06-26 22:59

大数据处理需要用到的编程语言开发语言

你有一个大数据项目，你知道问题领域（problemdomain），也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言？

白及·2020-06-26 21:04

大数据项目流程和架构的初见

一、项目流程1）需求概况：实现目标是什么？———通过大数据获取什么信息2）需求分析：用什么样的数据，实现什么样的效果。数据源的考量（数据的种类和量的大小），数据呈现的思考（实时，非实时性）。2）大概思路：数据来源，数据提取（达到目标），数据输出。数据来源的种类，数据提取方式，数据输出的方式。3）具体思考：1>数据源：来源类别（日志，数据库，数据仓库，流数据）数据类型（xml，json，无格式文本）

flex_lin·2020-06-26 08:30

2018年最强干货！年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。

大数据周刊·2020-06-26 05:37

数据湖，大数据的下一个变革

2016年，Gartner公司估计有60%的大数据项目遭遇失败。一年之后，他们表示60%的估计太过保守，这个数字应该是85%。大数

qunqun8889·2020-06-26 04:48

1.4 Apache Flink 开发环境搭建

Flink开发环境部署和配置Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用maven来编译和构建项目。

一角钱_hui·2020-06-26 03:21

大数据平台架构技术选型与场景运用

视频地址：https://mp.csdn.net/console/editor/html/104497130摘要本次分享将结合多个大数据项目与产品研发的经验，探讨如何基于不同的需求场景搭建通用的大数据平台

Wonder ZH·2020-06-25 22:34

hadoop常见组件及其功能

二、准备工作1、确认储存规模有很多的大数据项目其实数据量跟本没这么大，跟本不需要到使用Hadoop这类的大数据软件，所以，第一步应该是先确认数据量有多大，真的MyS

王小明py·2020-06-25 20:31

大数据项目——网站流量日志数据分析-架构实现思路

文章目录1.整体技术流程及架构1.1数据处理流程数据采集数据预处理数据入库数据分析数据展现1.2系统整体架构2.处理的数据说明1.整体技术流程及架构1.1数据处理流程网站流量日志数据分析是一个纯粹的数据分析项目，其整体流程基本上就是依据数据的处理流程进行。有以下几个大的步骤：数据采集数据采集概念，目前行业会有两种解释：一是数据从无到有的过程（web服务器打印的日志、自定义采集的日志等）叫做数据采集

ICoder_Next·2020-06-25 10:13

大数据项目之电商数仓（用户行为数据仓库）

第1章数仓分层概念1.1为什么要分层1.2分层结构图数据分层原理1、ODS层（原始数据层）原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。2、DWD层（明细数据层）结构和粒度与ODS层保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据），也有公司叫DWI。3、DWS层（服务数据层）以DWD为基础，进行轻度汇总。一般聚集到以用户当日，设备当日，商家当日，商

魔法 • 革·2020-06-25 05:42

大数据项目之电商数仓（用户行为数据采集）

第1章数据仓库概念第2章项目需求2.1项目需求分析2.2项目框架2.2.1技术选型2.2.2系统架构图设计2.2.3系统数据流程设计2.2.4框架版本选型产品版本Hadoop2.7.2Flume1.7.0Kafka0.11.0.2KafkaManager1.3.3.22Hive1.2.1Sqoop1.4.6Mysql5.6.24Azkaban2.5.0Java1.8Zookeeper3.4.10注

魔法 • 革·2020-06-25 05:42

idea配置hadoop开发环境以及遇到的问题-java.net.URISyntaxException: Relative path in absolute URI

前言:公司要搞一个大数据项目,做之前先让我搭建三个节点hadoop+hive做技术预研.搭建好之后,想试试mapreduce程序能不能跑得起来,一直以来开发工具用的都是eclipse,但现在的同事都习惯用

我思故我在@qi·2020-06-24 21:08

Flink开发环境部署和配置

Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用maven来编译和构建项目。

muyingmiao·2020-06-24 16:33

数据脱敏在政务数据安全共享交换中的应用

目前整个社会都面临着数字化转型，“疫情”的突发，如同催化剂般加速了各种业务数字化转型的进程，而在最近支持的政府大数据项目中，我们也欣喜的感受到转型进程中数据安全地位的变化：过去IT项目里，据不完全统计，

数据库安全·2020-06-24 14:00

大数据项目实战之十三:13.Spark上下文构建以及模拟数据生成

importcom.ibeifeng.sparkproject.conf.ConfigurationManager;importcom.ibeifeng.sparkproject.constant.Constants;importcom.ibeifeng.sparkproject.util.MockData;importorg.apache.spark.SparkConf;importorg.ap

码动乾坤·2020-06-24 08:22

大数据项目实战之五:5.数据库表设计

在进行完了数据调研、需求分析、技术实现方案，进行数据设计。数据设计，往往包含两个环节，第一个就是我们的上游数据，就是数据调研环节看到的项目基于的基础数据，是否要针对其开发一些HiveETL，对数据进行进一步的处理和转换，从而让我们能够更加方便的和快速的去计算和执行spark作业；第二个，就是要设计spark作业要保存结果数据的业务表的结构，从而让J2EE平台可以使用业务表中的数据，来为使用者展示任

码动乾坤·2020-06-24 08:22

大数据项目实战之三:3.需求分析

需求:1、按条件筛选session2、统计出符合条件的session中，访问时长在1s~3s、4s~6s、7s~9s、10s~30s、30s~60s、1m~3m、3m~10m、10m~30m、30m以上各个范围内的session占比；访问步长在1~3、4~6、7~9、10~30、30~60、60以上各个范围内的session占比3、在符合条件的session中，按照时间比例随机抽取1000个ses

码动乾坤·2020-06-24 08:21

大数据项目实时数据采集流程步骤分析

1.数据来源：比如，网站或者app。非常重要的一点，就是埋点。也就是说，埋点，在网站/app的哪个页面的哪些操作发生时，前端的代码（网站，JavaScript；app，android/IOS），就通过网络请求，（Ajax；socket），向后端的服务器发送指定格式的日志数据。2.Nginx，后台Web服务器（Tomcat、Jetty），后台系统（J2EE、PHP）。到这一步为止，其实还是可以跟我们

码动乾坤·2020-06-24 08:21

Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行

一、准备工作Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在GitHub上，并使用Maven来编译和构建项目。

limh_hai·2020-06-24 05:43

R、Python、Scala 和 Java，到底该使用哪一种大数据编程语言？

有一个大数据项目，你知道问题领域(problemdomain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?

iteye_4271·2020-06-23 19:51

金融科技野蛮袭来证券业“实战”大数据分析

——财通大数据项目负责人自上世纪90年代至今，中国证券行业经过二十多年的发展，从初步萌芽到发展壮大、从监管缺位到逐步完善，市场规模已经达到发达国家几十年甚至上百年的发展水平，成为金

Kyligence·2020-06-23 18:40

Flink学习笔记：Flink API 通用基本概念

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.继续侃Flink

大数据研习社·2020-06-23 05:36

大数据运维：大数据平台+海量数据

此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成（此时少有专业大数据运维人才）。

大数据研习社·2020-06-23 02:00

大数据如何改变商业？未来五年路线图

大数据项目从本质

cuixiuqin1954·2020-06-23 01:17

大数据未来应用的五大发展方向

同样，来自NewVantagePartners的“2016年大数据执行调查”发现，62.5%的企业现在至少有一个大数据项目投入使用，只有5.4%的企业没有计划或没有实施大数据项目。

数据工程师大牛·2020-06-23 00:29

关于大数据的五大陷阱

很多还未实施大数据项目的企业正在评估他们2016年的数据战略，其它公司则在审视它们现有的项目，探索利用分析改善经营和增加收入的新方法。事实上，

cheyan5318·2020-06-22 22:57

大数据应用将促进中国产业发展

贵阳需要争取部委、央企对贵阳大数据项目的合作和支持。胡本钢说，中国经济面临着前所未有的新常态，这需要大数据对中国经济每一个细节数据要有真实的反映，全面了解影响中国经济发展的重要因素。

cheyan5318·2020-06-22 22:57

【推荐】深度解析Apache Flink结构

ApacheFlink（以下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。

大树叶·2020-06-22 18:57

精心整理14道高频消息队列场景面试题(建议收藏)

常见的的分布式系统中有RabbitMQ、ActiveMQ、RocketMQ等，而在大数据项目中比较常用的是Kafka。今天我整理了几道在面试中常见的消息队列面试题，供大家学习参考。

无精疯·2020-06-22 11:12

大数据项目之电商数仓离线计算

本次项目是基于企业大数据的电商经典案例项目（大数据日志以及网站数据分析），业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。1.系统数据流程设计我这里主要分享下系统数据大致流通的过程。电商数据来源为两部分：第一部分是java以及前端等程序员在网站做的埋点，用户点击产生的日志数据，通过springboot以及nginx等将数据分发到日志服务器。这里我们直接写了一

慕容馨磊·2020-06-22 11:01

Flink随堂笔记：Flink API 通用基本概念

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKcD1继续侃Flink

大数据研习社·2020-06-22 09:22

大数据项目V1（flume采集数据到kafka下沉到hive）

1.将项目打成jar包并上传至linux集群，可通过命令java-jar运行并通过hdp-1:8385检测是否运行成功。运行成功2.启动nginx（目的是为了产生日志，还有负载均衡和反向代理以后更新）特别注意配置文件#usernobody;worker_processes1;#error_loglogs/error.log;#error_loglogs/error.lognotice;#error

不掉发不改名·2020-06-22 05:38

如何在简历中编写Spark大数据项目经验

场景准备换工作开始新的人生道路了：纠结，，，怎么优雅地编写项目经验呢？简历基本信息姓名:彭宇成年龄：xxCET-6：xxScores学历:本科专业：通信工程毕业院校：xxxx技术博客：http://blog.csdn.net/pengych_321个人网站：http://pengych.cool工作经历：2012/5-2014/3**公司服务器端开发工程师2014/3-2016/6**公司高级软件

彭宇成·2020-06-22 03:11

Flink流计算引擎

统一的批处理与流处理系统在大数据处理领域，批处理任务与流处理任务一般被认为是两种不同的任务，一个大数据项目一般会被设计为只能处理其中一种任

Joker_Chou·2020-06-21 23:03

大数据项目之ip条数统计 nginx flume kafka hive

一.项目目的对日志中ip条数进行统计统计二.项目流程图片出自：https://blog.csdn.net/lucasmaluping/article/details/102685434三.项目操作1.frame打成jar包上传到linux集群通过java-jar，测试是否运行成功：hdp-1:88892.修改配置文件，自定义ngnix输出日志的格式修改配置文件cd/usr/local/nginx/

FreedomZzzzz·2020-06-21 20:47

各种大数据技术总结

为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。

雪峰庙·2020-06-21 14:59

政府大数据之资源目录管理

萝卜@大数据·2020-06-21 13:38

视频教程-Flink1.8快速入门与实战-大数据

Flink1.8快速入门与实战10年一线开发及项目管理经验，6年以上大数据项目架构、实施、开发与运维经验，骨灰级大数据玩家，对Hadoop、Storm、Spark、Flink、Kylin、Druid等大数据技术有较深研究

weixin_33438132·2020-06-21 10:09

视频教程-Flink大数据项目实战-大数据

Flink大数据项目实战10年一线开发及项目管理经验，6年以上大数据项目架构、实施、开发与运维经验，骨灰级大数据玩家，对Hadoop、Storm、Spark、Flink、Kylin、Druid等大数据技术有较深研究

weixin_31936363·2020-06-21 10:38

视频教程-Flink 快速入门-大数据

Flink快速入门10年一线开发及项目管理经验，6年以上大数据项目架构、实施、开发与运维经验，骨灰级大数据玩家，对Hadoop、Storm、Spark、Flink、Kylin、Druid等大数据技术有较深研究

学院导师-杨俊·2020-06-21 10:38

Spark MLlib 分布式机器学习并行训练原理一文读懂

作为流行了至少五年的大数据项目

小晓酱手记·2020-06-21 07:55

视频教程-Hadoop项目实战：新闻离线项目分析-Hadoop

Hadoop项目实战：新闻离线项目分析大数据高级架构师，多年大数据项目架构及研发经验，同时有丰富的授课经验。致力于打造大数据精品课程，让每位学习大数据的同学，学的起、学得会、学的好。

weixin_31898015·2020-05-28 10:00

Privacy-i：用于个人数据管理的基本安全工具

随着企业越来越依赖数字信息来开展业务，大数据项目已成为主流，以数据为中心的安全性正在迅速发展。

哲想软件·2020-05-28 00:00

2020政府工作报告八大亮点解读

国家发展和改革委员会主任何立峰、国家财政预算绩效专委会副主任委员张依群、央行货币政策委员会委员马骏等官员，及中国企业研究院院长李锦、国研新经济研究院执行院长朱克力、中国社科院财经战略研究院住房大数据项目组组长邹琳华

华夏时报·2020-05-23 00:00

哪些因素影响大数据准备策略

实际上，不良的数据准备是导致大数据项目失败的主要原因，而管理此类项目的人负担不起，只是出于这个原因，对于企业来说，拥有大数据准备策略和方法并如实执行是至关重要的。

中琛魔方灬·2020-05-14 13:24

社科院报告：深圳房价出现结构性快速上涨，不采取严厉管控或全面上涨

华夏时报记者刘诗萌北京报道4月27日，中国社科院财经战略研究院住房大数据项目组发布了2020年4月《中国住房大数据分析报告——从深圳到全国的房价涨跌格局与对策》（下称“报告”）。

华夏时报·2020-04-27 00:00

网易云音乐用户画像大数据项目实战

网易云音乐用户画像大数据项目实战之前本人整理的大多为学习笔记进行知识点的整理，而这篇将会把以前的大部分知识点串联起来，搞一个完整的项目，主要涉及的流程为模拟用户日志数据的生成，ETL以及编写sql分析函数进行最终的

终极菜鸡·2020-04-07 20:00

[APP大数据项目]第六天笔记

sparkstreaming实现用户的准实时更新sparkthriftserver替换hiveserver2HBase创建app_users表:基本属性字段，firsttime(第一次启动时间),lasttime(最后一次启动时间)使用phoenix,Hbase上的SQL支持实现思路sparkstreaming从kafka接收消息，设置每5秒为一个窗口一个窗口期会来很多数据，要做的是：1）如果该[

猛男落泪为offer·2020-04-06 19:50

[APP大数据项目]第五天笔记

查询某个app当前周每天新增用户数SELECTformattime(t.mintime,'yyyy/MM/dd')stdate,count(*)stcountFROM(SELECTdeviceid,min(createdatms)mintimeFROMext_startup_logsGROUPBYdeviceidHAVINGmintime>=getweekbegin()ANDmintime=for

猛男落泪为offer·2020-04-06 19:53

推荐频道

大数据项目