大数据项目

一次线上redis实例cpu占用率过高问题优化

前情提要：最近接了大数据项目的postgresql运维，刚接过来他们的报表系统就出现高峰期访问不了的问题，报表涉及实时数据和离线数据，离线读pg，实时读redis。
weixin_33946605·2020-07-28 18:10

大数据项目测试项目的测试工作

大数据的测试工作：1、模块的单独测试2、模块间的联调测试3、系统的性能测试：内存泄露、磁盘占用、计算效率4、数据验证（核心）下面对各个模块的测试工作进行单独讲解。0.功能测试1.性能测试2.自动化测试3.文档评审4.脚本开发一、后台数据处理端后端的测试重点，主要集中在数据的采集处理、标签计算效率、异常数据排查（功能），测试脚本编写（HiveQL）、自动化脚本编写（造数据、数据字段检查等）1.数据的
weixin_30642029·2020-07-28 16:25

Maven3种打包方式中maven-assembly-plugin的使用详解

我们日常使用的以maven-assembly-plugin为最多，因为大数据项目中往往有很多shell脚本、SQL脚本、.propertie
·2020-07-28 16:21

程序员面试时,hr说一年加薪两次,可入职一年多了,一分钱都没加

21套精品Java架构师高并发高性能高可用分布式集群教程(4000G)39阶段精品云计算大数据项目实战视频教程200本经典编程相关书籍下载互联网技术(java框架分布式集群)干货视频大全程序员如何制作高质量的简历
老炮说Java·2020-07-28 05:12

大数据开发步骤和流程

大数据项目开发步骤：第一步：需求：数据的输入和数据的产出；第二步：数据量、处理效率、可靠性、可维护性、简洁性；第三步：数据建模；第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构
李旭me·2020-07-27 21:19

大数据实战项目有哪些

我们大数据课程为就业课程，除了对大数据生态圈各个服务组件进行细致的讲解，还通过企业级真实大数据项目实战，让你快速到达就业水平。
QFdongdong·2020-07-27 17:12

时间规划

每日目标规划（7/27-8/15）7/27-7/29完成项目：企业级网站流量运营分析系统7/30-8/3完成项目：DMP广告系统8/4-8/8完成项目：电信号8/9完善项目：疫情8/10-8/15:电商实战大数据项目
园狐·2020-07-27 14:00

nosql数据库学习总结

执行大数据项目的企业面对的关键决策之一是使用哪个数据库，SQL还是NoSQL?SQL有着骄人的业绩，庞大的安装基础;而NoSQL正在获得可观的收益，且有很多支持者。
bcbobo21cn·2020-07-27 11:26

一个使用多线程发送消息到kafka集群的java程序

本人之前参与的某个大数据项目，由于测试的需要，所以帮助写了一个数据发送工具用于发送大量数据到kakfa进行业务性能压测。
lhever_·2020-07-16 04:10

超大型大数据项目！！！

大数据Spark“蘑菇云”行动第50课程Spark2.0项目概述从9月20号的大数据项目课程内容开始，所有的同学每节课必须按照课程内容动手实战，且基于课程内容写项目的学习博客；第一步：需求：数据的输入和数据的产出
段智华·2020-07-15 22:13

[3.0.0]性能调优之最大化资源配置

性能调优的必要性传统J2EE项目重在架构与组建的可扩展性（当然，高并发网站除外），而大数据项目性能调优很关键。一个可正常
彭宇成·2020-07-15 18:39

大数据项目一

一、在Idea上把frame打成jar包上传到linux集群：1、步骤：选择idea上的一个项目，点击maven中的packeg：把jar包拖到hdp-1的alt+p中，不需要解压，在[root@hdp-1~]#通过java-jar------测试是否运行成功，在浏览器输入hdp-1：+idea程序端口号java-jarframe-1.0-SNAPSHOT.jar运行效果与浏览器效果：2、nige
livia*·2020-07-15 17:56

大数据项目离线流程

大数据离线流程1、数据来源获取方式：在页面预埋一段js程序，为页面上想要监听的标签绑定事件，只要用户点击或移动到标签，即可触发请求到nginx服务器，从而在nginx服务器上形成不断增长的日志文件。本次项目中javasdk的作用主要就是发送支付成功/退款成功的信息给nginx服务器2、数据采集我们需要将用户浏览的数据采集到我们的存储系统(hdfs)中，那么在本次课程中，我们只收集pc端数据和程序后
小毛睿耶巴蒂·2020-07-15 07:57

纯脚本实现 sftp采集lzo压缩文件解压缩直接入hdfs（中途不落地，全程linux管道操作）

最近处理大数据项目，客户有两个数据中心，数据采集，传输成了整个项目的最棘手问题。最近又有sftp数据文件采集要求，一天13TB之巨，将近8-13万个文件，并且每个文件都是lzo格式压缩过的。
夜魔009·2020-07-14 23:50

Spark 2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）

胜任PB级大数据的开发和优化，面试中说出来都是亮点，是跳槽、转型、加薪的利器，让你轻松实现华丽转身。只要你有一点Hadoop、Spark和Scala基础，并且能保持学习的热情，那么就跟随老师来吧。第一章：流式数据实时分析（Kafka+SparkStreaming+Redis）1、流式实时数据分析项目实战内容提纲（企业级开发、仿双十一订单实时统计及性能优化）2、SparkStreaming实时状态统
richard_w0ng·2020-07-14 17:18

大数据项目失败的 4 个原因和成功的 4 种方法

大数据项目的规模和范围都很大，往往雄心勃勃，但往往都是彻底的失败。2016年，Gartner估计60%的大数据项目都失败了。
cxq8989·2020-07-14 09:19

机器学习导论——大数据项目架构

以电信日志分析为例一、项目名称：电信日志分析系统二、项目描述：电信日志分析系统是以电信用户上网所产生的数据进行分析和统计计算，数据主要来源于用户的上网产生的访问日志和安全日志，通过Hadoop大数据平台完成日志的入库、处理、查询、实时分析、上报等功能，达到异常IP的检测、关键词过滤、违规违法用户的处理等，整个项目数据量在1T-20T左右，集群数量在10台到100台。三、项目架构分析数据采集层：ft
DAN_L·2020-07-14 04:11

实战大数据读书笔记

首先说下对这本书的感觉，虽然这貌似是第一本讲述大数据项目案列（基于微博的股票市场预测系统，技术内容的海量视频检索系统，基于HDFSd的云文件系统）的书籍，但是书上面的代码很少，图书馆和网上都没有源码可供下载
love others as self·2020-07-14 02:38

大数据系列（1）——Hadoop集群坏境搭建配置

关于大数据的概念和方法论铺天盖地的到处宣扬，但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案，更有很多数据相关的项目比如弄几张报表，写几个T-SQL语句就被冠以“大数据项目
weixin_34032827·2020-07-14 00:02

视频教程-Kylin大数据实战学习教程-大数据

Kylin大数据实战学习教程大数据高级架构师，多年大数据项目架构及研发经验，同时有丰富的授课经验。致力于打造大数据精品课程，让每位学习大数据的同学，学的起、学得会、学的好。
学院导师-易水·2020-07-13 17:30

一位上海土著90后，教你用Python和数据赚到人生第一桶金

小胖是前普华永道的TechLeader，带领大数据团队完成了全美医疗保险大数据项目的一期工作，获取U.S.的一致好评。「红色警戒：复兴」联合创始人。
轮子厂长·2020-07-13 14:17

新闻网日志实时分析可视化系统项目

本次项目是基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。
小飞猪666·2020-07-12 17:38

高级大数据开发工程师

岁学历要求：统招本科以上工作年限：6年以上工作职责：1、负责大数据基础平台、应用平台版本的设计、开发、维护工作；2、根据各项目的实际需求，基于大数据平台，设计、开发符合用户需求的业务功能；3、维护各地的大数据项目
王梦玮·2020-07-12 12:54

大数据招聘分析

发现有以下相似性：要求有Java基础扎实，熟悉常用的消息队列kafka、缓存Redis等中间件，熟悉Spring框架；熟悉常见大数据计算框架，如Hadoop、HBase、Storm、Flink、ES等；有大数据项目经验
weixin_33924220·2020-07-12 08:53

机器学习概论

(了解)3.大数据项目架构-以电信日志分析为例(理解)5.机器学习-人工智能概念区别和联系(掌握)6.机器学习-数据、数据分析、数据挖掘区别和联系(掌握)7.什么是机器学习(掌握)2.大数据的4
不可描述的两脚兽·2020-07-10 17:00

新手小白如何学习云计算大数据（必学干货整理

如今，大数据的发展趋势正在迅速转变，但专家预计机器学习、预测分析、物联网、边缘计算将在未来几年对大数据项目产生重大影响。新手小白如何学习云计算大数据呢？如今大数据已不再只是一个流行术语。
单人季节·2020-07-10 10:33

德江多措施推进大数据应用“智慧德江”建设

《德江企业云管理平台建设方案》《德江县800公里农村光纤网络基础设施建设可行性研究报告》《德江县公共无线WIFI建设项目可行性报告》《德江县呼叫中心座席建设及呼叫与信息化人才实训基地可行性研究报告》等大数据项目规划编制
weixin_34168700·2020-07-10 08:25

某大数据项目感想留记

一、项目名称XXXX平台大数据改造二、开发周期2016年3月-2016年11月三、从个人视角看团队1)值得保持的优点团队氛围融洽、交流通畅。团队构成比较合理。年轻人技术强力，老人能够把控项目方向。遇到问题及时沟通，群策群力解决问题。有吃苦耐劳的精神，每个人都抱有很高的责任心。能顶住持续高强的压力。公司大环境给予的支持力度大，从技术、工程、到后勤保障都值得称赞。2)仍需要改进的地方需求管理：客户提出
weixin_30293135·2020-07-10 06:43

实施大数据项目时所需要做的三件事

鉴于现如今的企业都在开始积极的挖掘并分析大数据，目前已然有了一些变化的征兆正在形成。这一次，似乎是HPC（高性能计算）的硬件供应商们在进行一些反思：到底哪些硬件设备能够为大数据的有效载荷提供最佳的处理，以便能够满足对大数据尽快处理和分析的需求。大数据的HPC遗产扎根于高校和科研院所，以其超大的碳排放量和运作成本维持着超级计算。但是，一般的大型企业和中小企业并不适合运营这样的空间。相反，这些企业希望
cigang4063·2020-07-09 14:17

聊聊一下DevOps背景后面的组织

今年以来做的事情越来越杂，近来负责商务厅的一个大数据项目产品，业
守望村夫·2020-07-09 09:43

初识flink

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：Flink大数据项目实战：http://t.cn/ExrHPl9
大数据研习社·2020-07-09 07:34

【ADS层表-V1】前端页面所需的数据库设计——大数据开发实战项目（五）

从5月25号我们开始了为期两个月的实习，我们需要做一个大型大数据项目，一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏，我会每天更新。大数据项目开发进度（实时更新）专栏
爱做梦的鱼·2020-07-08 21:00

从数据分析到数据洞察，蚂蚁金服ConnectedInsight是如何做到的？

而麦肯锡的一项对700+家企业的调查显示，许多公司、尤其是传统公司还没有从大数据项目获得预期的结果，或者还没有获得相当高的投资回报率。大数据项目投入后收入平均仅增加了6%。
煊琰·2020-07-08 19:27

为IoT和大数据项目分配IT资源

大数据和物联网项目给IT基础架构带来了前所未有的压力。InternetofThings(IoT)和大数据应用已经给网络和存储架构带来了压力，更不用说这还需要IT专家使用不同的技能和工具来管理这些新的部署了。虽然执行起来很有挑战性，但是也有一些为IT团队而设的指导方针来帮助他们托管IoT和大数据。这得从审查基础架构中大规模、数据密集型的项目需求开始。更多的处理能力一旦项目进入到具体的实施阶段，IT组
weixin_34192732·2020-07-08 17:39

大数据项目

1、Hadoop概述HDFS，MapReduce，yarn2、项目需求分析与设计3、Linux环境配置1、配置hostname，便于直接用主机名访问。配置host对应主机名network配置host地址映射2、切换到root用户下，编辑sudoers使kfk免密码输入查看防火墙状态sudoserviceiptablesstatus，修改selinuxSELINUX=disabled使得关闭防火墙。
闵豪miao·2020-07-08 05:47

2018-11-24

今天开始做python大数据项目，在看代码时发现了drop函数，自己测试时使用以下代码。
We2sWing·2020-07-07 15:34

2、Hadoop离线项目之数据清洗

企业级大数据项目开发流程项目调研：技术？业务？
chenlan1927·2020-07-07 05:47

大数据项目【大型电商日志分析系统】

今天我们再公布一个大数据项目，为想找到大数据工作的堂粉提供弹药，把堂粉们个个喂得白白胖胖。
人工智能Study·2020-07-06 05:33

SQL/NoSQL两大阵营激辩:谁更适合大数据

文章讲的是SQL/NoSQL两大阵营激辩:谁更适合大数据，目前，企业在着手推动大数据项目的过程中，经常会遇到这样一个关键性的决策难题——到底该使用哪种数据库方案?
weixin_33725270·2020-07-05 22:48

大数据分析方法：定性研究还是定量研究

事实上，如果您企业雇用的大数据科学专家所持有的大数据项目理念与您打算在企业业务方面采用的战略哲学不协调的话，您会让自己陷入真正的麻烦。
weixin_30885111·2020-07-05 22:07

FreeRTOS学习（三）

队列所能保存的最大数据项目数量叫做队列的长度，我们在创建队列的时候需要制定数据项目的类型和队列的长度。由于队列是用于传递消息的，也成为消息队列，队列是信号量实现的依据。
楓潇潇·2020-07-05 18:57

【智能金融】【风控】探索大数据时代风控模型技术和应用

注：来源大数据风控联盟，编辑：Fynlch（王培）最详细大数据项目落地路线图实践总结作者：田军来源数据观今天，来谈一谈“大数据项目如何落地？”这个话题。
产业智能官·2020-07-05 01:44

尚 大数据项目之开发电商数仓

01_数仓项目介绍.avi02_数仓采集_用户行为采集课程介绍.avi03_数仓采集_数仓的概念.avi04_数仓采集_项目需求.avi05_数仓采集_项目技术选型.avi06_数仓采集_系统数据流程设计.avi07_数仓采集_框架版本选型.avi08_数仓采集_框架版本具体型号.avi09_数仓采集_服务器选型.avi10_数仓采集_集群资源规划设计.avi11_数仓采集_测试集群服务器规划.a
T13187074755·2020-07-04 08:49

做了这么多年Java程序员，我想转大数据了

如何快速转行大数据分享转行经验路线对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里掌握
✾ ͡冷೨夏ʚɞ͜✿·2020-07-04 01:48

大数据项目2：内存受限的大数据预测模型

内存受限的大数据预测模型junjun2016年2月15日Rmarkdown脚本及数据集：http://pan.baidu.com/s/1bogaFrp一、项目简介：回归树用于分类预测1、项目集数据介绍使用randomForest包和party包来创建随机森林的区别：randomForest包无法处理包含缺失值或者拥有超过32个等级水平的分类变量。本例子是在内存受限的情况下简历一个预测模型。由于训练
qq_16365849·2020-07-02 16:36

大数据项目实战之调优思路

session聚合统计之重构实现思路session聚合统计（统计出访问时长和访问步长，各个区间的session数量占总session数量的比例）的传统思路:1、actionRDD，映射成的格式2、按sessionid聚合，计算出每个session的访问时长和访问步长，生成一个新的RDD3、遍历新生成的RDD，将每个session的访问时长和访问步长，去更新自定义Accumulator中的对应的值4
码动乾坤·2020-07-02 09:51

大数据测试笔记（1）-测试的3条建议

大数据，咋一听起来都觉得很神秘，很高大上，从2013年开始听得越来越多，什么数据挖掘，数据分析、机器学习、算法，让我等听起来天马行空，雾里看花，有幸接触到了大数据项目，让我拨开云雾，原来大数据其实简单，
dianshabeng2169·2020-07-01 22:32

Flink学习笔记：Connectors之kafka

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：Flink大数据项目实战：http://t.cn/ExrHPl91
大数据研习社·2020-07-01 21:17

环境搭建-CentOS服务器之间设置免密码登录

  在做大数据项目分布式开发时会用到Hadoop组件，Hadoop集群由Namenode节点和Datanode节点组成，在运行启动集群操作时，需要从Namenode节点登录到Datanode节点，执行相关启动脚本
Statmoon·2020-07-01 14:05

SQL/NoSQL两大阵营激辩：谁更适合大数据

NoSQL两大阵营激辩：谁更适合大数据2014/07/30|分类：IT技术|0条评论|标签：NOSQL,SQL,大数据原文出处：networkworld译文出处：it168欢迎分享原创到伯乐头条企业在着手推动大数据项目的过程中
Joey_Zhao·2020-07-01 10:40
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他