【大数据开发】

Kafka+Spark Streaming管理offset的几种方法

来源:大数据技术与架构作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
大数据技术与架构·2020-08-18 12:34

网站日志实时分析之Flink处理实时热门和PVUV统计

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
大数据技术与架构·2020-08-18 12:34

你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)

来源:大数据技术与架构作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-18 11:36

FlinkSQL怎么查找到要执行的代码

写在前面：我是「且听风吟」，目前是一名大数据开发工程师，热爱大数据开源技术，喜欢分享自己的所学所悟，现阶段正在从头梳理大数据体系的知识，以后将会把时间重点放在Spark和Flink上面。
且听_风吟·2020-08-18 11:47

如何通过合理的学习规划，快速入门大数据开发

对于很多初级开发者，或者还没什么实际开发经验的人来说，大数据相关技能看起来特别吓人，因为一堆特别复杂的英文名词，以及听起来难度极高的各种“架构”。但真正去学习上手，你就会发现，这个被传得神乎其技的技术，并没有想象中的那么难，甚至还有点有意思。对于每一个想往更高层次发展的技术人来说，后台数据处理，数据架构的搭建、数据性能的优化，都是绕不过去的技能。而且，随着企业数据量的快速增加，后台数据架构开发的需
大数据基础入门教程·2020-08-18 11:09

玩转大数据开发套件--（2）

为此星环针对使用体验上的需求打造大数据开发套件TranswarpStudio，深化大数据技术的应用，在数字化浪潮下推动大数据技术对产业的赋能。
大数据基础入门教程·2020-08-18 11:09

大数据开发必备技能

大数据必备技能详细因为笔者本身是偏Java应用方向的，所以整理的大数据必备技能详细，也是偏向于大数据工程师方向。总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器学习算法大数据技术基础linux操作基础linux系统简介与安装linux常用命令–文件操作linux常用命令–用户管理与权限linux常用命令–系统管理linux常用命令–免密登陆配置与
大数据基础入门教程·2020-08-18 11:09

玩转大数据开发工具--（1）

为了降低大数据应用开发的门槛，简化开发过程，星环随TranswarpDataHub5.0开发出了大数据开发套件TranswarpStudio。
大数据基础入门教程·2020-08-18 11:09

大数据开发 | MapReduce

1.MapReduce介绍1.1MapReduce的作用假设有一个计算文件中单词个数的需求，文件比较多也比较大，在单击运行的时候机器的内存受限，磁盘受限，运算能力受限，而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度，因此这个工作可能完成不了。针对以上这个案例，MapReduce在这里能起到什么作用呢，引入MapReduce框架后，开发人员可以将绝大部分工作集中在业务逻辑
大数据基础入门教程·2020-08-18 11:09

数据仓库系列（1）：为什么要搭建数据仓库

系列说明：本文写作的初衷，是想以阿里巴巴的OneData体系为出发点，详细阐述数据仓库搭建的初衷、架构的理念及实现的方式，借此来总结从事大数据开发岗位多年以来的经验积累。
晓阳的数据小站·2020-08-18 11:00

【大数据开发】HDFS——Hadoop概念、背景、生态圈、分布式系统day34

一、Hadoop概念1.Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台，使用java语言开发，具有很好的跨平台性，可以运行在商用(廉价)硬件上，用户无需了解分布式底层细节，就可以开发分布式程序，充分使用集群的高速计算和存储。hadoop提供的功能：利用服务器集群，根据用户自定义的业务逻辑，对海量数据进行分布式处理HadoopCommon：支持其他hadoop模块的通用工具H
这个妹妹我见过·2020-08-18 10:29

kafka实战篇（一）：Producer消息发送实战

写在前面：我是「且听风吟」，目前是某上市游戏公司的大数据开发工程师，热爱大数据开源技术，喜欢分享自己的所学所悟，现阶段正在从头梳理大数据体系的知识，以后将会把时间重点放在Spark和Flink上面。
且听_风吟·2020-08-18 10:30

大数据 - （五-1）- Impala

什么是Impala针对存储在Hadoop的HDFS和HBase中的PB级大数据进行交互式实时查询（速度快）Impala有什么优势大数据领域最大的问题是数据存储和分析粗略划分大数据开发任务数据采集（日志文件
啦啦啦喽啰·2020-08-18 09:37

2020网易大数据开发面试题整理 (提前批) (持续更新)

博主近期在整理各大厂面试题，每天会更新一点，没有答案的题目，表示博主也不知道，有答案的题目也不一定正确，希望各位同学自主判断，如果博主有写错的地方，欢迎在评论区补充1.spark数据倾斜怎么引起的？该怎么解决？产生原因：RDD的逻辑其实是表示一个对象集合，在物理执行期间，RDD会被分为一系列的分区，每个分区都是整个数据集的子集。当spark调度并运行任务的时候，spark会为每一个分区中的数据车床
艾姆鸥·2020-08-18 08:17

Hadoop小文件利器Ozone

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Ozone诞生的背景众所周知，HDFS是大数据存储系统，并在业界得到了广泛的使用。
大数据技术与架构·2020-08-18 03:54

java大数据开发训练营--前端进阶之jQuery+Ajax+Vue

题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。
Laozizuiku·2020-08-17 22:36

360数据处理平台的演进与优化读后感

大数据生态的多样性给大数据开发的学习成本造成了很大程度的提高。从平台的角度来看，以360公司为例，公司产品形态多样化，包括了PC产品、WEB产品、移动端产品等等，多样化的产品意味着
dianbuba8944·2020-08-17 22:28

海康威视大数据开发实习生面试总结（2019-08-13）

昨天晚上打电话说要进行电话面试，当时有点事不太方便就约了今天下午三点，三点半的时候面试官打电话过来（我以为面试官把我忘了，哭唧唧），感觉面试官还挺和蔼的。总结一下经验，为以后的找工作有个方向。自我介绍、项目介绍spark操作MongoDB还是怎么使用MongoDBScala使用的多吗？和Java比较Scala的伴生类和伴生对象Scala的特性Scala闭包RDD的概念与特点Spark的缓存，cac
文艺小卿年·2020-08-16 17:25

CentOS软件管理 - 编译安装

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
小山猪的沙塔·2020-08-16 15:12

VMware虚拟机吃内存问题处理一例

最近在搭建大数据开发平台，但发现有一台虚拟机CentOS7.4，只要一启动，宿主机Windows2008的内存就被吃没了，导致整个系统很慢关闭虚拟机之后，宿主机的内存就恢复正常通过Windows的任务管理器和资源监视器
小龙在线·2020-08-16 07:07

大数据开发方向分享：春招获蚂蚁金服、拼多多、华为（终端）、远景能源、华泰证券等offer

大数据开发方向分享：春招获蚂蚁金服、拼多多、华为（终端）、远景能源、华泰证券等offe一、背景2020届985硕士，投的基本是上海岗位，非科班转行大数据开发方向和Java后端开发。
TALKDATA·2020-08-16 04:14

干了三年Java，考虑转型吗？

前两个路径，如果你比较优秀，就当我没说，如果你觉得自己还不是那么优秀，那第三个方向能更快的帮你涨薪，毕竟大数据开发的缺口还是更大一些的，所以今天给你们讲讲第三个方向：大
码农翻身·2020-08-16 04:01

算法&大数据--(1)求交集

大家好，我是时海，熟悉java后台开发、大数据开发，该系列文章将找一些有趣的算法题目，针对少量数据集和海量数据分别寻找解决方案，也欢迎大家多多指教！
时海·2020-08-16 03:43

设计一个分布式RPC框架

我从事的是大数据开发相关的工作，主要负责的是大数据计算这块的内容。
weixin_33995481·2020-08-14 20:06

Python网易云音乐爬虫大数据分析可视化系统——大屏数据可视化开发之路

介绍现在比较流行的大数据数据可视化都是大屏，有钱的人会使用阿里云全家桶的DataV或者商业化的大屏解决方案，但是在国内还是小公司比较多，本人50年大数据开发经验，精通数据可视化，曾经处理过百万亿级别的数据
计算机毕业大神·2020-08-14 16:45

java大数据开发训练营--mysql数据库JDBC

题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。
Laozizuiku·2020-08-14 16:36

Hadoop基础-HDFS数据清理过程之校验过程代码分析

想称为一名高级大数据开发工程师，不但需要了解hadoop内部的运行机制，还需要掌握hadoop在写入过程中的报文分析。当然代码的调试步骤是一个开发必须得会的技能！
weixin_33971977·2020-08-14 15:23

java大数据开发训练营--mysql数据库基础

题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。
Laozizuiku·2020-08-14 15:57

美团 小象 一面 面筋

ODPS大数据开发平台的hadoop版本，spark版本？对数据这块是否感兴趣？为什么选择数据开发？如
csdn_C++_Python·2020-08-14 13:54

MaxCompute基础与MaxCompute SQL优化

同时，大数据开发套件和MaxCompute关系紧密，大数据开发套件为MaxCompute提供了一站式的数据同步，任务开发，数据工作流开发，
weixin_34066347·2020-08-14 12:14

MaxCompute Studio使用心得系列2——编译SQL脚本

摘要：Console客户端、大数据开发套件的SQL编辑器目前都没有脚本编译功能，每次需要执行SQL脚本，只能提交执行后若有语法错误，执行结果失败返回失败信息才发现，影响开发效率又浪费资源。
qq_35267530·2020-08-14 09:13

【Flink】（六）ProcessFunction API(底层 API)

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。
云 祁·2020-08-14 06:21

CentOS软件管理 - RPM工具

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
小山猪的沙塔·2020-08-14 05:46

连载：阿里巴巴大数据实践—数据开发平台

简介：介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。
阿里技术官方号·2020-08-14 04:01

大数据调度脚本--日期处理

场景说明针对大数据开发初学者，给初学者看的；学习收获：掌握DML语句开发出来之后，如何写调度程序知识储备要求：有一定的sql基础，尤其是query语句，了解shell脚本本文讲解面向平台是大数据计算平台
u:boom·2020-08-14 03:04

看半年这几个公众号，终于拿到今日头条Offer

今天认真为大家推荐的公众号，包括：人工智能领域头部大号号主：书豪；阿里技术专家的大数据开发经历；运维，Java开发，Github热点项目分享的号主；Python与机器学习的号主；Python数据分析和量化交易相关的号主感谢他们为我们的学习提供优质的服务
算法channel·2020-08-13 23:50

简析Spark Streaming/Flink的Kafka动态感知

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-13 18:07

Flink写出数据到HBase的Sink实现

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-13 18:07

Flink Timer（定时器）机制及实现详解

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-13 18:07

Redis6之pub/sub发布与订阅（对比List和Kafka）

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-13 18:06

记一次蚂蚁金服面试经历

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！导读：本文将带你一起走进蚂蚁金服大数据数仓面试。
run_bigdata·2020-08-13 18:06

数据仓库系统的实现和使用(含OLAP重点讲解)

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-13 18:06

一文了解函数式查询优化器Spark SQL Catalyst

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
run_bigdata·2020-08-13 10:58

灵活运用DataWorks参数配置

阅读全文请点击数据工场DataWorks(原大数据开发套件DataIDE)是基于MaxCompute作为计算和存储引擎的，并用于工作流可视化开发和托管调度运维的海量数据离线分析平台。
a52654·2020-08-12 10:59

入职大数据开发两个月后，我...

入职大数据开发工程师两个月以后两个月前还在不停的修改毕设，抽时间准备着面试，到现在两个月过去了，如果是在校期间，确实不会有太大感觉，但是在入职这段时间，遇到很多新奇事物和挑战，我觉得值得琢磨，所以想记录下来
OK OK 007·2020-08-12 10:22

大数据开发必备-- 盘点使用scala语言，idea好用的一些设置

文章目录前言1.使用ctrl+alt+v的时候自动添加类型不需要每次都手动勾选2.ctrl+/自动注释代码时,在代码前添加//,而不是在行首添加//3.scala自动导包设置(默认不勾选)如果还有其它scala相关的,好用的设置欢迎给我留言。前言以下的设置是基于idea2019.3版本,获许会有细微的不同,但大体上是不变的.1.使用ctrl+alt+v的时候自动添加类型不需要每次都手动勾选效果如下
红尘丶世界·2020-08-12 10:42

大数据开发之druid介绍

1：druid介绍1.1druid是什么Druid的母公司MetaMarket在2011年以前也是Hadoop的拥趸者，但是在高并发环境下，Hadoop并不能对数据可用性以及查询性能给出产品级别的保证，使得MetaMarket必须去寻找新的解决方案，当尝试使用了各种关系型数据库以及NoSQL产品后，他们觉得这些已有的工具都不能解决他们的“痛点”，所以决定在2011年开始研发自己的“轮子”Druid
fa124607857·2020-08-11 21:19

连载：阿里巴巴大数据实践—数据开发平台

阿里数据人都在用的内部技术经验关注数智化转型俱乐部，数智化不迷路摘要介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍
数据社·2020-08-11 20:54

从车辆工程到大数据开发，我经历了什么？

大纲：一、高考如何填报志愿？二、如何转专业？三、考研还是就业？四、如何自学编程？五、怎样找到第一份实习？六、如何在不被学校开除的前提下兼顾健身、旅行、实习？一、高考如何填报志愿？学校。能上985、211的学校，别去什么双一流普通本科的对口专业，学校的title很重要，瘦死的骆驼比马大。城市。能去大城市别窝在小城市，大城市的就业机会多，接触的资源也会多而且上档次。在北京上海这种，每到暑假或者课少的时
大数据肌肉猿·2020-08-11 20:25

电网工作2年后考研，8面阿里，成功转型大数据开发

今天分享的是学习群的一个研二女生，她在国企电网工作两年后读研，随后零基础开始接触开发的学习，在春季实习的时候拿了一些大厂的大数据开发offer。
大数据肌肉猿·2020-08-11 20:25
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他