04--数据开发

外包-某行大数据开发-一面

估计是因为见到过我这种简历太多了，然后面试官直接问了问题1.clickhouse熟悉吗？2.shell熟悉吗，问了两个问题。1.如何获取文件的第一行？2.shell中怎么拼接两个字符串？3.传统数据库用的多吗？然后问了薪资多少，就没有再问了，合适再聊，就直接挂了我电话。整个过程没有超过5分钟。我回答了自己有写过相关脚本，但是其实当时都是照着抄的，面试官问两个问题我就露馅了，惭愧。从以上情况可以看出
劝学-大数据·2024-01-10 07:47

大数据开发：Hive基础知识点介绍

今天的大数据开发分享，我们来讲讲Hive的基础知识点。Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。
加米谷大数据张老师·2024-01-09 13:52

某外包～大数据开发～项目经理二面

一面通过后，hr开始谈工资，以为外包一面就能拿下，没想到还是要我来公司聊一聊。1.介绍之前的项目2.公司是做什么业务的3.对加班的看法4.两道sql题，直接问的1.对于交易明细表中，求每个用户最大的日期的交易记录2.求学生表中，学生的最大成绩，成绩是varchar类型。答案如下：首先进行转换，然后在排序，之所以进行转换，原因是因为varchar类型比较大小时，按照的是位与位进行比较，若2与11va
劝学-大数据·2024-01-09 06:12

某大厂大数据开发-外包面试

1.自我介绍2.具体问项目流程，如项目怎么实现的3.印象最深的问题，怎么发现的，怎么解决的？4.spark用过吗，用到的开发工具5.数据量多少，服务器台数6.数仓每层做了什么事，为什么这样做？笔试题：hive-sql一个表tbl:c_idu_idscore用SQL计算每个班级top5学生的平均分表A（uid,bid)，uid代表：用户idbid代表：uid关注的用户id表数据示例：uidbid12
劝学-大数据·2024-01-09 06:42

大数据开发-某外包公司

1.用过那些组件2.说下HDFS读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下hadoop有那些组件面试体会：因为岗位jd上有明确的表示面试可能会问到的问题，比如数据湖，但是我几乎没有复习，所以很遗憾，说的也很糟糕。然后面试官说，
劝学-大数据·2024-01-09 06:10

大数据开发学习笔记——hbase的rowkey设计

写在最前面：今日都是纯文字的笔记，希望朋友们能耐心看rowkey长度原则rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。rowkey散列原则如果rowkey
卿卿老祖·2024-01-08 21:38

pandas应用和学习

一.pandas的基本内容1.Python在数据处理上有代码灵活,开发快速的特点.尤其是Python的Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python
MSJ3917·2024-01-08 16:33

数据分析之Pandas VS SQL！

对于数据开发工程师或分析师而言，SQL语言是标准的数据查询工具。本文提供了一系列的示例，说明如何使用pandas执行各种SQL操作。**Pandas简介**Pandas把结构化数据分为了三类：S
苍简·2024-01-08 07:49

Spark Core进阶知识

小知识:大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!!
MSJ3917·2024-01-08 07:52

FlinkSQL中【FULL OUTER JOIN】使用实例分析（坑）

Flink版本：flink1.14最近有【FULLOUTERJOIN】场景的实时数据开发需求，想要的结果是，左右表来了数据都下发数据；左表存在的数据，右表进来可以关联下发（同样，右表存在的数据，左表进来也可以关联下发
PONY LEE·2024-01-07 20:46

有用的技术分享主题

SQLServer数据库和AgentJob集成化监控工具Airflow调度工具的安装和使用Tableau报表开发网络爬虫技术开发PythonGUI应用开发基于S3的数据湖架构设计和大数据开发Hive大数据仓库超大数据集去重解决方案
weixin_30777913·2024-01-07 10:42

Linux常见面试题

题目说明：LINUX类的面试题适合传统行业实施，运维以及大数据开发，运维等岗位，在以上提到的岗位面试中均会有所涉及，初级岗位大部分为基础命令考核，难度丌大，但需要准确不熟练,会编写SHELL脚本会成为此类岗位求职优势
莓是草莓的莓·2024-01-06 01:17

Hadoop面试题与python基础

python基础（面向大数据开发）如果你是面向python开发，那么我的这些应该是不够用的，我的这些只够大数据开发人员使用；每一个岗位它对一门语言的要求掌握程度是不一样的；但是我写的这些你必须要会，它是基础中的基础
中长跑路上crush·2024-01-05 23:02

数据分析求职-入职必备-工具篇

通常所说的数据分析岗位这个大类，细分的话还可以分为3个细类：数据研发/大数据开发：专注于数据的清洗和预处理，为后续消费数据的服务（比如数据分析
阿清陪你聊聊数据分析·2024-01-05 18:56

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结，后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期，当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST
Hoult-吴邪·2024-01-05 17:37

2023年网络安全十10大发展趋势发布

在建立安全可控、弹性包容的数据要素治理制度后，需有效推动数据开发利用与数据
瓦罗兰特顶级C位·2024-01-05 16:54

【亚马逊云科技】自家的AI助手 - Amazon Q

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2024-01-05 14:00

大数据开发个人简历范本（2024最新版-附模板）

大数据开发工程师个人简历范本>男22本科张三计算机科学与技术1234567890个人概述具备深入的Hadoop大数据运维工程师背景，熟悉相关技术和工具具备良好的团队合作能力，善于沟通和协作具有快速学习新知识和解决问题的能力对于数据科学和分析充满热情
itLeeyw·2024-01-05 13:53

JS实现多线程数据分片下载

在大数据开发过程中，为了提高大文件的上传速度，往往需要将大文件切割为小的数据分片，这样小分片数据可以充分利用有限的带宽，加快上传速度。
码说AI·2024-01-05 10:22

大数据开发者应该知道的分布式系统 CAP 理论

无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。CAP理论概述CAP理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance）这三项中的两项。读者需要注意的
Hadoop技术博文·2024-01-05 09:51

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop技术内幕：深入解析MapReduce架构设计与实现原理Hadoop技术内幕：深入解析YARN架构设计与实现原理HadoopYARN权威指南Hadoop奶妈级基础入门视频课：Linux嵌入式Lin
比屋大数据·2024-01-05 08:44

大数据开发与低代码：加速数据处理与解决方案开发

随着数据量的爆炸式增长，大数据开发变得愈发重要。然而，传统的大数据开发方法往往需要复杂的编码和开发过程，消耗时间和资源。而低代码开发平台的出现为大数据开发带来了全新的解决方案。
液态不合群·2024-01-05 08:25

面试——初级java-——5分钟结束

1.自我介绍2.springboot,reidis,mysql,sqlserser熟悉吗3.web开发做过吗5分钟面完，就当聊天了，一个数据开发应聘其他岗位还是需要有些资本的。
劝学-大数据·2024-01-05 00:59

大数据开发的专业术语

作者主页：青花锁简介：Java领域优质创作者、Java微服务架构公号作者简历模板、学习资料、面试题库、技术互助文末获取联系方式系列专栏目录[Java项目实战]介绍Java组件安装、使用；手写框架等[Aws服务器实战]AwsLinux服务器上操作nginx、git、JDK、Vue等[Java微服务实战]Java微服务实战，SpringCloudNetflix套件、SpringCloudAlibaba
青花锁·2024-01-04 23:21

和鲸解放军总医院连续生理数据分析引擎入选爱分析数据智能最佳实践案例

数据智能最佳实践案例”评选活动落下帷幕，和鲸科技基于旗下数据科学协同平台ModelWhale携手解放军总医院联合打造的《解放军总医院连续生理数据分析引擎》成功入选，有力证明了该案例于数据资产归集、数据架构升级、数据开发敏捷性提升
ModelWhale·2024-01-04 21:40

docker搭建Dinky —— 筑梦之路

主要功能其主要功能如下：沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等支持FlinkSQL多版本开发及多种执行模式
筑梦之路·2024-01-04 03:40

大数据项目

项目说明：利用scrapy爬取中华英才网和前程无忧上面有关’数据分析师’,‘大数据开发工程师’,'数据采集’的数据并保存到mongodb。
for_syq·2024-01-03 16:05

年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。面对如此光明而诱人的前景，大批JAVA工
yoku酱·2024-01-03 13:36

数睿通2.0功能更新：支持多版本 Flink 切换，新增数据标签模块

切换功能展示使用方法数据标签合并微服务Bug修复，细节优化结语引言小伙伴们，大家好，数睿通2.0数据中台迎来了12月份的更新，由于年底工作繁忙，所以本次更新内容稍微少了点，还望理解，本次更新内容主要包括：数据开发多版本
小螺旋丸·2024-01-03 10:22

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言数睿通2.0数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：数据库支持MongoDB数据接入支持MongoDB，支持自定义SQL采集，支持停止运行中的任务数据生产支持FlinkJar任务，分为Standalone和YarnApplication模式数据生产支持Flink1.16（需要mavenprofiles选择flink-1.16打包，后面会做成多版本动态支持）接入集
小螺旋丸·2024-01-03 10:21

数睿通2.0数据中台数据治理—元数据功能发布

文章目录引言数据集成-实时日志数据治理-元模型数据治理-元数据采集数据治理-元数据管理结语引言数睿通2.0目前基本完成了数据集成，数据开发，数据服务三大模块，初步具备了拉数，造数，供数的能力。
小螺旋丸·2024-01-03 10:21

新年快乐—数睿通2.0数据中台全新功能模块发布

文章目录引言数据集成数据库管理文件管理数据接入贴源数据数据开发数据生产sql作业开发FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块
小螺旋丸·2024-01-03 10:43

用ChatGPT方式编程！GitHub Copilot Chat全面开放使用

据悉，CopilotChat是基于OpenAI的GPT-4模型，再结合其海量、优质的代码数据开发而成，通过文本问答的方式就生成、分析、审核代码等。
RPA中国·2024-01-03 08:02

数据仓库命名规范详解

一、数仓中为什么要在数据开发过程中强调遵守数仓开发命名规范呢？
孤城暮雨@·2024-01-03 04:17

Spark内容分享(二十四)：Apache Spark 在爱奇艺的应用实践

服务的落地与优化总结与展望ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架，并支持部分流计算任务，用于数据处理、数据同步、数据查询分析等场景：数据处理：在数据开发平台中支持开发者提交
之乎者也··2024-01-02 18:56

中国家谱概述04--修谱名目

不少家谱，在目录后，列有"修谱名目"标题，开列本届与历届修谱人员名单、职务。如《(安徽绩溪)泉塘葛氏宗谱》(宣统三年)就列有"古今修谱名目"标题，列出该宗谱历届修谱人员名录：（内容晦涩可略读）《(安徽绩溪)泉塘葛氏宗谱》是宣统三年纂修的，因此本届修谱人员名单比较详细：督理：履桂、承锭、承垣司理出纳：明湛分修丁捐：明汉、承樟、明义、代鉴编修：光汉总核：明湛、明义校刊：履桂、明义、明湛、光升《(江西婺
柳育龙·2024-01-02 18:16

纠结！我是选择做公共数据产品还是垂直业务数据产品？

应用层面的工作会做标签、用户画像、埋点数据、AB测试等；基础层的工作会做数据开发、调度、资产等，主要是针对全业
一个数据人的自留地·2024-01-02 10:02

Python爬虫豆瓣网热门话题保存文本本地数据，并实现简单可视化。

前言今天给大家分享Python爬虫豆瓣网热门话题保存文本本地数据开发环境：windows10python3.6.4开发工具：pycharm库：requests、WordCloud、pandas、jieba
千寻编程·2024-01-01 09:47

MetaMT

利用多个领域域的数据开发稳健的翻译系统
lude·2024-01-01 07:05

Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较

大数据开发离不开各种框架，我们通过学习ApacheHadoop、Spark和Flink之间的特征比较，可以从侧面了解要学习的内容。
之乎者也··2024-01-01 05:52

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云大数据AI技术·2023-12-31 19:36

【亚马逊云科技】使用Amazon Lightsail快速建站

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-12-31 17:57

隐私计算深度剖析：解锁数据流通的未来

数据是信息时代重要生产要素，对数据开发可以创造价值，赋能实体经济，然而在数据开发利用，培育数据要素市场过程中，又不能忽略对数据资源的安全保护。
散一世繁华，颠半世琉璃·2023-12-31 15:19

大数据开发【3】 -- hadoop的云集群配置

首先要配置好一台机器的伪分布式，这样方便后面的配置。关于伪分布式的：请看伪分布式搭建文章目录1.配置yarn2.各个主机配置3.集群的配置4.一些问题5.强烈推荐的参考文章1.配置yarn配置yarn-env.sh,对于3版本的就不用配置了，因为已经默认从hadoop-env.sh读取了。配置yarn-site.xml文件。yarn.nodemanager.aux-servicesmapreduc
天下一般·2023-12-31 10:25

ElasticSearch 性能调优

如今ELK技术栈在互联网行业数据开发领域使用率越来越高，做过数据收集、数据开发、数据存储的同学相信对这个简称并不陌生，而ElasticSearch（以下简称ES）则在ELK栈中占着举足轻重的地位。
风是外衣衣衣·2023-12-30 22:21

你需要懂一点ClickHouse的基础知识

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-12-30 09:39

python采集漫客栈所有数据,从此看漫不用money

pipinstallparsel数据解析模块基本思路流程:二.代码实现步骤获取章节ID/章节名字/漫画名字:发送请求,模拟浏览器对于url地址发送请求请求链接:漫画目录页url获取数据,获取服务器返回响应数据开发者工具
颜狗一只·2023-12-30 07:03

数据中台-架构、构建与体系建设

构建与体系建设数据中台架构数据中台构建方法论技术体系数据体系服务体系运营体系数据中台功能架构数据中台技术架构企业构建数据中台评估统计分析阶段决策支持阶段数据驱动阶段运营优化阶段数据汇集-打破企业数据孤岛数据开发
Ybb_studyRecord·2023-12-30 03:53

使用Canoe通过dbc发送虚拟信号给控制器

01--新建02--创建完成后如下图03--点击databases,并选择要发送报文的dbc文件04--右击CAN线，选择图示选项05--如图打开dbc内的信号06--选择想要发送信号的message07
火山口车神丶·2023-12-29 23:53

爬虫现在还有那么吃香嘛？

Python作为一种广泛应用的编程语言，在Web开发、大数据开发、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
会python的小孩·2023-12-28 17:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他