大数据研发工程师第3页

程序员晋升架构师实战指南

以下是为程序员量身定制的晋升架构师实战指南，结合行业案例与可落地路径，助你完成技术跃迁：一、晋升路径拆解（从Code到Architecture）程序员→高级工程师核心任务：独立完成模块开发（需求分析+方案设计

甘苦人生·2025-03-24 08:58

AI人工智能软件开发方案：开启智能时代的创新钥匙

但随着大数据、云计算、机器学习、深度学习等技术的不断突破，AI迎来了爆发式增长。如今，AI已经深入到人们生活和工作

广州硅基技术官方·2025-03-24 07:50

云原生工程师必修课：如何揪出“假忙真闲”的应用元凶

Tagamanent,Spain引言这是一个再经典不过的面试题了，希望大家能学到精髓。开始介绍在分布式系统和高并发场景中，高负载（HighLoad）与低使用率（LowUtilization）的共存矛盾是运维和开发者的常见挑战。这种问题往往隐蔽性强，传统监控指标难以直接定位根因。本文从系统层、应用层、架构层多维度拆解，提供一套完整的排查与优化方法论。核心概念厘清•负载（Load）：系统当前待处理任务

YAMLMaster·2025-03-24 06:08

Angular中`trackBy`函数的独特性与性能优化

特别是在处理大数据量或动态变化的列表时，Angular的trackBy函数成为了我们手中的利器。

t0_54program·2025-03-24 04:19

扫地机高增长神话破灭！科沃斯、石头科技艰难 “破冰”！

先是，老牌研发商广东宝乐机器人宣布破产重整；曾获得腾讯和红杉资本大额融资，并邀请罗永浩代言的“追光”品牌，也在短短两年内宣告失败。就连雷军投资、小米生态链孵化的睿米科技，也发布了停止运营的通告。

liukuang110·2025-03-24 03:14

石油储运生产 2D 可视化，组态应用赋能工业智慧发展

石油工业大数据具有无限潜力与价值，将大数据与数据挖掘技术应用其中，不仅可以提升石油行业工业化水平，而且对其智慧化发展起到强有力的推动作用。

智慧园区·2025-03-24 03:41

人民日报报道，华为云赋能智能制造助力图扑软件构造数字孪生场景

报道指出，数字经济发展的背后，是大数据时趋势下各地区积极贯彻国家数字经济发展战略的时代精神;高效便捷管控的背后，是云端平台各大企业的互助共赢;高质精准2D、3D数据可视图的背后，是专注于数据可视化Web

智慧园区·2025-03-24 01:51

2D 可视赋能智慧水务绿色集约化发展

Hightopo应用自主研发的HT产品，搭建了以厦门区域为载体的2D智慧水务可视化解决方案。界面摒弃了以往传统的地图模式，采用更加简洁的六边形色块拼接出湖泊水库等地形，河流分支则运用

智慧园区·2025-03-24 01:51

华为云赋能智能制造，助力图扑软件构造数字孪生场景

出行手机查看交通方案、物业管理的智能可视勘察管控、疫情地图提前预知危害……这些曾经存在于科幻片中的高科技场景一一在现代生活得到了应用与普及，其背后的数据可视化应用，正贯穿于当今大数据时代的各行各业，成为人们洞察数据内涵的有力工具

36Kr网·2025-03-24 00:16

【Spark】查询优化中分区（Partitioning）和分桶（Bucketing）是什么关系？什么时候应当分区，什么时候应当分桶？

相同点分区（Partitioning）和分桶（Bucketing）在很多方面具有相似性，它们都是用于优化大数据查询性能的技术数据划分的目的：优化查询性能分区和分桶的核心目标是通过将数据分割成更小的逻辑单元来

petrel2015·2025-03-23 23:37

漫谈JVM

2019独角兽企业重金招聘Python工程师标准>>>背景介绍创建了一个技术类公众号:一起源码分析，里面会分享最新的开源代码、源码解读、开发技巧等，欢迎大家关注。

weixin_34111790·2025-03-23 21:50

大数据技术实战---项目中遇到的问题及项目经验

问题导读：1、项目中遇到过哪些问题？2、Kafka消息数据积压，Kafka消费能力不足怎么处理？3、Sqoop数据导出一致性问题？4、整体项目框架如何设计？项目中遇到过哪些问题7.1Hadoop宕机（1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存

一个“不专业”的阿凡·2025-03-23 16:05

LabVIEW通过以太网与S PLC通信

它提供了丰富的功能和工具，使工程师能够轻松地开发各种应用程序，包括与外部设备的通信。本文将介绍如何使用LabVIEW通过以太网与SPLC进行通信，并提供相应的源代码。

JwxDjango·2025-03-23 14:23

Apache大数据旭哥优选大数据选题

定制旭哥服务，一对一，无中介包安装+答疑+售后态度和技术都很重要定制按需求做要求不高就实惠一点定制需提前沟通好怎么做，这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark、hive、hbase、flink、SparkStreaming、kafka、flume、sqoop分析+推

Apache大数据旭·2025-03-23 13:12

Java后端开发技术详解

随着云计算、微服务架构和大数据技术的兴起，Java后端开发的技术栈也不断演进。本文将详细介绍Java后端开发的核心技术，包括Java基础、常见框架、数据库操作、缓存技术、异步编程等。

小二爱编程··2025-03-23 12:34

【测试工程师必备！】VS Code好用插件FastPytestRunner

测试扫描慢到怀疑人生，每次启动都要等待5分钟•调试时总是找不到断点入口，配置项复杂到崩溃•传统测试工具无法满足大规模测试需求•每次切换项目都要重新配置测试环境FastPytestRunner——专为测试工程师量身打造的极速测试利器来了

花小田·2025-03-23 11:57

IDC权威认证！永洪科技入选 IDC「GBI图谱」，点亮生成式 BI 价值灯塔

大数据市场正在稳步前进，生成式AI已成为厂商服务的重点方向，其发展离不开数据底座建设和数据工程管理，反过来AI也会帮助开发运维人员、业务人员和管理层更好地使用、查询数据。

永洪科技·2025-03-23 09:48

打造金融数据新引擎，看永洪科技助力头部农信社搭建一站式分析平台

随着智能金融时代的来临，以大数据、人工智能、移动互联等新兴技术为核心的金融科技持续赋能银行金融业务数字化、智能化、开放化的发展，为金融机构营销体系的

永洪科技·2025-03-23 09:48

读书笔记五 ---大数据之路--数仓分层

数据分层在流式数据模型中,数据模型整体上分为五层。ODS层跟离线系统的定义一样,ODS层属于操作数据层,是直接从业务系统采集过来的最原始数据（进行了数据清洗）,包含了所有业务的变更过程,数据粒度也是最细的。在这一层,实时和离线在源头上是统一的,这样的好处是用同一份数据加工出来的指标,口径基本是统一的,可以更方便进行实时和离线问数据比对。例如:原始的订单变更记录数据、服务器引擎的访同日志。（原始数据

qq_38215991·2025-03-23 08:11

奇迹科技：蓝牙网关赋能少儿篮球教育的创新融合案例研究

二、企业背景奇迹科技由国资上市企业浙数集团与福建省互联网十强企业来玩互娱联合注资成立，专注于数字化体育产业，业务包括数字体育科技研发、打造并运营少儿科技篮

Ms_lan·2025-03-23 08:38

《代码拯救世界》

作为一名网络安全工程师，他知道这次攻击的严重性远超普通黑客行为。“老李，你看这个。”小陈把一份报告递给同事，“攻击手法非常专业，利用了多个零日漏洞（未被公开的漏洞），而且目标明确，显然是早有预谋。”

可问可问春风·2025-03-23 07:02

【研发日记】Matlab/Simulink避坑指南(十一)——Delay周期Bug

文章目录前言背景介绍问题描述分析排查解决方案总结归纳前言见《研发日记，Matlab/Simulink避坑指南(六)——字节分割Bug》见《研发日记，Matlab/Simulink避坑指南(七)——数据溢出钳位

Mr.Cssust·2025-03-23 07:58

2025年首个！又一家智驾供应链企业成功上市，踩准感知红利风口

弘景光电作为一家专业从事光学镜头及摄像模组产品的研发、设计、生产和销售的高新技术企业，已深耕行业十多年，目前其产品应用领域主要包括智能汽车汽车及新兴消费两大领域，其中车载光学镜头产品主要应用于智能座舱和智能驾驶系统

高工智能汽车·2025-03-23 06:20

使用LangGraph迁移MapReduceDocumentsChain进行长文档的摘要

在大数据处理和文本分析领域，MapReduce是一种非常重要的策略，用于处理和分析大型数据集。

dgay_hua·2025-03-23 06:43

DMDDM文档数据库学习分享

达梦新云文档数据库（简称DMDDM），是一款由达梦公司独立研发的分布式原生文档数据库产品。一、关键特性1、高性能、高可用性：DMDDM文档数据库支持快速的数据读写操作，能够满足高性能应用的需求。

合作愉快：）·2025-03-23 05:40

Python用Bokeh处理大规模数据可视化的最佳实践

本文将介绍如何使用Bokeh处理大规模数据可视化，并提供一些最佳实践和代码实例，帮助你高效地展示大数据集中的重要信息。1.为什么选择Bokeh？

一键难忘·2025-03-23 05:04

[AI速读]用持续集成（CI）优化芯片验证环境：Jenkins与EDA工具的实战指南

传统验证的痛点在传统流程中，验证工程师通常面临以下挑战：手动操作多：每次代码提交后，需

iccnewer·2025-03-23 04:59

如何使用Formal SEC证明设计手动插入的clock gating cell没有引入功能问题？

基于FormalSEC的时钟门控验证技术是一个非常高效，但是并不是每个芯片工程师都使用过技术。很多公司的流程可能也不涉及。

iccnewer·2025-03-23 04:59

分页优化之——游标分页

游标分页（Cursor-basedPagination）是一种高效的分页方式，特别适用于大数据集和无限滚动的场景。

PhilipJ0303·2025-03-23 03:18

轻松入门Apache SeaTunnel：数据集成利器

文章目录轻松入门ApacheSeaTunnel：数据集成利器什么是SeaTunnel基本原理运行流程SeaTunnelvsDataX：两大数据集成工具对比实战场景：MySQL数据同步至ElasticsearchSeaTunnel

窝窝和牛牛·2025-03-23 03:16

深入了解盘古大模型：技术、应用与未来

近年来，中国自主研发的大模型之一——盘古模型（PanGuModel）逐渐进入公众视野，凭借其强大的性能和广泛的应用前景，引发了行业内外的广泛关注。什么是盘古大模型？

Hardess-god·2025-03-23 02:10

OpenWrt GPIO模拟I2C最佳实践

---------------------|-------------------------|-------------------||Shell脚本+sysfs|快速验证功能|无法保证时序精确性|研发初期快速验证

HH予·2025-03-23 02:04

运用IC-CAP软件对射频集成电路的表征与参数分析

探讨如何依据分析结果优化射频集成电路性能，展现软件在助力电路设计、提升产品质量方面的关键作用，为射频集成电路研发工程师提供极具价值的技术参考。关键词IC-CAP软件；射频集成电

Keep-Follow·2025-03-23 02:03

探索数据安全新境界：Apache Spark SQL Ranger Security插件深度揭秘

探索数据安全新境界：ApacheSparkSQLRangerSecurity插件深度揭秘项目地址:https://gitcode.com/gh_mirrors/sp/spark-ranger随着大数据的爆炸性增长

乌昱有Melanie·2025-03-22 23:44

Java 大视界 -- Java 大数据在智能医疗远程会诊与专家协作中的技术支持（146）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-22 23:14

新书速览|云原生Kubernetes自动化运维实践

《云原生Kubernetes自动化运维实践》本书内容：《云原生Kubernetes自动化运维实践》以一名大型企业集群运维工程师的实战经验为基础，全面系统地阐述Kubernetes（K8s）在自动化运维领域的技术应用

全栈开发圈·2025-03-22 22:11

DeepSeek重塑软件行业：研发工程师的机遇与挑战

人工智能技术的浪潮正以前所未有的速度重塑软件行业，而DeepSeek作为其中的代表性技术，已成为研发工程师日常工作中不可忽视的变革力量。

LiuSid7·2025-03-22 22:38

golang面经整理（一）（k8s,docker二次开发方向，云原生方向）

主要投递的岗位包含广州、深圳的岗位，面试的是golang工程师相关的岗位，但其实单纯做云原生相关岗位比较少，基本上局限于国内的几朵云，阿里云，华为云，

gooooer·2025-03-22 20:59

java工程师常用开发工具

背景：最近换新电脑，记录下本岗位需要安装的软件，也顺便给大家参考，欢迎各位留言补充1JDK（JavaDevelopmentKit）JDK是Java程序员开发Java应用程序所必需的软件包。下载地址：JavaDownloads|Oracle安装配置教程：window下win10jdk8安装与环境变量的配置（超级详细）_jdk8环境变量配置-CSDN博客目前主流的JDK版本还是JAVA8查看版本命令：

Monika Zhang·2025-03-22 19:23

努力的搬砖人.·2025-03-22 18:15

测试工程师Ai应用实战指南简例prompt

阅读原文以下是一个真实具体的案例，展示测试工程师如何在不同阶段结合DeepSeek提升效率。

进击的雷神·2025-03-22 17:04

2017安全之势：云、大数据、IoT、人工智能

“新技术让信息系统变成了孙悟空，开始无所不能，但安全仍是它的‘紧箍咒’！怎样解开这个‘紧箍咒’？各路安全厂商各显其能，但似乎路漫漫兮离目标还很遥远。”三未信安董事长张岳公在ZD至顶网《百位意见领袖寄语2017》中说出了这样一句话，我觉着很有道理。安全是一个永恒的话题，如果说它与新的信息技术相生相克也不过分。即便如此，我们更要尽可能的减少安全带来的束缚。2017已经到来，不妨来看看至顶网与业界大咖总

weixin_34392906·2025-03-22 17:02

安全工具推荐 | 软件成分分析工具悬镜安全源鉴SCA，业内排名TOP 1的SCA工具

发展历程：2016年，悬镜开始了第一代SCA产品技术的研发工作，历经4年，201

DevSecOps选型指南·2025-03-22 16:27

直方图梯度提升：大数据时代的极速决策引擎

一、为什么需要直方图梯度提升？在Kaggle竞赛的冠军解决方案中，超过70%的获奖方案都使用了梯度提升算法。但当数据量突破百万级时，传统梯度提升树（GBDT）面临三大致命瓶颈：训练耗时剧增：每个特征的分割点计算都需要全量数据排序内存消耗爆炸：存储排序后的特征值需要额外空间处理效率低下：无法有效利用现代CPU的多核特性而梯度提升决策树（GBDT）作为集成学习的代表算法，通过迭代构建决策树实现预测能力

万事可爱^·2025-03-22 14:14

windows使用ssh-copy-id命令的解决方案

双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。

爱编程的喵喵·2025-03-22 14:40

北斗导航 |低轨导航研究进展

低轨导航作为空天信息网络的重要组成部分，近年来在技术研发、系统构建及实际应用方面均取得显著进展。

单北斗SLAMer·2025-03-22 13:31

从技术宝库到云上机遇：华为云开天aPaaS的“修路记”

很多企业在推进数字化、业务上云的时候，都会面临一个两难选择：缺失核心技术容易丧失竞争力，跟不上发展机遇；大力投入核心技术研发，又可能因为开发成本过大，“重复造轮子”而影响进程。

脑极体·2025-03-22 13:25

从原理到实践：Go 语言内存优化策略深度解析

优化切片与映射的使用3.4控制变量作用域3.5减少闭包导致的变量逃逸四、内存优化工具与性能分析4.1pprof工具的使用4.2其他性能分析辅助手段五、不同场景下的内存优化案例分析5.1高并发Web服务场景5.2大数据处理与分析场景六

叶间清风1998·2025-03-22 13:25

鸿蒙开发工程师简历项目撰写全攻略

一、项目结构的黄金法则建议采用「4+1」结构：项目背景（业务价值）+技术架构（鸿蒙特性）+核心实现（技术难点）+个人贡献（量化成果）+附加价值（延伸影响）二、鸿蒙特色技术点提炼技巧鸿蒙核心技术技术维度具体实现案例量化成果示例分布式软总线自定义协议实现家电设备低功耗连接连接成功率从89%提升至97%ArkUI框架基于TS扩展实现动态UI模板引擎开发效率提升40%，代码量减少60%原子化服务实现天气服

谢道韫689·2025-03-22 12:53

matplotlib使用大字体，粗线

2019独角兽企业重金招聘Python工程师标准>>>matplotlib在绘图时缺省的字体和线条都有些细，所以需要加粗一下importmatplotlib.pyplotaspltdefuseLargeSize

weixin_34254823·2025-03-22 12:52

推荐频道

大数据研发工程师