大数据工程第3页

海量数据查找最大K个值：数据结构与算法的选择

在处理大数据集时，经常需要找到数据集中最大的K个元素，这样的需求在很多领域都有广泛应用，例如推荐系统中寻找评分最高的K个商品、数据分析中找出最重要的K个特征、搜索引擎中找到排名前K的结果等等。

星辰@Sea·2024-09-14 12:18

Hadoop windows intelij 跑 MR WordCount

一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven

piziyang12138·2024-09-14 12:33

vllm在线推理踩坑记

最近在《AI大模型全栈工程师》课程里看老师推荐使用vllm部署大模型，优点就不详细介绍了，这里摘抄一段来自于Qwen2上手指南对于它的简单介绍：它易于使用，且具有最先进的服务吞吐量、高效的注意力键值内存管理

懂点投资的码农·2024-09-14 12:14

文本生成图像工作简述1--概念介绍和技术梳理

姓名：尹凯学号：22011210590学院：通信工程学院原文链接：https://blog.csdn.net/air__Heaven/article/details/127302735【嵌牛导读】文本生成图像的概念介绍与技术梳理

尹凯·2024-09-14 11:50

用 Python 写网络编程（三）

本文在2021.02.14首发于TesterHome社区，作者是资深游戏测试开发工程师陈子昂。用Python写网络编程共四篇，今天给大家分享其中第三篇。

TesterHome·2024-09-14 11:49

Google大数据架构技术栈

数据存储层ColossusColossus作为Google下一代GFS（GoogleFileSystem）。GFS本身存在一些不足单主瓶颈GFS依赖单个主节点进行元数据管理，随着数据量和访问请求的增长，出现了可扩展性瓶颈。想象一下，只有一位图书管理员管理着一个庞大的图书馆——最终，事情变得难以承受。元数据可扩展性有限主节点上的集中元数据存储无法有效扩展，影响了性能并妨碍了PB和EB级数据的管理。实

剑海风云·2024-09-14 10:37

idea 启动tomcat 工程_使用IDEA创建JavaWeb项目部署本地tomcat并运行

Project2、在弹出的窗口中找到JavaEnterPrise>>WebApplication，点击Next3、填写项目名称，选择项目位置，然后Finish4、在左侧窗口可以看到IDEA创建JavaWeb工程的目录结构

心在天上脚在地上·2024-09-14 10:35

绿色智慧档案馆构想之智慧档案馆环境综合管控一体化平台

智慧档案平台基于物联网、云计算、大数据、档案人健康防护、档案安全防护等新技术，实现了对档案的收、管、存、用全业务流程管理；实现了对档案实体资源与数字资源的集中建设与管理；实现

盛世宏博智慧档案·2024-09-14 10:32

大数据时代，我们都是透明人

新时代有几个特点，其中之一便是信息技术的发展让我们生活更便捷，与此同时，各行业获取客户的信息也更方便和完整，收集到的数据再加以运用又会助力其他产业的更新和进步，这就是大数据的作用。

随心追梦人·2024-09-14 08:27

虚拟现实智能家居实训系统实训解决方案

随着科技的飞速发展，智能家居已成为现代生活的重要组成部分，它不仅极大地提升了居住的便捷性与舒适度，还推动了物联网、大数据、人工智能等前沿技术的融合应用。

武汉唯众智创·2024-09-14 06:10

命令行工具部署达梦数据库 DMDPC（BP 多副本架构）

解达梦数据库DPC集群的主要使用场景：DMDPC关注和解决的是大数据、计算与存储分离、高可用、支持全部的SQL标准、拥有完整的事务处理能力和集群规模能够动态伸缩的业务场景：大量的复杂查询操作要求优化器能够生成优良的执行计划

百代繁华一朝都-绮罗生·2024-09-14 06:39

炸菜（二）

不光是过年的仪式感，更是一个家庭最重要的“面子工程”。为什么？过年，最重要的节目就是走亲戚。我，从小就爱走亲戚。走亲戚，除了玩儿，就是品尝亲戚家的年下菜。啥叫年下菜?就是年前炸的菜嘛！

天翼口腔·2024-09-14 05:38

Spring Data JPA

搭建环境（需求：保存客户）1.创建maven工程导入坐标org.hibernatehibernate-entitymanager2.需要配置jpa的核心配置文件*位

kjcoder·2024-09-14 04:57

你确定这样打电话能拉到客户吗？

“有中级工程师证书吗？”“没有。”“想考XX证书吗？”“暂时没考虑。”

_油纸伞_·2024-09-14 04:48

冈田武彦与《王阳明大传》

1989年3月，由冈田先生发起在日本全国筹集300万日元资助的绍兴县王阳明墓修复工程训练竣工，同年4

ea41e0427fde·2024-09-14 04:10

搭建第一个SpringDataJPA工程

第一步：创建maven工程，导入maven坐标使用SpringDataJPA，需要整合Spring与SpringDataJPA，并且需要提供JPA的服务提供者hibernate，所以需要导入spring

码来码去（未来可期）·2024-09-14 04:54

国家等保 2.0 时代，你的移动安全要如何防护？

在2017年5月等保制度顺应时代要求一跃升级到2.0，不仅安全等级的评定条件更加严格，保护要求也扩展到移动互联、云计算、大数据、物联网和工业控制等新技术和新应用领域。在

Reneeeeee412·2024-09-14 02:38

《图说区块链》（一）

全球区块链商业理事会中国分中心副主席，中国区块链应用研究中心创始理事兼理事长，曾担任豆丁网，CTO和雅虎开发工程师。七区块链能实现价值转移，是超越信息的第二代互联网区块

馨思遇·2024-09-14 02:52

零基础入行学习软件测试第一步：你需要问自己三件事情！

我至少要知道软件测试工程师岗位我做了这一份工作之后，进公司我到底要做什么工作内容。第二个事情：软件测试在企业中发挥什么作用？就是说这个岗位存在的价值是什么。第三个事情：我到底适不适合做软件测试？

程序员阿沐·2024-09-14 01:28

2022-11-10

会议将努力为您提供大量的交流机会，与专家学者、工程师和技术研究人员分享科研成果和前沿技术。我们热烈欢迎有兴趣的作者将您的新研究论文提交给ICAPIT，并与所有与会者分享您的宝贵经验。

论文小天才·2024-09-14 00:07

真正的说服是达到共赢

【书名】逻辑说服力：说重点拿结果的5P法则【作者】张家瑞、赵旋、赵家旭【出版社】机械工程出版社【简评】一本可以运用到很多方面的书籍，条理结构都很清晰明了，想学习表达的可以看看这本书。

海沦·2024-09-13 22:14

计算机毕业设计选题推荐-基于Python框架项目推荐（中）

博主介绍：✌十余年IT大项目实战经验、在某机构培训学员上千名、专注于本行业领域✌技术范围：Java实战项目、Python实战项目、微信小程序/安卓实战项目、爬虫+大数据实战项目、Nodejs实战项目、PHP

计算机毕设大佬·2024-09-13 22:14

电源管理芯片4644关键指标及测试方法

工程师可以快速设计出满足FPGA、ASIC和微处理器等多种电压和负载电流要求驱动，ASP4644模块稳压器包括DC/DC控制器、电源开关、电感器和补偿组件，采用BGA封装。

国科安芯·2024-09-13 19:03

VBA 把Excel表当做一个大数据库来操作

VBA把Excel表当做一个大数据库来操作SubSqlQueryBJD(strBillNoAsString)DimstrSqlAsStringDimarrCol()AsStringDimstrLineWhereDimarrWhere

码猩·2024-09-13 18:52

这是福特故事，一个笔画一万元的后续

斯坦茨门茨原本是德国的一位工程技术人员，因为德国国内经济不景气而失业后，来到美国。由于举目无亲，根本无法立足，只得四处流浪，直到幸运地得到一家小工厂老扳的青睐，雇用他担任制选机器马达的技术人员为止。

鸣蜩佩兰·2024-09-13 17:52

网络安全（黑客）自学

作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。二、怎样规划网络安全如果你是一

白帽子凯哥·2024-09-13 17:16

Delta3D（3）教程介绍

这部分的教程将会通过很多Delta3D工程的方方面面指导你学习Delta3D。这些教程的主要目的是指导那些具备基本C++知识的人，怎么使用基于游戏的仿真引擎-Delta3D来开发虚拟的仿真应用。

deverwh·2024-09-13 17:45

网络安全（黑客）——自学2024

作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。二、网络安全怎么入门安全并非孤立存在，而是建立在其计算机基础之上的应用技术。

白帽子黑客-宝哥·2024-09-13 16:43

入门网络安全工程师要学习哪些内容

但很多人对网络安全工程师还是不了解，不知道网络安全工程师需要学什么?知了堂小编总结出以下要点。网络安全工程师是一个概称，学习的东西很多，具体学什么看自己以后的职业定位。

白帽黑客2659·2024-09-13 16:43

是什么在阻挠建筑行业的数字化进程?

这么多年过去了，为什么我们还在工程应用当中，还停留在一些初级阶段？经过讨论，提炼成一句话就是，建筑行业数字化不仅仅是一个技术问题，更是管理问题。

数字搬运家·2024-09-13 16:24

「RIA学习力」《成功，动机与目标》No.2，风声

如果我相信自己的数学和自然科学学得不错，那么下决心成为一名工程师便是有道理的。如果我相信自己四肢不协调、动作缓慢，那么试图加入大学运动队可能就不太说得通。

风声_c14e·2024-09-13 16:45

python绝技运用python成为顶级pdf_python绝技：运用python成为顶级黑客中文pdf完整版[42MB]...

对经常需要针对自己所处的特定场景编写专用工具的黑客、计算机犯罪调查人员、渗透测试师和安全工程师来说，Python的这些特点可以帮助他们又快又好地完成这一任务，以极少的代码量实现所需的功能。

weixin_39851261·2024-09-13 16:09

程序员下班以后做什么副业合适？_程序员下班需要学什么

我就是一个最普通的网络安全工程师，出道快10年了，不出意外地遭遇到瓶颈期，但是凭技术在各大平台挖漏洞副业，硬是妥妥扛过来了。因为对于程序员来讲，这是个试错成本很低、事半功倍的选择。

网络安全乔妮娜·2024-09-13 14:31

淘宝购物攻略,省钱技巧大揭秘!

很早之前就已经开始实行网购返利，但还是有那么一部分人不愿意相信，戒备心的驱使下网购一直都是原价，但用大数据告诉你淘宝一年返利好几亿，就我本人一个月返利都好几百，特别是在双十一那种电商节的时候返利提现上千很容易

测评君高省·2024-09-13 14:31

南京有座园，名字叫愚园（五）

为恢复这座晚清金陵名园，展现其“金陵狮子林”的风采，2011年5月，南京秦淮区启动了胡家花园保护修复与占地5.64公顷建设工程。曾经晚清最大的私家花园，其中心的水面“愚湖”占据极其重要的位置。

风之舞555·2024-09-13 14:54

Python基础知识进阶之正则表达式_头歌python正则表达式进阶

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是

前端陈萨龙·2024-09-13 13:50

电子电气架构 --- 域控制器在新架构中的功能承担

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。

车载诊断技术·2024-09-13 13:49

【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现

博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多

程序员-石头山·2024-09-13 13:19

网络安全的相关比赛有哪些？需要掌握哪些必备技能？

01、CTF（夺旗赛）这是一种最常见的网络安全竞技形式，要求参赛者在限定时间内解决一系列涉及密码学、逆向工程、漏洞利用、取证分析等领域的挑战，获取标志（flag）并提交得分。

网安学习·2024-09-13 12:17

通信工程学习：什么是GFP通用成帧规范

GFP：通用成帧规范GFP通用成帧规范（GenericFramingProcedure）是一种先进的数据业务适配的通用协议和映射技术，由国际电联ITU-T的G.7041标准定义。该技术旨在透明地将各种不同物理层或逻辑链路层信号适配进入SDH（同步数字体系）和OTN（光传送网）等高速物理传输通道中。以下是GFP通用成帧规范的详细解释：一、技术特点1、高效性和可靠性：GFP提供了比其他适配和映射技术（

梦实学习室·2024-09-13 12:16

《量子思维》：寻找问题的第三种解法

日本著名实业家及IT工程师、原谷歌副总裁兼日本公司总裁村上宪郎结合自身经历，基于对当今前沿科技的准确把握，系统介绍了一种全新的思维方法——量子思维，可能将对人类以哲学、心理学等为基础的思维领域产生重大影响

空气凤梨·2024-09-13 12:37

掌握单片机,其实并不难

而要想成为一名嵌入式工程师，就要对单片机的基础非常熟悉，并且掌握C语言当中各个功能的初始化、启动、停止各类函数的编写调试。那么想要掌握单片机需要从哪几个方面入手呢？

培林将军·2024-09-13 11:12

分布式离线计算—Spark—基础介绍

Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架

测试开发abbey·2024-09-13 11:11

vue+threeJS示例（001）: 不断翻转的立体箱体

作者：还是大剑师兰特，曾为美国某知名大学计算机专业研究生，现为国内GIS领域高级前端工程师，CSDN知名博主，深耕openlayers、leaflet、mapbox、cesium，canvas，echarts

还是大剑师兰特·2024-09-13 10:37

润物细无声，支教传温情|自控系暑期三下乡社会实践活动

润物细无声支教传温情▲▲▲自控系|暑期三下乡社会实践活动为积极响应团中央“情暖童心”关爱保护农村留守儿童工程，为农村留守儿童送去关爱与温暖，河南工学院自动控制系在暑期组织了“‘艺+意’米白阳光”青翼支教团和

鲈之语·2024-09-13 10:07

【大数据】如何读取多个Excel文件并计算列数据的最大求和值

导语：在数据分析和处理中，我们经常需要从多个Excel文件中提取数据并进行计算。本文将带您通过一个实用的Python教程，学习如何读取D盘目录下特定文件夹内的多个Excel文件，并计算特定列数据的最大求和值。文章目录一、准备工作二、教程步骤1.导入必要的库2.设置文件路径3.获取Excel文件列表4.选择文件5.初始化最大求和值6.指定求和的列索引7.读取Excel文件并计算列求和8.输出结果三、

熬夜的王·2024-09-13 10:04

大数据领域的深度分析——AI是在帮助开发者还是取代他们？

在大数据领域，生成式人工智能（AIGC）的应用正在迅速扩展，改变了数据科学家和开发者的工作方式。本文将从大数据的专业视角，探讨AI工具在这一领域的作用，以及它们是如何帮助开发者而非取代他们的。

阳爱铭·2024-09-13 09:32

2023-11-10

23年广东工程师职称评审工作通知【为了帮助大家更好地通过评审，附上以下几点建议】一、论文方面1、基础知识:评职称的论文从撰写到论文出刊。

小好编辑·2024-09-13 09:57

python实现模糊逻辑_基于Python的大数据集模糊逻辑

我的团队一直致力于在两个大数据集上运行模糊逻辑算法。第一个(子集)大约是180K行，包含我们需要在第二个(超集)中匹配的人的姓名、地址和电子邮件。超集包含250万条记录。

takeiiii·2024-09-13 09:00

最高法裁判观点：限制当事人一定期限内不得起诉的合同条款有效

案例索引：《六盘水恒鼎实业有限公司、重庆千牛建设工程有限公司建设工程施工合同纠纷案》【（2016）最高法民终415号】争议焦点：合同中有关当事人在特定期限内不

f9d525317e5d·2024-09-13 08:01

推荐频道

大数据工程