大数据-BigData

大数据高级开发工程师——Flink学习笔记（1）

文章目录Flink学习笔记Flink基础篇Flink简介1.处理无界和有界数据2.部署应用到任意地方3.运行任意规模的应用4.利用内存性能Flink的特点和应用场景1.Flink的特点2.Flink的应用场景Flink基本技术栈和架构1.Flink基本技术栈2.Flink基本架构Flink安装1.Standalone模式安装2.FlinkonYarn模式安装第一种：Session模式第二种：Per
讲文明的喜羊羊拒绝pua·2024-02-03 15:23

大数据组件笔记 -- Spark 入门

简介二、Spark运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
L小Ray想有腮·2024-02-03 15:53

大数据实时处理 1.1搭建Scala开发环境。

Scala简介。Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式编程和函数式编程风格。ChristopherDiggins认为：不太久之前编程语言还可以毫无疑意地归类成“命令式”或者“函数式”或者“面向对象”。Scala代表了一个新的语言品种，它抹平了这些人为划分的界限。根据DavidRupp在博客中的
saddwe·2024-02-03 15:52

【学习笔记】大数据技术之Scala（上）

【学习笔记】大数据技术之Scala（下）尚硅谷大数据技术之Scala（新版）思考：1.为什么scala在生成字节码文件的过程中，会有类名$.class文件生成？2.闭包时如何实现的？
在学习的王哈哈·2024-02-03 15:51

大数据面试题 ---阿善有用

大数据工程师面试题1.选择题1.1.下面哪个程序负责HDFS数据存储。
okbin1991·2024-02-03 15:21

循序渐进大数据组件之--Flink

最近学习了Flink，做一些小的总结：（预计这个我会出一个系列）先来看看Flink是什么：（出自官网）ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。ApacheFlink功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以
Alex_81D·2024-02-03 15:20

Spark大数据分与实践笔记（Scala语言基础-1）

1.1Scala概述Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由Scala语言开发实现的，关于大数据技术，本身就是计算数据，而Scala既有面向对象组
妉妉师姐·2024-02-03 15:49

大数据应用开发3-Scala笔记1

一、编程框架Scala语言是在JVM上运行的，兼容Java语法区分大小写-Scala是大小写敏感的，这意味着标识Hello和hello在Scala中会有不同的含义。类名-对于所有的类名的第一个字母要大写。如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要大写。方法名称-所有的方法名称的第一个字母用小写。如果若干单词被用于构成方法的名称，则每个单词的第一个字母应大写。示例：defmyMe
争渡争渡！·2024-02-03 15:19

2021-07-08

昨晚美股的中概股，特别是大数据、汽车和网络公司跌幅明现，今天应该A股相应的股票应该会回调。大盘昨日突破3540点，进入了上行反攻的阶段，应尽量避免跑进跑出，持股待涨为佳！
天象·2024-02-03 14:13

大数据时代，Java通过JFreeChart分析和可视化数据

在大数据时代，一般都是通过什么方法收集、分析和可视化数据的？作为非平台运营商有没有办法收集到数据呢？假设说新浪微博每天有一亿条更新的微博，那么这些数据是不是只有新浪才能收集，第三方是没法收集的呢？
知了堂Java大数据·2024-02-03 14:00

开启机器学习模式（孤军奋战且行且珍惜）

源头是之前看过一个研究生小姐姐写的文章，她是通过kaggle进行练习来提高自己的数据分析能力，（已经看完了沈浩老师的媒体大数据分析课程，也学了简单地python内容）我也准备用kaggle开始锻炼自己。
坚持一件事527·2024-02-03 14:31

2019最火爆的项目平台----项目学院

4）数据透明：通过大数据量化筛选，一键筛选到适合自己的投资项目5)推广项目：自己正在从事项目包括未开盘项目，可以选择上传项目，把自已的项目连同自己的联系
happy艺汇·2024-02-03 13:59

量化学习：大数据时代的学习方式

摘要：未来人工智能、大数据、学习分析等技术被广泛应用于教育教学中，量化学习将成为新的研究热点。
weixin_44387107·2024-02-03 13:10

大数据、人工智能在交通行业中的应用及其带来的影响

一、大数据在交通行业中的应用大数据是一种包含大量数据、具有复杂结构和潜在价值的信息集合。大数据，这个近年来炙手可热的词汇，正在逐渐改变我们的在交通行业中，大数据的应用更是广泛且深入。
呆码科技·2024-02-03 13:55

担心信息泄露被恶意申贷，查大数据报告有用吗?

之前有网友反映，自己在线上找私人申贷，之后不想要了被威胁要曝光自己的信息，她担心被别人恶意申贷，想通过大数据报告看看到底有没有被申贷。那担心信息泄露被恶意申贷，查大数据报告有用吗?
2401_82630523·2024-02-03 13:50

大数据信用报告在线查询平台哪个好?

随着大数据技术在金融风控的运用，大数据信用越来越被人熟知，由于线下没有查询大数据信用的地方，想要查询大数据信用报告只有在线上查询，那大数据信用报告在线查询平台哪个好呢?
2401_82630523·2024-02-03 13:19

大数据信用报告查询费用一般要多少钱?

一些不少朋友在申贷的时候被拒贷之后，得到的原因就是因为大数据不良被拒，这时候很多人都反过来查询自己的大数据信用报告，而查询的价格也是不少朋友都比较关注的，那大数据信用报告查询费用一般要多少钱呢?
2401_82630523·2024-02-03 13:17

如何从零开始学习Java

在学习过程中一定要书本视频结合来看（单纯书本太难）要结合项目实战，在学有余力的情况下可以学习一些加分技能：前端、动态语言、大数据、热门框架。
ITb·2024-02-03 12:23

POI读写大数据量excel，解决超过几万行而导致内存溢出的问题

1.Excel2003与Excel2007两个版本的最大行数和列数不同，2003版最大行数是65536行，最大列数是256列，2007版及以后的版本最大行数是1048576行，最大列数是16384列。excel2003是以二进制的方式存储，这种格式不易被其他软件读取使用；而excel2007采用了基于XML的ooxml开放文档标准，ooxml使用XML和ZIP技术结合进行文件存储，XML是一个基于
Swordfall·2024-02-03 12:35

2020国庆旅游大数据新鲜出炉，你的家乡上榜了吗？

经过了一个充实而又漫长的国庆加中秋的双节假期，10月8日终于正式开始恢复上班了，相信很多小伙伴还依然沉醉在美妙的假期中不能自拔，闹钟提醒起床上班的那一刻不禁感叹着：天哪，时间怎么过的这么快！对于国庆黄金周，最热门的话题莫过于去哪玩了，相信很多小伙伴早早地就已经制定好了出游的计划，订好了机票，约上朋友，三五成群，准备来一场说走就走的旅行。但是事与愿违的是，出去看的并不是风景，而是人！！！没错，“人从
喜欢下厨的数据分析师·2024-02-03 12:46

大数据分析|设计大数据分析的三个阶段

文献来源：SaggiMK,JainS.Asurveytowardsanintegrationofbigdataanalyticstobiginsightsforvalue-creation[J].InformationProcessing
封印师请假去地球钓鱼·2024-02-03 12:32

大数据分析|大数据分析的三类核心技术

文献来源：SaggiMK,JainS.Asurveytowardsanintegrationofbigdataanalyticstobiginsightsforvalue-creation[J].InformationProcessing
封印师请假去地球钓鱼·2024-02-03 12:28

C#的Dapper使用（一）

如果你在小的项目中，使用EntityFramework、NHibernate来处理大数据访问及关系映射，未免有点杀鸡用牛刀。你又觉得ORM省时省力，这时Dapper将是你不二的选择。
AilonChen·2024-02-03 11:44

大数据之虚拟机安装开发环境

一、安装centos6全新系统环境后，首先要做的是linux配置：1.配置HOSTNAMEvi/etc/sysconfig/network2.配置IP和HOSTNAME的映射配置的HOSTNAME一定要和第一步中的一模一样!!!!!vi/etc/hosts3.关闭防火墙/开启防火墙端口serviceiptablesstop如果检测防火墙是否关闭serviceiptablesstatus4.关闭防火
Five_461e·2024-02-03 11:33

一文读懂十大数据存储加密技术

数据作为新的生产要素，其蕴含的价值日益凸显，而安全问题却愈发突出。密码技术，是实现数据安全最经济、最有效、最可靠的手段，对数据进行加密，并结合有效的密钥保护手段，可在开放环境中实现对数据的强访问控制，从而让数据共享更安全、更有价值。随着《密码法》等“一法三规一条例”的落实，各行业对数据加密技术、产品和服务的重视程度不断提升。本文聚焦十种数据存储加密技术，希望能够帮助读者快速了解数据存储加密技术的全
炼石网络·2024-02-03 11:47

10亿惊喜！彩票出来了！

{大数据预测足够篮子}{下载APP}4月17日（星期二）的SuxEnaloto奖是12—23-39—54-72-72，53号和75号
dcicmcrwlr·2024-02-03 11:52

Python-小数取整与小数四舍五入

()函数取整3.ceil()与floor()函数取整前言本文主要记录Python-实现小数取整与小数四舍五入的相关笔记1.round()函数round()函数目前是使用较为广泛的四舍五入函数，尤其是在大数据处理中
Sky-JT·2024-02-03 10:07

Flink实时数仓同步：拉链表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

二、场景在大数据平台中，业
Light Gao·2024-02-03 10:14

PySpark笔记(三)：DataFrame

DataFrameAPI受到R和Python（Pandas）中的数据框架的启发，但是从底层开始设计以支持现代大数据和数据科学应用程序。作为现有RDDAPI的扩展，DataFr
Daisy丶·2024-02-03 10:31

Flink实时数仓同步：快照表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。
Light Gao·2024-02-03 10:38

爆款AR游戏如何打造？网易杨鹏以《悠梦》为例详解前沿技术

本场游戏论坛聚焦探讨了可能对游戏行业发展有重大推动的新技术、新实践，如AR、区块链、安全、大数据等。
网易易盾·2024-02-03 10:07

深度学习有何新进展

随着计算能力的提升和大数据的积累，深度学习技术在图像识别、语音处理、自然语言理解等多个方面取得了显著进展。
小狗蛋ing·2024-02-03 09:06

AIGC时代：大模型ChatGPT的技术实现原理、行业实践以及商业变现途径

大数据与人工智能实战专家—周红伟老师法国科学院数据算法博士/曾任猪八戒大数据科学家/曾任马上消费金融风控负责人课程背景2023年，以ChatGPT为代表的接近人类水平的对话机器人，AIGC不断刷爆网络，
AI周红伟·2024-02-03 09:15

numpy 转载学习

在最流行的三大数据处理栈R、Matlab和Python中，NumPy是最重要的组件之一，有很多Python系的数据处理系统都依赖NumPy作为其基础架构的基础部分，比如tensorflow、pandas
科学俱乐会·2024-02-03 09:34

flask基于django大数据的证券股票分析系统python可视化大屏

证券分析系统采用B/S架构，数据库是MySQL。网站的搭建与开发采用了先进的Python进行编写，使用了Django框架。该系统从两个对象：由管理员和用户来对系统进行设计构建。主要功能包括：个人信息修改，对股票信息、股票买入、股票卖出、股市新闻等功能进行管理。本系统在一般证券分析系统的基础上增加了首页推送最新信息的功能，方便用户快速浏览，是一个高效的、动态的、交互友好的证券分析系统。当下证券分析方
QQ_402205496·2024-02-03 09:33

【机器学习】3万字长文，PySpark入门级学习教程，框架思维

作为数据从业者多年，个人觉得Spark已经越来越走进我们的日常工作了，无论是使用哪种编程语言，Python、Scala还是Java，都会或多或少接触到Spark，它可以让我们能够用到集群的力量，可以对BigData
风度78·2024-02-03 08:00

大数据关键技术之数据采集电商数据采集电商API接口接入发展趋势

在大数据和人工智能时代，数据之于人工智能的重要性不言而喻。今天，让我们一起聊聊数据采集相关的发展趋势。本文从数据采集场景、数据采集系统、数据采集技术方面阐述数据采集的发展趋势。
大数据girl·2024-02-03 08:29

【数据开发】pyspark入门与RDD编程

数据科学使用Python和支持性库的大数据。spark与pyspark的关系spark是一种计算引擎，类似于hadoop架构下mapreduce，与mapr
小哈里·2024-02-03 08:58

写作知识分享：在阅读经典作品中学习细节刻画

来源澎湃新闻《作家走走：用大数据为小说做文本分析》，此篇为阅读笔记华东师范大学创意写作专业“名家创作谈”系列课程，这几期在澎湃新闻上都能看到，看了之后每一篇都有所收获。
深海书社·2024-02-03 08:36

基于大数据的淘宝电子产品数据分析的设计与实现

（1）本次针对开发设计系统并设置了相关的实施方案，利用完整的软件开发流程进行分析，完成了设置不同用户的操作权限和相关功能模块的开发，最后对系统进行测试。（2）框架可以帮助程序开发者快速构建软件的整体层次，本次开发所使用的框架为python和Django，具有较强的开发环境部署的优势，程序开发者可以快速构建出相关的软件基本框架，通过多种框架的开发可以帮助程序开发者减少代码量，提升系统的安全和稳定性，
QQ_402205496·2024-02-03 08:58

大数据是什么？华为云学院带你探索大数据之旅

大数据是什么？华为云学院带你探索大数据之旅我们首先从大数据是什么开始讲起，！下面由我来带领大家！展开我们本次的大数据学习之旅！大数据是什么，内容将包括大数据的产生，发展大数据的基本概念。
舒意从生·2024-02-03 08:53

Hadoop：学习HDFS，看完这篇就够了！

由于其具有高容错性、高可靠性和高吞吐量等特点，因此广泛应用于大数据处理和分析场景。一认识Hadoop学习HDFS之前，让我们先来简单认识一下Hadoop是什么？
爱写代码的July·2024-02-03 08:09

开源大数据集群部署（九）Ranger审计日志集成（solr）

作者：櫰木1、下载solr安装包并解压包tar-xzvfsolr-8.11.2.gzcdsolr-8.11.2执行安装脚本./bin/install_solr_service.sh/opt/solr-8.11.2.tgz安装后，会在/etc/default/下生成solr.in.sh文件。2、在rangeradmin下生成solr相关配置cd/opt/ranger-2.3.0-admin/cont
云掣YUNCHE·2024-02-03 07:54

2023还有所谓的“金三银四”，行业梦魇35岁是否提前了呢

1.大体行业判断技术多元化从原来的单一技术到其他范围：大数据、AI、云容器、算法等等。技能多元化从原来的单一技能到其他技术：后端java、go、python、hive、算法。
南宫文凯·2024-02-03 07:45

我似乎只是一条裹着茧的数据条

大数据时代，自由与不自由变得尤为明显。一方面，我们可以利用大数据技术和各种工具，从各种来源收集与分析数据，更好的了解和掌握一些行为模式。
嗯是乔木啊·2024-02-03 06:57

武侠手游平台有哪些 武侠手游平台排行榜

为了帮助玩家选择靠谱的平台，本文根据大数据统计整理了几个值得推荐的内部福利手游平台。让我们一起来看看吧！
会飞的鱼儿·2024-02-03 06:49

无人零售模式下，“IoT+鸿蒙”实现零代码搭建自动售货机监控大屏的可能性摸索

在无人零售模式下，无人货架、自动售货机等智能设备，商品识别、人脸识别、大数据分析、数据可
叶一一yyy·2024-02-03 06:43

Flink SQL connector配置

jdbc'connector.type'='jdbc','connector.url'='jdbc:mysql://dimension.db.inc.com:3592/dbzz_bigdata_dimension
大数据从零开始小熊嘛·2024-02-03 06:03
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他