大数据技术-Scala

pyspark中实现scala的contains函数

scala:lines.filter(line=>line.contains("Python"))pyspark:lines.filter(lambdax:x.find("Python")!
tianchen627·2024-01-21 12:25

vue3+vite：封装Svg组件

1.什么是SVGSVG(ScalableVectorGraphics)是一种基于XML的矢量图形格式，用于描述二维图形和图像。与传统的栅格图像（如JPEG、PNG）不同，SVG使用数
儒雅的曹曹曹·2024-01-21 07:58

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN交互过程HadoopHDFS常用命令HadoopYARN常用命令Hive大数据工具Hive介绍大数据工具Hive架构设计原理大数据之Hive常用命令大数据之Hive常用聚合函数大数据之Hive
转身成为了码农·2024-01-21 07:41

淘宝返利机器人是什么原理?返利云机器人的使用方法？

其核心原理在于利用机器学习算法和大数据技术，对电商平
测评君高省·2024-01-21 04:18

大数据技术原理及应用课实验1 熟悉常用的Linux操作和Hadoop操作

实验1熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续的其他实验奠定基础。二、实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（2）Hadoop版本：3.1.3。三、实验步骤（每个步骤下均需有运行截图）1
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验5 :MapReduce初级编程实践

目录一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现文件合并和去重操作（二）编写程序实现对输入文件的排序（三）对给定的表格进行信息挖掘四、实验总结五、优化及改进（选做）实验5MapReduce初级编程实践一、实验目的1.通过实验掌握基本的MapReduce编程方法；2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台
Blossom i·2024-01-21 02:20

通过WordCount解析Spark RDD内部源码机制

我们通过SparkWordCount动手实践，编写单词计数代码；在wordcount.scala的基础上，从数据流动的视角深入分析SparkRDD的数据处理过程。
联旺·2024-01-21 01:54

【JAVA】AI医疗导诊系统源码

智能导诊系统是一种基于人工智能和大数据技术开发的医疗辅助软件，它能够通过对患者的症状、病史等信息进行计算分析，快速推荐科室和医生。
源码技术栈·2024-01-21 00:11

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

在线招聘江湖：老、中、新三代平台对垒

翻开互联网招聘行业历史，PC时代51job、智联招聘等招聘网站将招聘信息从线下搬到线上；移动互联网时代BOSS直聘、拉勾等招聘平台善用大数据技术提高匹配的精准度；直播时代快打工改变了传统招聘的方式，以更直观的直播形式提高招聘效率
玄学范畴·2024-01-20 19:10

【时间日期转换】将字符串转换为日期并指定时区（Scala实现）

/***将给定的时间字符串转换成日期,并指定时区**dateStr给定的时间字符串(格式应该与pattern参数一致)*pattern时间字符串的格式*timeZoneId时区Id,默认取系统本地设置的时区**@paramdateStr*@parampattern*@paramtimeZoneId*@return*/defparseDate(dateStr:String,pattern:Strin
syb18810107241·2024-01-20 18:38

【NPL】自然语言处理（Natural Language Processing，NLP）的发展简述

目录背景发展线路研发关键词背景随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。
全栈小5·2024-01-20 17:09

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

一、实验内容与要求1、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop并解压；4、修改配置文件；5、名称节点格式化；6、启动Hadoop，JPS查看是否启动成功；7、运行测试例子；8、在安装好的Hadoop伪分布式环境中操作HDFS命令；
小嘤嘤怪学·2024-01-20 16:52

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

111、Scala编程进阶之文件操作实战详解

遍历一个文件中的每一行必须导入scala.io.Source类:importscala.io.Source方法一:使用Source.getLines返回的迭代器valsource=Source.fromFile
ZFH__ZJ·2024-01-20 11:56

Hadoop基础知识

它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算2、Hadoop特性优点扩容能力（Scalable
坐在风口上de猪·2024-01-20 10:10

Kafka框架详解

Kafka1、Kafka介绍Kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的消息队列系统。
坐在风口上de猪·2024-01-20 10:23

Hack The Box-Sherlocks-Tracer

AjuniorSOCanalystondutyhasreportedmultiplealertsindicatingthepresenceofPsExeconaworkstation.TheyverifiedthealertsandescalatedthealertstotierII.AsanIncidentresponderyoutriagedtheendpointforartefact
0415i·2024-01-20 08:29

Data Bricks Delta Lake 入门

适用于PySpark、Scala和.NET代码的AzureSynapseAnalyticsSpark,AzureDataBricks都支持DeltaLake。
AI普惠大师·2024-01-20 07:03

Spark从入门到精通30:Spark SQL：核心源码深度剖析

在前面一节我们讲解了SparkSQL的工作原理，接下来在这一节，我们对SparkSQL工作原理进一步地深入和加强，这一节主要讲解SparkSQL核心源码导读和剖析首先，我们看SQLContext.scala
勇于自信·2024-01-20 07:57

为梦想踏出第一步：入住博客啦

#一.自我介绍大家好呀，我是一名来自湖南的大一学生，就读于一所双非本科院校，专业嘛是数据科学与大数据技术，我是一个对编程一窍不通的小菜鸟，但我这个小菜鸟又对编程有着浓厚的兴趣，也希望自己能在这一领域有所进步
果苏·2024-01-20 05:54

敏捷漫画#84-升级障碍

升级障碍（Escalatingimpediments）图1图2图3图4作者评论：当然，升级障碍（impediment）与升级冲突（conflict）是不同的。
小船哥说敏捷·2024-01-20 03:58

08 Scala sequence comprehensions (序列解析)

语法：for(enumerators)yieldeenumerators为用分号间隔开的变量生成器或者过滤器（if），yield返回值，两个例子：deffoo(n:Int,v:Int)=for(i=20&&user.ageprintln(name))//printsTravisDennis
ceaseless·2024-01-20 01:45

【tensorflow】[Python] tensorflow tensor的批量条件改值 如何修改tensor中符合特定条件的元素值 将满足特定规则的tensor元素值修改

np.where(x<3)]=3的形式将其批量改成这种批量的条件判断改值，由于tensor不能直接用索引修改值尝试了几种方法，比如更改为Varient、numpy等会出现TypeError:onlyintegerscalararrayscanbeconvertedtoascalarindex
gongfpp·2024-01-20 01:23

21大软件架构特点的全面解析

来源：21大软件架构特点的全面解析(qq.com)众所周知，架构特点多以"ility"结尾（例如scalability、deployability），也被称为NFR（非功能需求）、质量属性。
gqltt·2024-01-20 00:08

【话题】自然语言处理的发展

随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
RisunJan·2024-01-19 23:39

kafka--Kafka剖析（一）：Kafka背景及架构介绍

cm_mc_uid=84038470819814925729668&cm_mc_sid_50200000=1498544573kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写
Tate-Ling·2024-01-19 23:34

20181101每日一词|essence

创业公司的精髓是快速增长（可规模化）参考翻译：Theessenceofstart-upsisscalability/rapidgrowth.师者，所以传道授业解惑也。
罗罗ph·2024-01-19 17:28

黑猴子的家：Scala 插值器

格式化的字符串是Scala类库预定义的三个字符串插值器之一packagecom.heihouzi.unit01/***@author黑猴子*/objectFunctionModule{defmain(args
黑猴子的家·2024-01-19 16:45

某小外包公司线上面试-大数据开发

6.java，scala会用吗？7.期望薪资多少？（感觉说出来就无了）面的初级岗附上hr问的问题？1.公司开发人员占比？公司规模？
劝学-大数据·2024-01-19 16:03

【OpenCV】C++版本基础知识总结

文章目录前言一、Mat二、Scalar三、Point四、Rect前言C++opencv总结一、Mat在OpenCV中，cv::Mat是一个非常重要的类，用于表示图像或多维数组。
行走的学习机器·2024-01-19 11:17

深度学习和大数据技术的进步在自然语言处理领域的应用

随着深度学习和大数据技术的迅猛发展，自然语言处理（NaturalLanguageProcessing，NLP）取得了显著的进步。
咕噜企业签名—美乐蒂·2024-01-19 09:28

在IDE中调用Joern Scala API的基本方法

看到Joern目前的官网里介绍：https://joern.io/docs/javalib/，是可以调用其ScalaAPI的，虽然官网给了很多例子，但是基本没说怎么配置基本的环境，如果是没有用过Scala
蛐蛐蛐·2024-01-19 09:51

Joern环境的安装(Windows版)

在Windows下使用源码安装Joern也是非常简单的过程：提前需要的本地环境：SBTJDK1.7+IntelliJIDEA+Scala安装步骤首先，从github下载Joern项目的源码gitclonehttps
marsxu626·2024-01-19 09:45

14.云原生之三高系统

三高介绍在计算机领域，"三高"通常指的是高性能（HighPerformance）、高可用性（HighAvailability）和高扩展性（HighScalability）。
野心与梦·2024-01-19 08:18

spark+phoenix读取hbase

我用的是scala语言，首先pom.xml中添加依赖o
潮落拾贝·2024-01-19 06:16

linux+挂载xfs文件,CentOS系统创建和挂载XFS文件系统

XFS文件系统在很多方面确实做的比Ext4好，Ext4受限制于磁盘结构和兼容问题，可扩展性和scalability确实不如XFS，另外XFS经过很多年发展，各种限制锁的细化做的也比较好。
老杨的诗和远方·2024-01-19 05:33

你知道都有哪些I/O模型吗？

JavaNIO三大角色Channel、Buffer、SelectorDouglea《ScalableIOinJava》翻译Reactor模型你知道都有哪些吗？
壹氿·2024-01-19 01:41

安装mxnet详细版

它支持多种编程语言，包括Python、C++、R、Scala等，可以在CPU、GPU和分布式环境下运行。
江江酱₍ᐢ..ᐢ₎♡·2024-01-19 01:00

【论文分享】SMOKE: Scalable Path-Sensitive Memory Leak Detection for Millions of Lines of Code

论文名：SMOKE:ScalablePath-SensitiveMemoryLeakDetectionforMillionsofLinesofCode来源会议：ICSE2019来源团队：香港科技大学（源伞团队
破落之实·2024-01-18 23:12

【文献阅读】ES as a Scalable Alternative to RL（OpenAI 17）

EvolutionStrategiesasaScalableAlternativetoReinforcementLearningbrief文章链接该文章是OpenAI17年发布的，目前有300+的引用量
wxmcp3·2024-01-18 22:52

2024大数据主要方向及岗位职责（二）

根据大数据技术体系及对人才的需求，本标准围绕数据预处理、数据标注、数据分析、产品开发、项目实施与运维、平台建设、数据安全、数据管理、运营与应用、咨询服务等10个方向对人才的岗位能力进行说明。
泰迪智能科技·2024-01-18 20:11

从零开始学习Zeppelin：大数据可视化分析的交互式开发系统！

此外，Zeppelin还内置了多种数据处理和分析相关的组件，如SQL、Scala、Python等，并且支持多种运行模式
知识分享小能手·2024-01-18 17:57

计算机项目-PHP实现的乡村振兴网站-大数据技术

件开发环境及开发工具：操作系统：Windows10、Windows7、Windows8开发语言：php前端技术：JavaScript、VUE.js（2.X）、css3开发工具：phpstorm、VisualStudioCode/HbuildX数据库：MySQL5.7.26（版本号）数据库管理工具：phpstudy/NavicatPHP版本：php7.1.9nts服务器：Nginx1.15.11功能
IT 实战课堂-猿程序·2024-01-18 16:45

sparkstreaming实时写入hive

pom文件spark-streaming-kafka-0-10_2.112.1.0spark-core_2.11spark-sql_2.11scala-library采用的是scala2.11.8实现逻辑
会飞的蜗牛66666·2024-01-18 16:11

RabbitMQ基础知识

是一个高性能的异步通讯组件官网地址：RabbitMQ官网2.MQ技术对比RabbitMQActiveMQRocketMQKafka公司RabbitApache阿里Apache开发语言ErlangJavaJavaScala
Java界第一深情·2024-01-18 15:10

（转）Java 8 Optional类深度解析

一些JVM编程语言比如Scala、Ceylon等已经将对在核心API中解决了这
hexm01·2024-01-18 11:31

Opencv4快速入门笔记

480,640),CV_8UC1);Matm=a.clone();//克隆Matb=(a,Range(2,5),Range(3,5));//截取a中2-5行，3-5列Matb(2,2,CV_8UC3,Scalar
C20200905_hc·2024-01-18 07:16

反射执行FlinkSql代码时找不到UDF的class报ClassNotFound

的注册代码如下：TableEnvironmenttbEnv;......tbEnv.createTemporarySystemFunction("udf名字",全类名.class);经过排查，它会在如下scala
原来你是小幸运·2024-01-18 07:33
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他