monster++
monster++

大数据原理-Spark

概述：

基于内存计算
三大分布式计算系统：Hadoop、Spark、Storm

特点：

采用有向无环图DAG作业调度
运行速度快
循环数据流
容易使用：可以通过Spark Shell交互式编程
用途：SQL查询、流式计算、机器学习、图算法组件
部署：Hadoop的yarn框架调度、单独部署等等

Spark主要语言：

Scala（scalable可扩展）：多范式编程语言（面向对象、函数式编程）
兼容Java可以运行在JVM，强大并发性，更好支持分布式系统

Spark生态系统：

复杂的批量数据处理：MR
历史数据的交互式查询：Impala
实时数据流处理：Storm

内存计算：Spark Core
交互式查询分析：Spark SQL
流计算： Spark Streaming
机器学习算法库组件：Mlib
图计算：GraphX

运行架构：

RDD：分布式内存抽象概念
DAG：有向无环图
Executor：负责运行任务Task
Application：编写Spark
Task：工作单元
Job：包含多个RDD
Stage：Job基本调度单位（任务集合）

worknode 中 有execute

一个Application由一个Driver管家和多个worker node

运行基本流程：

Driver构建运行环境：创建SparkContext与资源管理器申请资源
资源管理器为Execute申请资源
根据RDD依赖关系构建DAG，DAG提交给DAGScheduler解析成Stage
把TaskSet提交给TaskScheduler
Execute申请Task，运行

RDD：
分布式对象集合
不断转换
不需要不断写入磁盘

Spark SQL
Shark：hive on Spark

部署应用：

Standalone
Spark on Mesos
Spark on YARN
底层HDFS存储 YARN资源调度 部署Spark

你可能感兴趣的:(大数据原理,分布式,编程语言,分布式计算,hadoop,spark)

  • 行星减速机特点及应用深度解析 四川国阜传动设备有限公司 搜索引擎
    精密传动的核心奥秘：行星减速机工作原理行星减速机的结构犹如一个微缩的“太阳系”：中央的太阳轮作为动力输入轴，周围环绕数个行星轮，行星轮由行星架固定，并共同啮合于外层内齿圈构成的封闭空间。当电机驱动太阳轮旋转时，行星轮在公转（绕太阳轮）与自转的复合运动中实现动能传递，通过行星架输出减速后的高扭矩。这一设计的精妙之处在于多齿同步啮合：行星轮与太阳轮、内齿圈同时接触，将载荷分散到多个接触点，不仅减小了单
  • 自动字幕生成器：Auto-Subtitle — 技术解析与应用指南 房耿园Hartley
    自动字幕生成器：Auto-Subtitle—技术解析与应用指南在视频内容日益丰富的今天，自动字幕生成工具变得越来越重要，尤其是对于听障人士、非母语者和在嘈杂环境下观看视频的人来说。Auto-Subtitle是一个开源项目，它利用先进的自然语言处理（NLP）技术为你的视频自动生成准确的字幕。本文将深入探讨这个项目的原理、功能、应用场景及特点，以期吸引更多开发者和用户关注并使用。项目简介Auto-Su
  • ABP VNext + Temporal：分布式工作流与 Saga Kookoos AbpvNext.netABPVNext.netTemporalContinue-As-New
    ABPVNext+Temporal：分布式工作流与Saga目录ABPVNext+Temporal：分布式工作流与SagaTL;DR1.环境与依赖️2.系统架构概览3.接入Temporal客户端&OpenTelemetry4.定义Workflow与Activities✍️4.1Workflow接口4.2Activities接口与实现5.Worker宿主托管&DI映射6.Workflow实现：补偿、重
  • 学习 Python 爬虫需要哪些基础知识？ 广州山泉婚姻 python爬虫
    学习Python爬虫需要掌握一些基础技术和概念。1.Python基础语法这是最根本的前提，需要熟悉：-变量、数据类型（字符串、列表、字典等）-条件判断、循环语句-函数、类与对象-模块和包的使用（如import语句）2.网页基础了解网页的构成和工作原理：-HTML结构：能看懂标签、属性，知道如何定位内容（如div、span、a标签等）-CSS选择器：用于精准定位网页元素（如类选择器.class、ID
  • 自动雨量监测站：捕捉雨情的 “智慧眼睛”
    自动雨量监测站：捕捉雨情的“智慧眼睛”柏峰【BF-YL】在气象万千的大自然中，降雨作为一种常见却又对人类生活、生产有着重大影响的天气现象，其监测数据的精准获取至关重要。从农业灌溉到城市防洪，从气象预报到水文研究，每一个与水相关的领域，都离不开对降雨量的精确掌握。自动雨量监测站，这一现代科技的结晶，宛如一位不知疲倦的“雨情侦察兵”，正默默守护在各个角落，为我们提供着至关重要的降雨数据。工作原理：融合
  • 浮漂式水质监测设备：智能守护水环境的未来之眼 柏峰电子 人工智能
    浮漂式水质监测设备：智能守护水环境的未来之眼柏峰【BF-FBSZ】随着全球水资源短缺和水污染问题日益严峻，水质监测技术正迎来前所未有的发展机遇。作为这一领域的创新突破，浮漂式水质监测设备凭借其实时性、智能化和网络化优势，正在重塑水资源管理的新格局。本文将深入探讨这一技术的原理、特点、应用场景及未来发展趋势。一、技术原理与系统架构浮漂式水质监测设备是一种集成了现代传感器技术、物联网和大数据分析的智能
  • LLM 的Top-P参数 是在LLM中的每一层发挥作用，还是最后一层？ ZhangJiQun&MXP 教学2024大模型以及算力2021AIpython人工智能算法机器学习transformer自然语言处理
    LLM的Top-P参数是在LLM中的每一层发挥作用，还是最后一层？Top-P（核采样）是在大语言模型（LLM）生成文本的最后一步发挥作用，具体来说是在模型输出**原始分数（Logits）**之后、应用Softmax函数生成概率分布之前进行筛选。它的作用机制与Temperature（温度）类似，但逻辑不同，以下从技术原理、代码实现和应用场景三个维度展开说明：一、技术原理：仅作用于生成阶段的最后一步1
  • 科技照亮童心|激光院与跳伞塔社区开展公益活动 亚财动态 科技
    7月11日，激光院联合跳伞塔社区开展“科娃讲堂”青少年科普公益活动，进一步推进激光院属地化发展，履行央企担当，助力科技人才培养。30余名青少年走进“科娃讲堂”，与激光院优秀青年人才一起共话激光科技。此次活动通过“知识讲解+观察实践”的方式，让青少年近距离感受激光技术的原理和应用。活动现场，激光院青年工程师为青少年们带来精彩纷呈的知识讲解，从激光院的历史沿革到前沿激光技术的发展，从激光雷达的主要应用
  • 【深度科普】加密货币钱包恢复的技术原理与实践：助记词、私钥丢失了怎么办？ sheep8888 linux运维服务器安全区块链安全架构
    前言：当数字黄金“锁”在保险箱里在区块链的世界里，私钥和助记词就是你通往数字资产宝库的唯一钥匙。然而，由于各种原因——硬盘损坏、记忆模糊、备份丢失——这把钥匙可能会暂时“失灵”。本文将从技术原理出发，深入探讨加密货币钱包恢复的可能性，并为那些陷入困境的朋友们提供一个经过验证的专业解决方案。一、钱包恢复的技术可能性很多人认为助记词或私钥一旦部分丢失就等于资产永久损失，但这其实是一个误解。在拥有部分信
  • Python 机器学习：NumPy 实现朴素贝叶斯分类器 Python编程之道 Python编程之道python机器学习numpyai
    Python机器学习：NumPy实现朴素贝叶斯分类器关键词：朴素贝叶斯分类器、NumPy、机器学习、概率模型、条件概率、拉普拉斯平滑、向量化计算摘要：本文系统讲解朴素贝叶斯分类器的核心原理，基于NumPy实现高效的算法框架，涵盖从概率理论到工程实现的完整流程。通过数学公式推导、代码实现和鸢尾花数据集实战，展示如何利用向量化计算优化概率估计，解决特征独立性假设下的分类问题。同时分析算法优缺点及实际应
  • 基于蜣螂算法优化多头注意力机制的卷积神经网络结合双向长短记忆神经网络实现温度预测DBO-CNN-biLSTM-Multihead-Attention附matlab代码 matlab科研助手 神经网络算法cnn
    ✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机物理应用机器学习内容介绍温度预测在气象学、农业、能源等领域具有重要的应用价值。随着大数据和人工智能技术的快速发
  • 缓解和防御 IoT 设备中的 DDoS 攻击 hao_wujing 物联网ddos
    大家读完觉得有帮助记得关注和点赞！！！抽象物联网（IoT）在多个领域的快速增长和广泛采用导致了新的安全威胁的出现，包括分布式拒绝服务（DDoS）。这些攻击在世界范围内引起了重大关注，因为它们可能对关键基础设施和服务造成重大破坏。由于安全功能有限，IoT设备容易受到攻击并吸引攻击者，因此很容易成为攻击者的猎物。此外，攻击者可以破坏IoT设备以形成僵尸网络-一个感染了恶意软件的私人计算机网络，并在所有
  • 网络安全态势感知模型 原理和架构及案例 hao_wujing web安全架构安全
    大家读完觉得有帮助记得关注和点赞！！！网络安全态势感知（NetworkSecuritySituationAwareness,NSSA）是通过多源数据融合、动态分析与预测，实现对网络环境安全状态的全局认知与风险预判的核心技术体系。其核心价值在于将碎片化威胁信息转化为可行动的防御策略，以下从原理、架构及典型案例三方面展开深度解析：一、核心原理：三层认知模型与动态融合1.Endsley三层模型10态势要
  • Python Gradio：快速搭建人脸识别应用 Python编程之道 Python人工智能与大数据Python编程之道python开发语言ai
    PythonGradio：快速搭建人脸识别应用关键词：Python,Gradio,人脸识别,深度学习,计算机视觉,交互式应用,模型部署摘要：本文详细介绍了如何使用Python的Gradio库快速搭建一个交互式的人脸识别应用。我们将从基础概念出发，逐步讲解人脸识别的核心算法原理、Gradio的界面设计方法，并通过完整的项目实战演示如何将深度学习模型部署为可交互的Web应用。文章包含详细的代码实现、数
  • 【面试必背】RAG技术全面解析：从原理到实践中的20个关键问题 大F的智能小课 人工智能语言模型python
    大家好，我是大F，深耕AI算法十余年，互联网大厂核心技术岗。知行合一，不写水文，喜欢可关注，分享AI算法干货、技术心得。【专栏介绍】：欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！【大模型篇】更多阅读：【大模型篇】万字长文从OpenAI到DeepSeek：大模型发展趋势及原理解读【大模型篇】目前主流AI大模型体系全解析：架构、特点与应用【大模型篇】Gro
  • Springboot中的Shiro框架 梵高的代码色盘 java开发语言
    Springboot中的Shiro框架首先了解下原理，了解下shrio的认证的逻辑，再讲解下springboot中，如何通过代码进行认证，授权操作。Shiro框架的逻辑RBAC模型在讲解认证授权之前，先介绍下RBAC模型，Shiro框架后续用上的最后本质上，还是通过查询这个库。定义：RBAC（Role-BasedAccessControl）即基于角色的访问控制模型，核心是通过“用户-角色-权限”的
  • Day14: Spring代理大提速：深入JDK Proxy与CGLIB性能之战 —— 像赛车调校般优化你的动态代理 zhysunny Springjavaspring后端
    目录一、Spring代理车间：两种改装方案的选择1.1JDK动态代理的机械原理1.2CGLIB的暴力改装方案二、性能对决场：实测数据说话2.1启动速度对比测试2.2运行时性能较量三、Spring的调校手册：ProxyFactory的优化策略3.1智能选型机制3.2缓存优化机制四、调优实战技巧：赛车工程师的秘籍4.1强制指定代理类型4.2启动加速黑科技五、源码层级调校：FastClass的秘密5.1
  • 解密Claude系列：从原理到实践的全方位解析 软考和人工智能学堂 强化学习人工智能Claude快速入门Claude
    引言：Claude系列模型的崛起在人工智能领域，大型语言模型(LLM)的发展日新月异。OpenAI的GPT系列和Anthropic的Claude系列无疑是这一领域的双子星。Claude系列模型以其独特的"ConstitutionalAI"理念和强大的对话能力，正在重塑人机交互的未来。本文将深入探讨Claude系列的技术原理、架构特点，并通过实践代码展示其强大能力。Claude系列的技术演进1.Cl
  • C++ Primer Plus 第五版：源代码深度解析与实践 贫僧法号止尘
    本文还有配套的精品资源，点击获取简介：《C++PrimerPlus第五版》通过源代码的实例展示，系统地介绍了C++编程语言的基础和高级特性。本书内容涵盖了基本语法、控制结构、函数、类和对象、封装、继承与多态、模板、异常处理、STL以及输入/输出流等多个关键知识点，帮助读者在理解理论的同时，通过实践加深对这些概念的应用。1.C++基础语法和高级特性介绍C++是一种静态类型、编译式、通用的编程语言，它
  • Python面向对象编程：类、对象与实例方法的深度解析 女码农的重启 python开发语言
    在软件开发领域，面向对象编程（Object-OrientedProgramming，简称OOP）是一种极为重要的编程范式。它以对象为核心，通过封装、继承和多态等特性，让代码的组织和管理更加高效、灵活。Python作为一门高级编程语言，对面向对象编程提供了强大且简洁的支持。本文将深入探讨Python中面向对象编程的核心概念——类、对象和实例方法，帮助读者理解并掌握这些重要知识。一、类的概念与定义类（
  • SPARKLE：深度剖析强化学习如何提升语言模型推理能力
    摘要：强化学习（ReinforcementLearning，RL）已经成为赋予语言模型高级推理能力的主导范式。尽管基于RL的训练方法（例如GRPO）已经展示了显著的经验性收益，但对其优势的细致理解仍然不足。为了填补这一空白，我们引入了一个细粒度的分析框架，以剖析RL对推理的影响。我们的框架特别研究了被认为可以从RL训练中受益的关键要素：（1）计划遵循和执行，（2）问题分解，以及（3）改进的推理和知
  • 基于Socket来构建无界数据流并通过Flink框架进行处理 每天五分钟玩转人工智能 Flink技术实战flink大数据Flink分布式无界数据
    本文重点随着大数据技术的不断发展，实时数据流处理已成为企业应对海量数据、实现快速决策的关键技术。ApacheFlink是一个开源的流处理框架，它能够对无界数据流进行高效的、精确的处理。本文将介绍如何通过Socket构建无界数据流，并利用Flink框架进行无界流处理。基于Socket构建无界数据无界数据指的是源源不断产生的数据，这些数据通常来自各种实时数据源，如用户行为日志、传感器数据等。Socke
  • 《目标检测模块实践手册：从原理到落地的尝试与分享》第一期 加油吧zkf 目标检测模块解析与实践目标检测目标跟踪人工智能
    大家好，欢迎来到《目标检测模块实践手册》系列的第一篇。从今天开始，我想以一种“实践记录者”的身份，和大家聊聊在目标检测任务中那些形形色色的模块。这些内容没有权威结论，更多的是我在实际操作中的一些尝试、发现和踩过的坑。至于这些模块在大家的具体网络应用中是否可行，还需要大家自己去验证，也非常期待能和大家交流不同的经验。目标检测任务的本质与模块的作用目标检测，简单来说，就是从输入的图像中，准确地找出我们
  • Python 进程间的通信：原理剖析与项目实战 女码农的重启 java进程通信python
    在Python编程中，当涉及多进程编程时，进程间的通信（Inter-ProcessCommunication，简称IPC）是一个重要的课题。多个进程在运行过程中，常常需要交换数据、传递状态或协同工作，这就离不开进程间通信机制。本文将深入讲解Python进程间通信的原理，并结合实际项目案例，展示其在项目中的具体使用方法。一、Python进程间通信原理操作系统为进程提供了多种通信机制，Python在标
  • 操作系统精髓与设计原理第六版习题全解 莱财一哥
    本文还有配套的精品资源，点击获取简介：操作系统作为计算机科学的基础，其核心功能包括管理硬件资源和提供用户服务。《操作系统精髓与设计原理》第六版详细阐述了操作系统的各种核心概念、设计策略和实现技术，并提供了课后习题答案，以帮助读者深入理解并掌握这些知识点。本资料覆盖了进程管理、内存管理、文件系统、设备管理、死锁、安全与保护、分布式系统、实时系统、虚拟化技术和云计算与容器等关键领域。1.操作系统基础知
  • MySQL高可用集群架构：主从复制、MGR与读写分离实战 软考和人工智能学堂 PHP和MySQLphp程序设计MySQL经验与技巧数据库mysql架构
    1.MySQL高可用架构概述MySQL高可用性(HighAvailability)解决方案旨在确保数据库服务在硬件故障、网络问题等异常情况下仍能持续提供服务。以下是主流的高可用方案对比：方案原理优点缺点适用场景主从复制基于binlog的异步复制简单易用，对性能影响小数据一致性弱，故障切换复杂读写分离、备份MHA监控主库并自动故障转移自动切换，减少停机时间需要VIP管理，配置复杂中小规模业务系统MG
  • Kamaji项目中的Datastore：多租户Kubernetes控制平面数据存储方案解析 胡易黎Nicole
    Kamaji项目中的Datastore：多租户Kubernetes控制平面数据存储方案解析引言在现代Kubernetes管理架构中，数据存储层是控制平面的核心组件。Kamaji项目通过创新的数据存储设计，为多租户Kubernetes环境提供了灵活高效的解决方案。本文将深入解析Kamaji中Datastore的工作原理、技术特性以及最佳实践。数据存储架构设计Kamaji采用控制平面与数据存储解耦的架
  • 38、未来展望：C数据库编程的发展趋势与挑战 dog123 C#数据库编程：从入门到精通C#数据库编程云原生数据库
    未来展望：C#数据库编程的发展趋势与挑战1.引言随着信息技术的快速发展，数据库编程已经成为现代软件开发中不可或缺的一部分。C#作为一种强大的编程语言，在数据库编程领域展现出卓越的表现。本文将探讨C#数据库编程的未来发展趋势，分析当前面临的主要挑战，并提出相应的解决方案。通过这些讨论，我们希望能够为开发者提供有价值的见解，帮助他们在未来的项目中更好地应对变化和技术进步。2.数据库编程的新趋势2.1云
  • .NET Core中间件：构建高效且可扩展的Web应用程序的关键组件 A_nanda c#基础.netcore中间件middleware通道切面编程
    在现代Web应用程序开发中，.NETCore中间件（Middleware）扮演着至关重要的角色。作为请求处理管道中的核心组件，中间件不仅能够拦截、处理并转发HTTP请求和响应，还为开发者提供了强大的扩展能力和灵活的处理机制。相关扩展，可查阅切面编程。本文将深入探讨.NETCore中间件的概念、工作原理、使用方法以及最佳实践，帮助开发者更好地利用这一特性来构建高效且可扩展的Web应用程序。一、中间件
  • 排序算法—插入排序（插入、希尔）（动图演示） 每天都要进步1 排序算法排序算法算法数据结构
    目录十大排序算法分类插入排序算法步骤：动图演示：性能分析：代码实现（Java）：希尔排序算法步骤：动图演示：性能分析：代码实现（Java）：十大排序算法分类本篇分享十大排序算法中的需要进行交换操作的插入排序与希尔排序,其余算法也有介绍噢（努力赶进度中，后续会添加上）插入排序工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序和冒泡排序一样，也有一种优
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他