ZVAyIVqt0UFji
ZVAyIVqt0UFji

360私有云平台Elasticsearch服务初探


360私有云平台Elasticsearch服务初探_第1张图片

Elasticsearch

Elasticsearch 是一款基于Apache Lucene框架构建的开源的、分布式的、可扩展的、（准）实时的文档存储和搜索引擎。在提供搜索服务以及日志分析方面已经日趋成熟，尤其是在Elasticsearch 5.x发布之后，在规范性、功能、性能等方面都有了极大的改进，并且进入了迅速迭代的过程，版本发布之快令人乍舌。


360Hulk云平台，作为业界首屈一指的私有云平台，绝不甘落寞，也在Elasticsearch上做了很多尝试，推出了面向搜索的Elasticsearch服务和面向日志分析的ELK服务。目前已经在公司内部大范围应用，承载数据量200+TB，日访问量超1000亿次。今天小编就为大家带来Elasticsearch在360私有云平台的实践。 

360私有云平台Elasticsearch服务初探_第2张图片

Elasticsearch服务架构

360私有云平台Elasticsearch服务初探_第3张图片


Master节点独立

因为master承担着集群元数据管理的职责，例如indices、sharding等信息的维护，如果master节点和data节点混用的话，master相关功能的性能没法保证，而且一旦发生故障，集群恢复时间将被大大拉长。因此我们的Elasticsearch集群采用3个独立的master方案（有且只有唯一的一个节点真正承担着master的角色），一方面保证master相关功能的稳定，另一方面通过配置discovery.zen.minimum_master_nodes: 2降低了master选举时出现脑裂的几率。

负载均衡

我们使用data节点承接访问，但是为了业务使用的便捷性，集群使用了LVS将请求均衡的分担到各个data节点；同时提供了RS的动态监测机制，当data节点失联的时候，LVS会自动过滤掉该节点的请求。

业务独享集群

结合360业务的特点，为了尽量适配不同业务的需求场景，同时尽量降低各个业务线之间的相互影响，每个业务线可以申请自己独享的集群。同时，这种方案还大大降低了Elasticsearch集群不可用（当然这种情况出现几率极低，但不能保证不发生）的时候影响业务的范围。

用户认证和权限隔离

集群集成了SearchGuard（不要问我为啥不用X-Pack，因为穷，且懒），实现了用户认证和访问权限控制，做到了集群内部更细粒度的隔离，实现了各个子业务线内部应用之间的访问隔离。

分词支持

集群默认集成了ik分词（小编在这给各位看官一点提示：因为Elasticsearch 5.x之后关闭了Site Plugins的支持，所以需要自己编译然后拷贝相应文件到Elasticsearch Plugin目录），并且支持扩展分词词典和stopword扩展词典的动态更新。

用户端功能

基于Hulk私有云平台的自助功能

集群申请

状态查看

常用性能监控图表

indices展示

权限申请等自助服务

新建集群

360私有云平台Elasticsearch服务初探_第4张图片


提供多种类型配置的套餐

提供多种类型配置的套餐可供业务选择，兼顾空间、成本和性能的考量。

界面化展示

默认提供配置好的Kibana服务，用户可以开箱即用，不用自己搭建和维护。

管理员功能

基于Hulk私有云平台的管理功能

群集的配置

集群初始化

节点启停管理

资源回收等功能

Zabbix监控

基于FromDual框架的自定义监控指标，全面监控集群运行状态，及时告警；并且实现了简单场景的故障自动恢复（例如由节点存活报警自动触发的进程自启动等）

360私有云平台Elasticsearch服务初探_第5张图片

WebAdmin管理功能扩展

Elasticsearch 5.x之后关闭了对Site Plugins的支持，直接导致了诸如head、kopf等一批插件死翘翘。不过作者对kopf功能进行了彻底的重构（using Scala, Play Framework, AngularJS and Bootstrap），推出和Elasticsearch完全解耦的Cerebro，不仅外观看起来更加高大上，支持独立部署，而且在易用性以及对Elasticsearch更高版本特性的支持上都有了很大提升。

360私有云平台Elasticsearch服务初探_第6张图片

总结

怎么样，看了上面的介绍，各位看官是不是都想跃跃欲试了呢。欢迎大家积极留言探讨。

我们后续也会持续推出Elasticsearch服务在360私有云平台实践过程中的诸多技术点来跟大家分享，敬请期待吧。

扩展阅读：

《谨慎前行-浅谈Elasticsearch安全策略》

《Elasticsearch认证及安全》

《AIOps时代下的利器：ELK》

扫描下方二维码了解更多内容

0?wx_fmt=gif

你可能感兴趣的:(360私有云平台Elasticsearch服务初探)

  • netty详解 p-knowledge jettyjava
    Netty是一个高性能的网络通信框架，广泛用于构建网络应用程序，如高性能的服务器、客户端和分布式系统。以下是Netty的各个组件介绍与原理分析，以及客户端和服务端的实现示例。一、Netty的组件介绍Channel：概念：表示一个连接到网络的对象，负责处理网络I/O操作。可以是TCP、UDP等。作用：提供数据读写操作，并可以注册到事件循环。EventLoop：概念：负责处理I/O操作的事件循环。每个
  • 心理咨询小程序的未来发展 m0_68459853 java微信小程序心理测评小程序心理咨询小程序小程序开发
    还在眼巴巴看着心理咨询行业的巨大蛋糕却无从下口？今天就来聊聊心理咨询小程序的无限潜力！据统计，全球超10亿人受精神心理问题困扰，国内心理健康问题也日益突出，心理咨询需求猛增。可传统心理咨询预约难，费用高，几百元一小时让人却步；时间地点不灵活，需专门跑咨询室。心理咨询小程序完美解决这些痛点。它如同贴心小助手，装在口袋随时服务。用户手机轻点，就能匹配专业咨询师。而且运营成本低，价格亲民，让更多人能享受
  • Node.js快速总结 一蓑烟雨，一任平生 jsjavascriptnode.js
    理解Node.js●是一个基于ChromeV8引擎的JavaScript运行时。●非阻塞、事件驱动、异步I/O，适合高并发场景。✅核心概念●事件循环(EventLoop):Node.js的异步机制。●模块系统:使用require()引入模块，module.exports导出模块。●文件系统(fs):处理文件读写。●HTTP模块:构建Web服务器。创建HTTP服务器consthttp=require
  • 用云平台资源每月免费额度搭建博客，一年账单竟是 $0！ fxrz12 云计算无服务个人博客serverless架构云原生程序开发云计算
    一年前，我在寻找一个低成本的方式来托管我的个人博客。当时，我的需求很简单：尽量降低成本——毕竟只是一个个人博客，没有盈利，也不想每个月为服务器付费。尽可能少的运维——不想每天盯着服务器是否宕机，能无忧无虑地运行就好。快速响应——不希望读者打开网页时，等上好几秒。就在这个时候，我无意间发现了AWSLambda的每月免费额度。AWS为Lambda提供每月100万次请求和40万GB-秒的计算时间，而对于
  • Nginx系列03（基本使用及详细步骤） 浪九天 Nginx系列nginx运维开发
    目录Linux系统（以Ubuntu为例，其他基于systemd的Linux发行版类似）Windows系统macOS系统Docker环境以下是关于Nginx基本使用的详细步骤以及完整代码示例，涵盖了启动、停止、重新加载配置、查看状态、查看日志和测试配置文件语法等操作，在不同操作系统下的实现方式：Linux系统（以Ubuntu为例，其他基于systemd的Linux发行版类似）启动服务#使用syste
  • 加油站小程序实战教程02数据源设计 低代码布道师 小程序低代码
    目录一、引言二、需求分析三、表结构设计思路四、关键设计要点五、总结一、引言在移动互联网时代，小程序已成为连接用户与服务的重要桥梁。以加油小程序为例，其核心功能涉及地图定位、加油站展示、加油下单、钱包管理、优惠券、订单管理以及发票、车辆信息等多个模块。面对如此复杂的业务场景，如何设计一个既满足业务需求、又具备良好扩展性和数据一致性的数据库结构，成为系统开发的重要前提。本文将结合实际需求，逐步解析表结
  • 短视频矩阵服务架构指南 李lrh9166 架构
    高效微服务架构设计指南技术架构设计在技术架构设计方面，本系统采用了微服务架构，以增强系统的可维护性和扩展性。每个服务都可以独立部署和扩展，从而提高了系统的整体灵活性和响应速度。API网关作为系统的入口，负责请求路由、负载均衡、认证和授权等功能。此外，系统还采用多租户设计，确保数据隔离，每个租户的数据是独立的，但可以共享基础架构，从而实现资源的高效利用。在数据存储方面，系统使用分布式数据库或云数据库
  • 统一 SASE 架构中的网络和安全融合 网络研究观 网络研究观架构网络安全服务融合SASE框架
    网络威胁情报技术的进步传统的网络边界一片混乱，剩下的只是无人管理的设备、分散在私有云和公共云中的资产、无法读取的应用程序流量泛滥，混合工作结构正在给现有网络的功能带来压力。更重要的是，这些问题早在生成式人工智能和大型语言模型的新障碍被引入公众之前就已出现。现在，每个办公室职员、宠物店老板、社交媒体影响者和咖啡店咖啡师都能够使用难以想象的处理能力，能够处理无数TB的数据，给全球网络带来新的压力。这些
  • Chrony 无法同步时间的排查过程 中年如酒 Linuxlinux
    文章目录1.问题描述2.检查chrony.conf配置3.检查Chronyd进程状态4.检查Chrony是否在跟踪时间5.检查Chrony是否获取了NTP源6.检查防火墙7.检查网络连接性8.根因9.解决方案10.验证1.问题描述在一台Linux服务器上配置了Chrony作为NTP客户端，配置文件/etc/chrony.conf指定了两个NTP服务器：2.检查chrony.conf配置cat/et
  • 本地Oracle数据库复制数据到Apache Hive的Linux服务器集群的分步流程 weixin_30777913 数据库大数据hive
    我们已经有安装ApacheHive的Linux服务器集群，它可以连接到一个OracleRDS数据库，需要在该Linux服务器上安装配置sqoop，然后将OracleRDS数据库中所有的表数据复制到Hive。为了将本地Oracle数据库中的所有表数据复制到ApacheHiveLinux服务器集群中，您可以遵循以下详细步骤：第一步：安装和配置Sqoop1.下载并安装Sqoop您可以从ApacheSqo
  • 前端解决跨域问题的三种方法 web13638179351 前端html面试前端nginx服务器
    一、cors后端程序员提供的解决跨域访问的方法，和前端程序员没有关系，定义后端程序代码让所有的前端程序都可以访问后端的数据，后端程序告诉服务器这个后端程序的数据任何前端请求都可以访问，服务器就不再执行跨域访问拦截数据的操作。因为博主目前主攻前端对后端并不熟悉，因此这种方法暂不详细解答。二、服务器代理proxy2.1步骤（1）修改Nginx或者Apache服务器文件，目前博主使用的是Nginx代理（
  • JMeter 集成到 Jenkins 实现 CI CD过程 小赖同学啊 jmeter专栏jmeterjenkinsci/cd
    将JMeter集成到Jenkins实现CI/CD可以实现自动化的性能测试，以下是详细的实现方式和配置参数说明：1.环境准备JMeter安装：确保JMeter已经安装在Jenkins服务器或者可被Jenkins访问的节点上。记录JMeter的安装路径，例如/opt/apache-jmeter-5.4.1。Jenkins安装与配置：安装Jenkins并确保其正常运行。可以通过浏览器访问Jenkins的
  • 2025年电力新政对储能行业的影响 能源革命 能源电力交易
    对储能行业的影响政策导向：从“强制配储”转向市场化驱动市场机遇：需求场景多样化与全球扩张行业格局：技术竞争与产业链优化配套政策与协同效应储能行业商业模式创新独立储能市场化交易模式用户侧储能与能源服务创新技术驱动的服务升级产业链协同与跨界融合政策配套与金融工具创新未来关注重点对储能行业的影响2025年电力新政对储能行业的影响主要体现在政策导向转变、市场化机制深化和行业格局重构三个方面。政策导向：从“
  • Docker 的安全配置与优化（一） 计算机毕设定制辅导-无忧学长 #Dockerdocker安全php
    引言在当今快速发展的云计算和DevOps时代，Docker作为容器化技术的佼佼者，已经成为现代开发和运维的基石。它以其独特的优势，如环境隔离、快速部署、资源高效利用等，极大地改变了软件交付和运行的方式。在微服务架构中，每个微服务都可以被封装成一个独立的Docker容器，实现了服务的隔离和独立部署，使得系统的扩展性和维护性得到了极大的提升。同时，在持续集成和持续交付（CI/CD）流程中，Docker
  • Spring Cloud — Hystrix 服务隔离、请求缓存及合并 黄名富 微服务springcloudhystrix分布式微服务springjava
    Hystrix的核心是提供服务容错保护，防止任何单一依赖耗尽整个容器的全部用户线程。使用舱壁隔离模式，对资源或失败单元进行隔离，避免一个服务的失效导致整个系统垮掉（雪崩效应）。1Hystrix监控Hystrix提供了对服务请求的仪表盘监控。在客户端加入以下依赖：    org.springframework.cloud    spring-cloud-starter-hystrix-dashboa
  • 计算机网络概述 少天z 网络
    1.基本概念计算机网络：由多台计算机和网络设备通过通信链路连接，实现资源共享和信息交换。节点：网络中的设备，如计算机、服务器、路由器、交换机等。链路：连接节点的物理或逻辑通道，如光纤、电缆、无线信号等。2.网络分类按覆盖范围：局域网（LAN）：覆盖小范围，如家庭、办公室。城域网（MAN）：覆盖城市范围。广域网（WAN）：覆盖国家或全球，如互联网。按传输介质：有线网络：如以太网、光纤。无线网络：如W
  • Node.js定义以及性能优化 Sunshinedada node.js
    Node.jsNode.js是一个基于ChromeV8引擎的JavaScript运行时，广泛用于构建高性能的网络应用。以下是一些常见的Node.js面试题及其解答，帮助你准备面试：1.什么是Node.js？Node.js是一个基于ChromeV8引擎的JavaScript运行时，允许开发者使用JavaScript编写服务器端代码。它采用事件驱动、非阻塞I/O模型，适合构建高性能、可扩展的网络应用。
  • rabbitmq 同步策略_数据同步解决方案-canal与rabbitmq weixin_39996739 rabbitmq同步策略
    学习目标能够完成canal环境的搭建与数据监控微服务的开发能够完成首页广告缓存更新的功能，掌握OkHttpClient的基本使用方法能够完成商品上架索引库导入数据功能，能够画出流程图和说出实现思路能够完成商品下架索引库删除数据功能，能够画出流程图和说出实现思路该工程使用lua+nginx+rabbitmq+redis等技术的第一个主要目的是实现轮播图的读取，具体图解：其中nginx的作用包括了从数
  • Zookeeper（73）Zookeeper在微服务架构中的应用是什么？ 辞暮尔尔-烟火年年 微服务架构zookeeper微服务
    在微服务架构中，Zookeeper主要用于以下几个关键领域：服务发现：Zookeeper可以帮助微服务实例在启动时注册自己，并让其他服务能够发现并调用这些服务。配置管理：Zookeeper可以存储和管理微服务系统的配置信息，确保所有服务共享一致的配置。分布式协调：Zookeeper可以实现分布式锁、Leader选举等功能，确保微服务之间的协调操作。健康检查和监控：Zookeeper可以监控微服务实
  • Visual Studio Code FAQ qichengzong_right VSCodevscode
    VisualStudioCodeFAQVisualStudioCodeFAQVisualStudioCode和VisualStudioIDE有什么区别？支持哪些作系统？VSCode软硬件要求硬件平台不支持其他Linux要求VSCode是免费的吗？如何禁用遥测报告如何禁用试验如何禁用崩溃报告GDPR和VSCodeVSCode使用哪些在线服务？如何选择退出VSCode自动更新？选择退出扩展更新许可存储
  • Spring Cloud + Nacos + K8S 零影响发布方案 淡黄的Cherry 微服务相关kubernetesspringcloud容器
    问题描述在生产环境中使用springcloud框架，由于服务更新过程中，容器服务会被直接停止，部分请求仍被分发到终止的容器，导致服务出现500错误，这部分错误请求数据占用比较少，因为Pod滚动更新都是一对一。因为部分用户会产生服务器错误的情况，考虑使用优雅的终止方式，将错误请求降到最低，直至滚动更新不影响用户。这里结合nacos使用来分析。在K8s的滚动升级中，比如5个Pod服务在升级过程中，会先
  • 详细介绍人工智能学习框架 日记成书 反正看不懂系列人工智能
    人工智能学习框架是开发者用于构建、训练和部署机器学习模型的核心工具。以下从框架分类、核心框架介绍、学习方法三个维度展开详解：一、主流人工智能框架全景图（一）基础框架层TensorFlow（Google）核心优势：工业级部署能力，支持移动端（TFLite）、浏览器（TF.js）、服务器（TFServing）特色功能：SavedModel格式跨平台兼容，XLA编译器优化计算图适用场景：生产环境部署、大
  • 视频裂变加群推广分享引流源码 酷爱码 phpPHP
    源码介绍视频裂变加群推广分享引流源码最近网上很火，很多人都在用，适合引流裂变推广测试环境：PHP7.4(PHP版本不限制)第一次访问送五次观看次数，用户达到观看次数后需要分享给好友或者群,好友必须点击推广链接后才会增加观看次数。引导用户转发Q+V分享,达到快速裂变引流的效果源码上传服务器或者虚拟空间即可运行，无后台，前台显示的内容在源码里面修改，已经对接好了视频接口，需要显示自己上传视频的要搭建一
  • netty详细使用 酷爱码 编程学习netty
    Netty是一个基于Java的高性能网络应用框架，主要用于快速开发高性能的网络通信应用程序。以下是Netty的详细使用步骤：添加Netty依赖：在项目的pom.xml中添加Netty的依赖项，例如：io.nettynetty-all4.1.66.Final创建Netty服务器：编写一个Netty服务器应用程序，监听指定的端口，并处理网络请求。以下是一个简单的示例：publicclassNettyS
  • 赋能农业数字化转型 雏森科技助力“聚农拼”平台建设 CSSoftTechAI 科技人工智能后端
    赋能农业数字化转型，雏森科技助力“聚农拼”平台建设在数字化浪潮席卷各行业的今天，农业领域也在积极探索转型升级之路。中农集团一直以“根植大地，服务三农”为核心，以“乡村振兴，农民增收”为目标，及时响应国家号召，在数字化浪潮改革的当下积极布局农业数字化转型。在中央一号文件连续多年对发展智慧农业作出重要部署的背景下，集团领导们积极响应，组织开发了“聚农拼”数字农业服务平台，通过互联网信息化、数字化精准匹
  • 【微服务】SpringBoot 自定义消息转换器使用详解 小码农叔叔 springboot入门到精通springboot消息转换器spring消息转换器详解消息转换器使用详解springmvc消息转换器spring自定义消息转换器自定义消息转换器
    目录一、前言二、SpringBoot内容协商介绍2.1什么是内容协商2.2内容协商机制深入理解2.2.1内容协商产生的场景2.3内容协商实现的常用方式2.3.1前置准备2.3.2通过HTTP请求头2.3.2.1操作示例2.3.3通过请求参数三、SpringBoot消息转换器介绍3.1HttpMessageConvertor介绍3.1.1常用的HttpMessageConvertor3.2如何确定使
  • electron部署更新服务器 zhhao1 部署vercelelectron
    1.electron更新有两种方式windows应用安装打包有两种1.squirrel第一种通过electron包里的autoUpdater模块，设置github用户名/repo仓库名，会自动拼接feedurl为https://update.electronjs.org/${用户名}/${仓库名}/${arch}/${version},更新服务器update.electronjs.org会去git
  • 记录一次M1芯片Mac折腾安装Python3的过程 Onemud macospythonlinux
    记录一次M1芯片Mac折腾安装Python3的过程前言：是要用python搞一个跟url接口交互的脚本，来配合做服务迁移工作，但在开发和测试脚本是让python环境卡住了脖（电脑装了很多个python，并且多版本间管理的比较混乱）所以想先调试好一个版本能用就好；并且脚本用到requests库，需要给python安装一下。总结两件事：装好python3.9，得能用给python3.9装上reques
  • 极速浏览器——性能优化与用户体验的典范 Fitz Hoo
    本文还有配套的精品资源，点击获取简介：极速浏览器是专为速度和效率优化的网络浏览工具，其设计轻量级，旨在提供无延迟的浏览体验。它们通过减少内存占用、优化渲染引擎等方式实现快速浏览，可能基于Chromium、WebKit或Blink等开源项目进行定制开发。极速浏览器特别关注性能、隐私和安全，拥有简洁的用户界面和流畅的交互体验，支持多平台及各种扩展插件，致力于打造一站式在线服务体验。1.极速浏览器性能优
  • QT6开发高性能企业视频会议-6 Linux Video采集和渲染 sqmeeting linux数据库java
    摘要本文将介绍如何在Linux操作系统上使用Qt6.8实现视频采集与渲染功能。我们将使用QtMultimedia模块提供的API来访问摄像头设备，并使用QtQuick进行视频帧的渲染。同时，我们还会详细讨论如何处理不同的视频格式，特别是在视频会议应用中，如何进行格式转换并将视频帧远程传输给其他参与者。相关文章:LinuxAudio开发神旗视讯:高性能的私有化音视频系统神旗视讯:从零搭建免费高性能信
  • 插入表主键冲突做更新 a-john
    有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sql语
  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
    一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello"   2.引用系统资源。格式：@android:type/name     android:textColor="@android:color/opaque_red"
  • 数据结构的基本介绍 天子之骄 数据结构散列表树、图线性结构价格标签
    数据结构的基本介绍 数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。   经典的数据结构大致如下：   一：线性数据结构 (1)：列表 a
  • 通过二维码开放平台的API快速生成二维码 一炮送你回车库 api
     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。        html代码如下:(二维码将生成在这div下) ? 1  &nbs
  • ImageIO读取一张图片改变大小 3213213333332132 javaIOimageBufferedImage
    package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
  • myeclipse集成svn（一针见血） 7454103 eclipseSVNMyEclipse
                                     &n
  • 装箱与拆箱----autoboxing和unboxing darkranger J2SE
    4.2　自动装箱和拆箱 基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
  • ajax传统的方式制作ajax aijuans Ajax
    //这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
  • 只用jre的eclipse是怎么编译java源文件的？ avords javaeclipsejdktomcat
    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
  • 前端模块化 bee1314 模块化
    背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
  • 处理百万级以上的数据处理 bijian1013 oraclesql数据库大数据查询
    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。         2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
  • mac 卸载 java 1.7 或更高版本 征客丶 javaOS
    卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析   本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
  • Erlang vs TNSDL bookjovi erlang
          TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 相关新闻： （1）IT行业成五大疾病重灾区：过劳死平均37.9岁
  • 读《研磨设计模式》-代码笔记-原型模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
  • 配置管理---svn工具之权限配置 chenyu19891124 SVN
    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos    component    webapps 在conf里面的auth里赋予的权限配置为 [groups]
  • 浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
                                     浅谈程序员的数学修养
  • 批量执行 bulk collect与forall用法 daizj oraclesqlbulk collectforall
    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。     有关FORALL语句的用法请参考：批量SQL之 F
  • Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
    1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
  • Yii CModel中rules验证规格 dcj3sjt126com rulesyiivalidate
    Yii cValidator主要用法分析：  yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError  
  • 基于vagrant的redis主从实验 dcj3sjt126com vagrant
    平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从   实现思路 制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box   制作sentos6.5+redis的box   mkdir vagrant_redis cd vagrant_
  • Memcached(二)、Centos安装Memcached服务器 frank1234 centosmemcached
    一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]： 建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
  • Remove Duplicates from Sorted List hcx2013 remove
    Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
  • Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • 浅谈enum与单例设计模式 247687009 java单例
    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构 造器，导出静态成员变量，以便调用者访问。 第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
  • 使用switch条件语句需要注意的几点 openwrt cbreakswitch
    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
  • 配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 springmybatisJUnit
    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串 解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 第二个问题的具体实例是：    
  • Java 定时任务总结一 tuoni javaspringtimerquartztimertask
     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank相似度计算文本相似度词袋模型余弦相似度
    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。   最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：     1、注册多个账号（一般10个以上）。     2、从多个账号中选择一个账号，发表1-2篇博文
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他