ROJS
ROJS

基于spark的微博数据分析

文章目录

  • 主要数据介绍
  • 数据分析
    • 项目构建
    • 前端展示
    • 数据分析结果演示
      • 微博内容热词统计(房价话题）(Fangjia_hotwords.scala)
      • 统计数据中粉丝数量前20的微博用户（Fans_analysis.scala）
      • 微博中国各个省份人口分布统计（PopulationDistribution.scala）
      • 某一话题下微博发布时间分布情况 (Timedistribution.scala)
      • 统计微博发布设备（前8个）(ClientAnalysis.scala)

基于spark的微博数据分析

基于spark的微博数据分析_第1张图片

主要数据介绍

  • sql文件
  • weibodatabase.sql :原始数据
  • weibo_analysis.sql:分析结果数据

用户信息表

user（用户表）
字段 注解
uid 用户id
screen_name 昵称
name 用户姓名
province 省份
city 市区
location 地区（县）
url 微博主页链接
gender 性别
followsnum 粉丝数
friendsnum 关注（他人）数
statusenum 用户微博数
favouritesnum 用户收藏数
created_at 用户创建时间

省份编码表

bianma(微博省份编码映射)
字段 注解
Provinc 编码
Zhongwen 对应省份中文

微博内容表

weibo(微博表)
字段 注解
mid 微博id
data 微博发表日期
text 微博内容
source 发表来源（平台终端）
reopstnum 转发数
commentsnum 评论数
attitudesnum 点赞数
uid 用户id
topic 微博相关主题

数据分析

项目构建

使用java程序实现websocket服务端，每隔几秒请求数据库获取数据，数据库信息在不断更新，前台数据就动态展现，对于流式处理可以将结果不断写入数据库，服务端不断发送数据库信息，前台动态演示。

基于spark的微博数据分析_第2张图片

前端展示

使用echart工具使数据可视化

数据分析结果演示

微博内容热词统计(房价话题）(Fangjia_hotwords.scala)

从数据库获取微博内容数据为dataframe,并将其写入kafka,然后用structured streaming进行热词统计，其中用hanlp工具包 进行分词，统计机构名nt,地名ns, 人名nr, 形容词a

基于spark的微博数据分析_第3张图片

统计数据中粉丝数量前20的微博用户（Fans_analysis.scala）

基于spark的微博数据分析_第4张图片

微博中国各个省份人口分布统计（PopulationDistribution.scala）

基于spark的微博数据分析_第5张图片

某一话题下微博发布时间分布情况 (Timedistribution.scala)

主要是计算某一话题下一条微博的所在时间段的数量，分为8个时段

从date中提取小时数，根据小时数所在的区间对应到相应的时间段统计数量，再算成比例

一天以24小时计 对应的时间段
0-5 凌晨
5-7 早上
7-11 上午
11-13 中午
13-17 下午
17-19 傍晚
19-23 晚上
23-0 深夜

基于spark的微博数据分析_第6张图片

统计微博发布设备（前8个）(ClientAnalysis.scala)

取发布设备，用sparksql 进行wordcount

基于spark的微博数据分析_第7张图片

基于spark的微博数据分析_第8张图片

你可能感兴趣的:(spark,spark,kafka,java,数据分析,网络)

  • java从服务器EXECL文件下载 三思的韦小宝 java服务器开发语言运维
    Java从服务器下载Excel文件的实现在现代软件开发中，经常需要与服务器进行数据交互，其中一种常见的场景是从服务器下载Excel文件。本文将介绍如何在Java中实现从服务器下载Excel文件，并展示相关的代码示例。为什么需要从服务器下载Excel文件Excel文件是一种广泛使用的电子表格格式，它能够存储大量的数据和公式。在企业应用中，经常需要将数据以Excel的形式进行存储和传输。然而，由于Ex
  • 如何防止SpringBoot上传大体积Excel导致内存溢出的思考
    SpringBoot上传大体积Excel：防止内存溢出的策略与实践问题背景与原因分析在SpringBoot应用中处理大体积Excel文件时，内存溢出是一个常见的问题。当一个大型的Excel文件被读取时，如果使用传统的读取方式（如一次性加载整个文件到内存），可能会消耗大量的内存资源，尤其是在服务器资源有限的情况下，很容易触发Java堆内存溢出（OutOfMemoryError）。这不仅会导致应用崩溃
  • 架构师-MQTT 协议 薛定谔的猫1982 系统架构架构
    介绍MQTT是一种为低带宽和不可靠网络环境设计的轻量级消息协议，特别适合物联网（IoT）应用。‌MQTT协议基于发布/订阅模式，专门针对低带宽和不稳定网络环境的物联网应用而设计，可以用极少的代码为联网设备提供实时可靠的消息服务‌。MQTT协议IBM于1999年首次提出，旨在为远程传感器和控制设备提供轻量级的通信机制。其设计目标是减少网络带宽的使用，优化数据传输效率，并确保在不稳定网络环境中的可靠性
  • 【Java基础篇】Unicode、进制转换 public static void m Java基础进制互相转换unicode
    一、unicode先说一下unicode是什么？最开始美国人搞出了ASCII这个东西，什么意思呢？首先一个字节，我们都知道是8个bit位，总共能表示256种状态，然后我们就把这256种状态每种状态都对应一个字符。这种对应关系就是ASCII。ASCII中一共定义了128个字符，例如：00110000，也就是48，对应字符'0'。对于英语来说，128个字符来编码是完全足够的。但是汉字有那么多，256个
  • Pyramda：Python 中的函数式编程利器 惠悦颖
    Pyramda：Python中的函数式编程利器pyramdaPythonpackagesupportingheavyfunctionalprogrammingthroughcurrying.TranslationoftheRamdalibraryfromjavascripttopython.项目地址:https://gitcode.com/gh_mirrors/py/pyramdaPyramda是
  • java 实现进制转换 java 十进制转换十六进制 java 十进制转八进制 java 二进制转换十进制 HaHa_Sir Javautilsjava实现进制转换java进制转换java十进制转换十六进制java十进制转八进制java二进制转换十进制
    java实现进制转换java十进制转换十六进制java十进制转八进制java二进制转换十进制一、前言在Java中，数据的不同进制（如二进制、八进制、十进制、十六进制）之间的转换是非常常见的操作。Java提供了多种方式来实现这些转换，包括、位操作以及第三方库的支持。二、进制的基本概念二进制（Binary）：基数为2，使用数字0和1表示。八进制（Octal）：基数为8，使用数字0到7表示。十进制（De
  • java项目打包成 Docker 镜像几种方式 reiraoy eureka云原生
    1.准备工作安装Docker：确保本地或服务器上已安装Docker。创建SpringBoot项目：假设你已经有一个SpringBoot项目。2.使用docker-maven-plugin打包Docker镜像（1）在pom.xml中添加插件            com.spotify      docker-maven-plugin      1.2.2              ${projec
  • 分布式微服务系统架构第156集：JavaPlus技术文档平台日更-Java线程池使用指南
    title:java线程池使用author:哪吒date:'2023-06-15'点击勘误issues，哪吒感谢大家的阅读Java线程池使用指南1.线程池基础使用1.1创建线程池的方式方式一：使用Executors工具类（不推荐）//1.固定大小线程池ExecutorServicefixedPool=Executors.newFixedThreadPool(5);//2.缓存线程池Executor
  • 基于springboot的商业辅助决策系统的设计与实现 qq 79856539 javawebspringboot后端java
    一、项目介绍商业辅助决策系统实现的功能包括收入信息管理与支出信息管理，员工销售订单信息管理，员工薪资管理，员工管理，公告管理等功能。该系统采用了Mysql数据库，Java语言，SpringBoot框架等技术进行编程实现。商业辅助决策系统可以提高收支信息和销售订单信息管理问题的解决效率，优化收支信息和销售订单信息处理流程，保证收支信息和销售订单信息数据的安全，它是一个非常可靠，非常安全的应用程序。关
  • 轻量化分布式AGI架构：基于区块链构建终端神经元节点的互联网智脑 探客木木夕 分布式agi人工智能架构区块链
    在2025年的技术发展背景下，轻量化分布式AGI架构正成为人工智能领域的重要突破方向。通过将终端设备转化为神经元节点，结合区块链技术构建去中心化的互联网智脑，不仅能够突破传统AGI开发的算力瓶颈，还能实现数据安全共享与价值分配。**这一架构将重塑人工智能的发展范式，使AGI能力从中心化实验室扩散至全球终端设备网络，最终形成一个去中心化、自演进、高可用的互联网级智能系统**。研究显示，通过知识密度提
  • FPS射击游戏状态同步架构方案 你一身傲骨怎能输 游戏开发技术专栏游戏架构
    文章摘要本文提出了一种FPS射击游戏的状态同步架构方案，旨在实现低延迟、高一致性和抗作弊。采用服务器权威架构，客户端仅提供输入和预测渲染，服务器验证并广播状态。通过客户端预测、服务器校正和增量同步机制优化延迟与带宽，同时利用事件驱动同步确保关键事件一致。网络优化包括数据压缩、差异编码和优先级排序。方案还包含输入验证、反作弊措施和容错机制，并通过示例数据包设计和流程说明具体实现。优势包括低延迟、状态
  • 写测试太烦？Copilot + Jest 让你 3 分钟搞定单元测试
    网罗开发（小红书、快手、视频号同名）  大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
  • 手把手教你入门vue+springboot开发（九）--springboot后端实现与postman调试 段鸿潭 javavue.jsspringbootpostman
    文章目录前言一、后端代码实现1.实现pojo/User.java2.实现mapper/UserMapper.java3.实现service/UserService.java4.实现service/UserServiceImpl.java5.实现controller/UserController.java二、postman调试总结前言上篇我们已经定义好了数据库表users和用户管理功能的HTTP接口
  • Mybatis 微风粼粼 mybatistomcatjava
    1、概述什么是mybatis？MyBatis是一个基于Java的持久层框架，它支持定制化SQL、存储过程以及高级映射。MyBatis消除了几乎所有的JDBC代码和参数的手动设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOrdinaryJavaObjects，普通的Java对象）映射成数据库中的记录。它是一款半自动的ORM持久层
  • 如何在YashanDB中实现自动化备份？ 数据库
    引言在现代数据库管理系统中，数据的安全性和可恢复性越来越受到重视。尤其是在数据可能因人为失误、硬件故障或网络问题而丢失的情况下，自动化备份解决方案显得尤为重要。YashanDB作为一款高性能的关系型数据库，支持多种备份策略以确保数据的安全性和一致性。本文将深入探讨YashanDB的备份机制、支持的备份类型及如何实现自动化备份策略的具体步骤，旨在帮助数据库管理员和技术人员有效管理其数据备份工作。Ya
  • 如何在YashanDB中实现数据趋势预测 数据库
    数据趋势预测已成为数据驱动决策中的一个重要方面。在面临海量数据时，如何精确而高效地提取潜在趋势，对于企业的战略规划具有重要意义。YashanDB作为一款高性能的数据库产品，提供多种存储和查询优化功能，使得实现数据趋势预测成为可能。特别是在数据存储结构和多版本并发控制（MVCC）等特性下，趋势预测的场景应用可以得到有效支持。数据分析基础在进行数据趋势预测之前，首先必须了解基础的数据分析过程。Yash
  • 程序员在线接单 微风粼粼 eclipsejavatomcatjvmdubbopython后端
    十年Java全栈工程师在线接单Java程序代做，兼职接单，系统代做，二次开发，网站开发部署，项目合作，商业项目承包全栈开发，支持定制各种管理系统、小程序商用或个人使用等项目都接服务二:Java调试安装，idea，eclipse，项目运行，开发环境配置，工具安装，代码讲解，代码调试，代码运行，代码部署，项目调试，项目部署运行，javaweb，ssm，springboot,vue，项目设计，小程序功能
  • Java2025最新学习路线（从入门到精通） 亭亦青 学习javaspringboot
    注：这份学习路线结合了2025年春招Java开发岗位要求和2024年Java就业市场需求，要求较高，并且省略了大多数基础部分，如果目标不是中大厂，可以适当放低学习的要求，但是请完成云原生之前的所有内容，并且经常性进行项目实践，切实提升编程能力。Java学习路线一键预览版：JavaSE-Mysql-JavaWeb(htmlcssjsjqUI组件框架-bootstrapelementUIVUE)-My
  • Python训练营打卡 Day53 yunvwugua__ python自学打卡python开发语言
    对抗生成网络知识点回顾：对抗生成网络的思想：关注损失从何而来生成器、判别器nn.sequential容器：适合于按顺序运算的情况，简化前向传播写法leakyReLU介绍：避免relu的神经元失活现象对抗生成网络（GAN）知识点回顾对抗生成网络的思想思想：就像在餐厅中，有一个厨师（生成器）负责制作假菜，一个评论家（判别器）负责区分真菜和假菜。厨师的目标是制作出评论家无法区分的假菜，而评论家的目标是找
  • 网络安全之XSS漏洞：原理、危害与防御实践 weixin_47233946 信息安全web安全xss安全
    引言跨站脚本攻击（Cross-SiteScripting,XSS）作为OWASP十大Web应用安全风险中的常客，是开发者必须掌握的核心攻防领域。不同于其他漏洞的直接性，XSS通过浏览器端的代码注入实现攻击传播，具有隐蔽性强、危害多样的特点。本文将深入剖析XSS漏洞的底层逻辑，探讨其实际影响，并提供系统化的防御方案。一、XSS攻击技术原理1.1浏览器执行上下文混淆XSS的根本成因在于开发者未能正确处
  • 面试官问我“JVM 调优工具有哪些怎么用”，我一开口他就知道是老江湖 小奇JAVA面试 吊打面试官jvm
    作者：小奇Java面试标签：JVM调优/面试故事/Java工具链/技术趣闻面试场景：一个调优老兵的对话局这次是“曜能科技”的面试室，装修风格是科技蓝加亚克力玻璃，桌子上还有一本《高性能Java》第三版。我穿着一件略显皱的米白色T恤，脚踩帆布鞋，背着“Javaiseverywhere”的帆布包，看上去像是刚从实验室跑出来的实习生。对面坐着的面试官，穿着笔挺西装，皮鞋锃亮，AppleWatch闪着光。
  • Kubernetes：容器编排技术从入门到精通 IYA1738
    本文还有配套的精品资源，点击获取简介：Kubernetes（K8s）是一个开源的容器编排系统，由CNCF维护，用于自动化容器化应用的部署、扩展和管理。本资料将深入探讨K8s的核心组件、架构以及如何优化Java应用的部署和运行。学习K8s将涵盖Master节点和Worker节点的功能、Pod管理、服务抽象、存储管理、资源组织、Java应用优化以及高级特性等内容。通过实践操作，加深对K8s的理解，提升
  • 华为OD机试 2025B卷 - 货币单位转换(C++&Python&JAVA&JS&C语言) YOLO大师 华为odc++python华为OD机试华为OD机试2025B卷华为OD2025B卷华为OD机考2025B卷
    2025B卷目录点击查看：华为OD机试2025B卷真题题库目录｜机考题库+算法考点详解2025B卷100分题型题目描述记账本上记录了若干条多国货币金额，需要转换成人民币分（fen），汇总后输出。每行记录一条金额，金额带有货币单位，格式为数字+单位，可能是单独元，或者单独分，或者元与分的组合。要求将这些货币全部换算成人民币分（fen）后进行汇总，汇总结果仅保留整数，小数部分舍弃。元和分的换算关系都是
  • 基于迁移学习的多视图卷积神经网络在乳腺超声自动分类中的应用 despacito, 论文精读-乳腺超声分类
    BREASTCANCERCLASSIFICATIONINAUTOMATEDBREASTULTRASOUNDUSINGMULTIVIEWCONVOLUTIONALNEURALNETWORKWITHTRANSFERLEARNINGYIWANG,*,1EUNJUNGCHOI,y,1YOUNHEECHOI,*HAOZHANG,*GONGYONGJIN,yandSEOK-BUMKO*TAGGEDEND*De
  • 更换SSL证书引发的异常：`sun.security.validator.ValidatorException: PKIX path building failed` `[Nginx跳转失败：501] 猿享天开 技术经验sslnginx网络协议
    博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C++,C#,Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C++、C#等开发语言，熟悉Java常用开发技术，能熟练应用常用数据库SQLserver,Oracle,mysql,postgresql等进行开发应用，熟悉DICOM医学影像及DICOM协议,业余时间自学JavaScript,Vue,
  • 七牛云前端面试题及参考答案 （上） 大模型大数据攻城狮 前端vue组件reactjs前端面经防抖节流fiber
    目录基本数据类型有哪些？typeofnull的结果是什么？null和undefined的区别是什么？let关键字的特点有哪些？this指向的规则是什么？箭头函数中this指向哪里？如何实现JavaScript的深拷贝和浅拷贝？数组去重的常见方法（手写代码）数组扁平化（手写，不能使用flat(Infinity)）forEach和map方法的区别是什么？闭包的应用场景：实现链式加法add(1)(2)(
  • Vue 3 - JavaScript细节大揭秘 碧海蓝天· vue.jsjavascript前端JavaScript
    在学习Vue3的过程中，我们可能会发现一些令人惊讶的JavaScript细节，这些细节可能之前我们并不知道。本文将探讨一些Vue3中的JavaScript细节，并提供相应的源代码示例。CompositionAPIVue3引入了CompositionAPI，它是一种新的API风格，可以让我们更灵活地组织我们的代码。在Vue2中，我们使用OptionsAPI来定义组件，而在Vue3中，我们可以选择使用
  • C++多线程网络编程：助力高并发服务器性能提升 深度Linux 性能优化Linux开发多线程编程C/C++
    在数字化时代，高并发是互联网服务的常态——电商购物节的海量订单、社交网络的热门话题讨论、在线游戏的万人同服，都需要强大的并发处理能力。高并发服务器作为核心支柱，其性能与稳定性直接影响用户体验和业务成败。C++凭借卓越性能、高效执行效率和对系统资源的精准掌控，在高并发服务器开发中地位关键。多线程网络编程更是其核心优势，能充分利用多核CPU算力，让服务器同时处理多个任务，大幅提升并发处理能力和响应速度
  • 如何创建唯一的 key 或者 ID L?z ^f my utilsjavascript前端
    javaScript中创建唯一的key/***生成一个永不重复的key*@param{Number}randomLength*/functiongetUuiKey(randomLength=5){returnNumber(Math.random().toString().substr(2,randomLength)+Date.now()).toString(36)}
  • Python训练营打卡 Day50
    预训练模型+CBAM模块知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调预训练模型+CBAM模块知识点回顾ResNet结构解析残差块：ResNet的核心是残差块，它通过残差连接解决了深层网络的梯度消失问题。残差块允许梯度直接传播到后面的层，从而使得网络能够训练得更深。网络结构：ResNet由多个残差块组成，每个残差块包含两个或三个卷积层，以及一个
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他