johnsonli99
johnsonli99

从零开始实现一个C++高性能服务器框架----总结

此项目是根据sylar框架实现，是从零开始重写sylar，也是对sylar丰富与完善
项目地址：https://gitee.com/lzhiqiang1999/server-framework

1. 简介

项目介绍：实现了一个基于协程的服务器框架，支持多线程、多协程协同调度；支持以异步处理的方式提高服务器性能；封装了网络相关的模块，包括socket、http、servlet等，支持快速搭建HTTP服务器或WebSokcet服务器。
详细内容：日志模块，使用宏实现流式输出，支持同步日志与异步日志、自定义日志格式、日志级别、多日志分离等功能。线程模块，封装pthread相关方法，封装常用的锁包括（信号量，读写锁，自旋锁等）。IO协程调度模块，基于ucontext_t实现非对称协程模型，以线程池的方式实现多线程，多协程协同调度，同时依赖epoll实现了事件监听机制。定时器模块，使用最小堆管理定时器，配合IO协程调度模块可以完成基于协程的定时任务调度。hook模块，将同步的系统调用封装成异步操作（accept, recv, send等），配合IO协程调度能够极大的提升服务器性能。Http模块，封装了sokcet常用方法，支持http协议解析，客户端实现连接池发送请求，服务器端实现servlet模式处理客户端请求，支持单Reator多线程，多Reator多线程模式的服务器。

2. 日志模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----日志模块
  • 功能
    • 支持不同日志级别
    • 可以自由的控制日志输出的位置（目前包括输出到控制台，文件）
    • 支持自定义日志格式
    • 设置了一系列工具宏，实现流式输出
    • 目前还是同步日志，后期再添加异步日志
  • 主要模块
    • LogEvent、Logger、LogAppender、LogFormatter等

3. 环境变量模块

  • 详细功能：从零开始实现一个C++高性能服务器框架----环境变量模块
  • 功能
    • 解析命令行参数，并提供参数的帮助描述
    • 获取系统环境变量
    • 获取当前程序运行的绝对路径，工作路径及配置文件的路径
  • 主要模块
    • Env

4. 配置模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----配置模块
  • 功能
    • 支持yaml格式的配置文件解析
    • 使用模板完成基础类型，复杂类型（vector、map、set等），自定义类型的序列化与反序列化
    • 利用回调机制，在加载配置时，完成配置的更新
    • 使用yaml-cpp库，实现配置文件读取
    • 约定大于配置
  • 主要模块
    • ConfigVarBase、ConfigVar、Config

5. 线程模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----线程模块
  • 功能
    • 封装了一些常用的锁机制（信号量、互斥锁、自旋锁、读写锁），确保线程安全
    • 对pthread系列函数封装，生成Thread类
  • 主要模块
    • 锁：信号量（SemaphoreLock）、互斥锁（Mutex）、自旋锁（SpinLock）、读写锁（RWMutex）
    • 线程：Thread

6. 协程模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----协程模块
  • 功能
    • 使用非对称协程模型，简化程序逻辑
    • 由用户控制协程的执行逻辑，实现了主协程与子协程间的自由切换
    • 每个线程有一个主协程t_threadFiber，由主协程创建子协程，通过call()进入子协程运行，back()退出子协程，返回主协程。
  • 主要模块
    • Fiber

7. 协程调度模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----协程调度模块
  • 功能
    • 实现了一个线程池，支持多线程，多协程协同调度
    • 能够支持将主线程作为调度线程，提高程序运行效率
    • 支持将函数或协程绑定到一个具体的线程上执行
  • 主要模块
    • Scheduler

8. IO协程调度模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----IO协程调度模块
  • 功能
    • 继承自Scheduler，重写了tickle和idle方法，解决了线程阻塞，和idle空转的问题
    • 使用epoll系列方法，在协程上实现了IO操作的调度
    • 支持添加，删除IO事件，并完成事件响应
    • 分离了对与fd的监听与IO操作
  • 主要模块
    • IOManager

9. 定时器模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----定时器模块
  • 功能
    • 使用最小堆管理定时器
    • 支持循环定时器，执行循环定时任务
    • 支持创建条件定时器，定时器触发与否依赖于绑定的条件
    • 配合IO协程调度模块可以完成基于协程的定时任务调度
  • 主要模块
    • Timer、TimerManager

10. Hook模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----Hook模块
  • 功能
    • 对socket常用的IO函数进行了hook，配合IO协程调度模块，可以实现异步操作。
  • 主要模块
    • Hook的系列方法、FdCtx、FdManager

11. Address模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----Address模块
  • 功能
    • 对Linux下ipv4和ipv6地址的封装
    • 提供网络地址相关的类，支持与网络地址相关的操作，包括域名解析，网卡地址查询等
  • 主要模块
    • Address、IPAdress 、IPv4Address、IPv6Address

12. Socket模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----Socket模块
  • 功能
    • 对Linux下socket相关方法的封装，包括bind、listen、connect、read/write系列等方法
    • 支持快速创建TCP、UDP对应的Socket
  • 主要模块
    • Socket

13. 序列化模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----序列化模块
  • 功能
    • 支持序列化一般类型的数据（int32，uint32…）
    • 支持大小端转换
    • 支持数据压缩的方式写入
  • 主要模块
    • ByteArray

14. Stream模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----Stream模块
  • 功能
    • 封装了读写操作，支持普通读写以及固定长度读写，方便Http模块使用
  • 主要模块
    • Stream、SocketStream

15. TcpServer模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----TcpServer模块
  • 功能
    • 负责Tcp服务端的相关工作，包括监听，处理客户端响应，设置超时时间等
    • 和三个IO协程调度器绑定，能够实现监听，处理客户端读写，处理业务逻辑的分离
    • 充当监听池，负责所有监听socket的监听工作
  • 主要模块
    TcpServer

16. Http模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----Http模块
  • 功能
    • 封装了HTTP请求和响应协议（HttpRequest和HttpResponse）
    • 使用nodejs的htpp_parser实现了HTTP请求、响应解析（HttpRequestParser和HttpResponseParser）
    • 实现了uri解析（Uri）
    • 封装了HTTP会话，负责服务器接收请求和发送响应（HttpSession）
    • 封装了用于HTTP服务器的相关方法（HttpServer）
    • 封装了客户端发送请求和接收响应及HTTP连接池（HttpConnection和HttpConnectionPool）
  • 主要模块
    • HttpRequest、HttpResponse、HttpRequestParser、HttpResponseParser、Uri、HttpSession、HttpServer、HttpConnection、HttpConnectionPool

17. Servlet模块

  • 详细内容：从零开始实现一个C++高性能服务器框架----Servlet模块
  • 功能
    • 提供HTTP请求路径到处理类的映射，用于规范化的HTTP消息处理流程。
  • 主要模块
    • Servlet、FunctionServlet、NotFoundServlet、ServletDispatch

18. 守护进程

  • 详细内容：从零开始实现一个C++高性能服务器框架----守护进程
  • 功能
    • 将进程与终端解绑，转到后台运行
    • 实现了双进程唤醒功能，由父进程作为守护进程，当子进程异常结束，父进程在指定时间重新创建子进程
  • 主要模块
    • start_deamon、real_start、real_deamon

你可能感兴趣的:(服务器,c++,linux)

  • CSP-J备考冲刺必刷题（C++） | AcWing 11 背包问题求方案数 热爱编程的通信人 c++算法开发语言
    本文分享的必刷题目是从蓝桥云课、洛谷、AcWing等知名刷题平台精心挑选而来，并结合各平台提供的算法标签和难度等级进行了系统分类。题目涵盖了从基础到进阶的多种算法和数据结构，旨在为不同阶段的编程学习者提供一条清晰、平稳的学习提升路径。欢迎大家订阅我的专栏：算法题解：C++与Python实现！附上汇总贴：算法竞赛备考冲刺必刷题（C++）|汇总【题目来源】AcWing：11.背包问题求方案数-AcWi
  • 网页编辑器能否满足Word公式与图片的直接复制粘贴？ 2501_90699800 编辑器wordumeditor粘贴wordueditor粘贴wordueditor复制wordueditor上传word图片ueditor导入word
    要求：开源，免费，技术支持编辑器：百度ueditor前端：vue2,vue3,vue-cli,react,html5用户体验：Ctrl+V快捷键操作功能：导入Word,导入Excel,导入PPT(PowerPoint),导入PDF,复制粘贴word,导入微信公众号内容,web截屏平台：Windows,macOS,Linux,RedHat,CentOS,Ubuntu,中标麒麟,银河麒麟,统信UOS,
  • LeetCode 热题 100_跳跃游戏 II（79_45_中等_C++）(贪心算法) Dream it possible！ LeetCode热题100leetcodec++贪心算法算法
    LeetCode热题100_跳跃游戏II（79_45）题目描述：输入输出样例：题解：解题思路：思路一（贪心选择）：代码实现代码实现（思路一（贪心算法））：以思路一为例进行调试题目描述：给定一个长度为n的0索引整数数组nums。初始位置为nums[0]。每个元素nums[i]表示从索引i向后跳转的最大长度。换句话说，如果你在nums[i]处，你可以跳转到任意nums[i+j]处:0&nums){in
  • c++ stl库有哪些技术 C++ 老炮儿的技术栈 c++算法学习笔记c++
    C++STL（标准模板库）包含以下一些重要技术：容器-序列容器：如vector（动态数组），支持快速随机访问和尾部插入/删除；list（双向链表），适合频繁的插入和删除操作；deque（双端队列），能在两端高效地进行插入和删除。-关联容器：像map（键值对映射），基于红黑树实现，提供快速的查找、插入和删除操作；set（集合），同样基于红黑树，元素唯一且有序。迭代器提供了一种统一的方式来访问容器中的
  • bp抓IOS的包 仙女很美哦 httpudphttpswebsocket网络安全网络协议tcp/ip
    抓包工具的原理与使用指南一、抓包工具的原理抓包工具的核心原理是通过代理设置，使得浏览器访问请求经过抓包工具，再转发到服务器。具体流程如下：访问流程：浏览器>>抓包工具>>服务器响应流程：服务器>>抓包工具>>浏览器1.HTTP数据的抓包HTTP协议本身是明文传输的，因此抓包工具可以直接捕获并解析这些数据。2.HTTPS数据的抓包HTTPS协议在传输过程中是加密的，因此抓包工具需要模拟服务端和客户端
  • 家用笔记本换装centos7当服务器全流程 吕域 服务器windows电脑centos
    目录1、安装centos7系统硬件准备软件和镜像准备制作启动盘2、网络连接和ssh远程登陆centos7连接网络ssh远程登陆3、笔记本闭盖不休眠（7*24小时可用）4、定时开关机（省电、保护电脑）5、配置开发环境（此处以python为例，非必要项，示需求安装）1、安装centos7系统硬件准备老旧淘汰笔记本一台（新笔记本不合算，舍不得）一个大于8G的U盘网线一根（后续联网用）软件和镜像准备软件U
  • Centos7_安装 爱喝兽奶 Linux基础linuxubuntucentos
    一.Linux哲学思想一切都是一个文件（包括硬件）小型，单一用途的程序链接程序，共同完成复杂的任务避免令人困惑的用户界面配置数据存储在文本中二.Linux生产主流版本Linux各种版本CentOS各版本介绍https://zh.wikipedia.org/wiki/CentOSRHEL各版本介绍https://zh.wikipedia.org/wiki/Red_Hat_Enterprise_Lin
  • 如何提升 API 性能：来自 Java 和测试开发者的优化建议
    你正在听你最喜欢的歌曲，测试你使用编写的新API。但等你听完一整首歌，API还没响应。哎呀！这是一个巨大的警告信号——是时候优化你的API响应时间了。让我们深入了解一些加速方法，让你的API跟你最喜欢的吉他独奏一样快。为什么API响应时间很重要想想看：API响应时间就是你的应用程序与服务器之间的对话速度。它响应得越快，用户就会越开心。API慢=用户沮丧，API快=用户高兴。所以，让我们解决那些延迟
  • 《代码与灯影：一个互联网“搬砖者”的十六小时马拉松》
    清晨6:30，手机闹钟第三次震动时，王昊的手指在黑暗中摸索着按下"稍后提醒"。枕边充电器散发的微光里，他瞥见钉钉群里跳动的99+未读消息——昨夜两点部署的自动化脚本还在生产环境报错。一、困顿清晨：在咖啡因里开机7:15，地铁早高峰的人流像被编译失败的代码，在闸机口不断堆栈溢出。他缩在车厢角落，用手机查看凌晨的服务器监控日志，突然发现某个API接口响应时间突破2000ms。"这得在晨会上重点提...
  • Linux学习1_Linux命令及英文全称 Wang_Zhenwei —Linux转载linux
    LinuxCommandreferences(命令全称，方便记忆)aliasCreateyourownnameforacommandarchprintmachinearchitectureashashcommandinterpreter(shell)awk(gawk)patternscanningandprocessinglanguagebasenameRemovedirectoryandsuff
  • CentOS 7.x 快速搭建ARK服务器 Aorsion Linuxarkserverarkservercentos方舟服务器搭建Linux方舟开服教程方舟多人联机
    本人菜鸟一枚，最近喜欢上了ark，也找到了2个基友，但是在别的服玩的不是很开心（非人民币玩家，你们懂），刚好有台闲置的拯救者14笔记本，i7-4720HQ、16G内存、128G三星970pro，1T机械，索性拿来装个Centos7.6搭个服自己玩,就多点电费的事，下面把自己折腾一天的开服经历做个笔记留给和我一样的童鞋，喜欢开服工具的请绕道友情提醒：ARK需要大量内存，建议使用至少具有6GBRAM以
  • docker compose部署dragonfly java初学者分享 docker容器运维
    整个工具的代码都在Gitee或者Github地址内gitee：solomon-parent:这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、reids、Mqtt、S3协议的文件服务器、mongodbgithub：GitHub-ZeroNing/solomon-parent:这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、rei
  • SpringBoot整合通用xxl-job,自动注册任务 java初学者分享 springboot后端java
    整个工具的代码都在Gitee或者Github地址内gitee：solomon-parent:这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、reids、Mqtt、S3协议的文件服务器、mongodbgithub：GitHub-ZeroNing/solomon-parent:这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、rei
  • SpringBoot整合阿里云、腾讯云、minio、百度云、华为云、天翼云、金山云、七牛云、移动云、网易数帆等等有关于S3协议下文分布式对象存储接口 java初学者分享 阿里云腾讯云华为云
    前提：在可运行的SpringBoot的项目内引用以下JAR包整个工具的代码都在Gitee或者Github地址内gitee：solomon-parent:这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、reids、Mqtt、S3协议的文件服务器、mongodbgithub：GitHub-ZeroNing/solomon-parent:这个项目主要是总结了工作上遇到
  • SpringBoot整合多租户MongoBD java初学者分享 SaaS多租户专栏springboot后端javamongodb
    前提：在可运行的SpringBoot的项目内引用以下JAR包整个工具的代码都在Gitee或者Github地址内gitee：solomon-parent:这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、reids、Mqtt、S3协议的文件服务器、mongodbgithub：GitHub-ZeroNing/solomon-parent:这个项目主要是总结了工作上遇到
  • docker-compose笔记 Re_Virtual dockerdocker笔记容器
    docker目前docker官网已经无法登录，但是还可以从清华镜像站（https://mirrors.tuna.tsinghua.edu.cn/docker-ce/）下载。使用方法可以参考早期文章《docker笔记》docker-compose可以从Github下载不同版本的二进制文件，例如docker-compose-linux-x86_64。下载完成后，将二进制文件复制入路径，例如/usr/l
  • Linux vim mode | raw / cooked 斐夷所非 Linuxvimmode
    注：机翻，未校。vimterminal“raw”modeVim终端“raw”模式1.原始模式与已处理模式的区别Weknowvimputstheterminalin“raw”modewhereitreceiveskeystrokesastheyaretyped,opposedto“cooked”modewherethecommandisnotprocessedfullyunlesstheend-us
  • linux自律 第 40 天 嵌入式大大白 数据库
    在学习了sqlite3数据库的增删改查之后，我开始做了一个基于web服务端的商品查询系统，将商品的图片，名称，id，详细描述和关键词等都放入了该数据库中，利用该数据库和html构建的网页来完成该项目。该项目首先需要设计出登录系统，登录需要密码和账号，所以需要注册，我打算在注册的时候使用数据库，将注册的信息放在数据库中。然后使用账号密码登录的时候，输入的账号密码在请求报文中，以post的形式发出来，
  • k8s往secret里导入证书_Kubernetes K8S之存储Secret详解 weixin_39604598 k8s往secret里导入证书
    K8S之存储Secret概述与类型说明，并详解经常使用Secret示例html主机配置规划服务器名称(hostname)系统版本配置内网IP外网IP(模拟)k8s-masterCentOS7.72C/4G/20G172.16.1.11010.0.0.110k8s-node01CentOS7.72C/4G/20G172.16.1.11110.0.0.111k8s-node02CentOS7.72C/
  • C++ STL常用库的使用方法（一） 小崔的技术博客 算法c++算法开发语言
    文章目录（0）C++STL介绍（0）C++STL组件(一)Vector容器1）创建vector2）尾部元素扩张3）访问Vector元素4)元素的删除5)元素的排序6)向量的大小(二)String基本字符系列容器1）创建String对象2)给String赋值(三)set集合容器1）创建set集合对象2)元素的插入与中序遍历3)元素的反向遍历4)元素的删除5)元素的检索(四)map映射容器1）map创
  • 【北京迅为】iTOP-RK3568开发板OpenHarmony系统南向驱动开发UART接口运作机制 迅为电子 RK3568开发板RK3568开发板OpenHarmony
    瑞芯微RK3568芯片是一款定位中高端的通用型SOC，采用22nm制程工艺，搭载一颗四核Cortex-A55处理器和MaliG522EE图形处理器。RK3568支持4K解码和1080P编码，支持SATA/PCIE/USB3.0外围接口。RK3568内置独立NPU，可用于轻量级人工智能应用。RK3568支持安卓11和linux系统，主要面向物联网网关、NVR存储、工控平板、工业检测、工控盒、卡拉OK
  • Docker下载，包含Win、Mac 码码哈哈0.0 实用工具docker容器运维
    介绍Docker是一种开源的容器化平台，通过操作系统级虚拟化技术实现应用的快速开发、部署和运行。以下从多个维度对Docker进行详细介绍：一、Docker的核心概念与功能容器化技术Docker利用Linux内核的容器隔离技术（如Cgroups和Namespace），将应用及其依赖打包为轻量级、可移植的容器。容器与虚拟机不同，它无需模拟完整操作系统，而是共享主机内核，因此启动更快、资源占用更低。核心
  • Ubuntu零基础入门到精通【1.3讲】：为什么选择 Ubuntu？ bug菌¹ 滚雪球学Ubuntuubuntulinux运维为什么选择Ubuntu零基础教程
    目录：上期回顾：Ubuntu的生态与社区✨前言：为什么我们都在谈论Ubuntu？为什么Ubuntu是个人和企业的首选？1️⃣安全性与开源：Ubuntu构建的安全生态系统更高的安全性：Ubuntu对安全的极致追求✨️开放性与可审查性：更透明的操作系统长期支持版（LTS）：稳定与安全的完美平衡2️⃣对比其他Linux发行版：Ubuntu如何脱颖而出？Fedora：创新的前沿，但稳定性欠佳CentOS：
  • （备忘） manjaro更换内核后 virtualBox 中打不开虚拟机（已经解决） 波格斯特 问题备忘linux内核
    文章目录问题描述解决办法参考链接1问题描述更换完5.9内核后VirtualBox提示Kerneldrivernotinstalled(rc=-1908)"TheVirtualBoxLinuxkerneldriveriseithernotloadedornotsetupcorrectly.Pleasetrysettingitupagainbyexecuting'/sbin/vboxconfig'as
  • 一键掌控海量文件！Shell的find命令终极指南 + 高阶组合技 芯有所享 java前端android经验分享
    你是否经历过这些崩溃瞬间？想清理3个月前的日志却无从下手要在10万张图片里找出某个版本突然发现服务器被临时文件塞爆…今天介绍的Linux三剑客之find命令，就是你的超级救星！不仅能精准定位文件，结合其他命令更能玩出自动化运维的花样！一、Find基础三连击（新手必看）按图索骥-名称搜索查找当前目录所有.txt文件（精准匹配）find.-name“*.txt”忽略大小写找配置文件（模糊匹配）find
  • 二叉树的三种遍历【树的遍历】（C++实现）Binary Tree Traversal Vitalia 理论基础c++树的遍历二叉树
    图论入门【数据结构基础】：什么是树？如何表示树？之前我们有分别讲解二叉树的三种遍历的相关代码实现：⭐算法OJ⭐二叉树的前序遍历【树的遍历】（C++实现）BinaryTreePreorderTraversal⭐算法OJ⭐二叉树的中序遍历【树的遍历】（C++实现）BinaryTreeInorderTraversal⭐算法OJ⭐二叉树的后序遍历【树的遍历】（C++实现）BinaryTreePostord
  • 【CXX-Qt】2.1 构建系统 Source.Liu CXX-Qtqtrustc++
    CXX-Qt可以集成到现有的CMake项目中，也可以仅使用Cargo进行构建。需要了解的可以阅读上2篇文章：Cargo集成CMake集成CXX-Qt可以与任何C++构建系统一起使用，只要在调用Cargo之前设置了QMAKE、CXX_QT_EXPORT_DIR和CXX_QT_EXPORT_CRATE_环境变量。请查看我们的CMake代码以了解如何使用这些变量。然而，除了Cargo或CMake之外，使
  • const关键字的作用和用法 C++ 老炮儿的技术栈 开发语言c++笔记学习
    在C++中，const关键字有以下作用和用法：修饰变量-表示该变量的值不能被修改，在定义时必须初始化。例如：constintnum=10;，之后任何试图修改num值的操作都会导致编译错误。-可以提高程序的可读性和可维护性，让代码的读者清楚哪些变量是不应该被修改的。修饰指针-可以修饰指针本身或指针所指向的内容。例如，constint*ptr;表示指针所指向的int值是常量，不能通过ptr来修改该值，
  • SpringBoot可以同时处理多少请求？ java1234_小锋 javajava开发语言
    大家好，我是锋哥。今天分享关于【SpringBoot可以同时处理多少请求？】面试题。希望对大家有帮助；SpringBoot可以同时处理多少请求？1000道互联网大厂Java工程师精选面试题-Java资源分享网SpringBoot本身并不直接限制可以处理的请求数量，能处理多少请求取决于几个因素，主要是底层的Web服务器（如嵌入式的Tomcat、Jetty或Undertow），以及服务器硬件、操作系统
  • 解决Ubuntu报错 E: Unable to locate package yum SH-ke ubuntuyumapt
    开门见山，Ubuntu的包管理工具是apt-get，所以不必再安装yum。如果要安装其他包需要使用apt-get命令。#这里以locate命令为例sudoapt-getinstallmlocate下文就是问题解决的全过程了。1.报错E:Unabletolocatepackageyum我在学习Linux命令的时候需要使用locate命令，但是Ubuntu的系统里没有安装locate命令。根据弹幕的指
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他