OrangeLoveMilan
OrangeLoveMilan

python多线程爬虫下载rpm包

写在前面

好久没更新了，贴一个多线程下载rpm包的小爬虫。

需求

今天主管跟我说，阿祖啊，你去搞个erlang离线源，把erlang的rpm包全下一下，不多，几百个好像，给你10分钟哈。我：。。。。。。。


python多线程爬虫下载rpm包_第1张图片

程序

于是我打开了尘封已久的pycharm，开始写爬虫，好久不写了，import都费劲。

# coding=utf-8
#author:OrangeLoveMlian
import sys
import re
import threading
import Queue
import time
import requests
from pyquery import PyQuery as pq

第一步：读取网页内容。加了个headers模拟浏览器

url = 'http://packages.erlang-solutions.com/rpm/centos/7/x86_64/'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"}
res= requests.get(url,headers = headers)
#print res.text
doc = pq(res.text)

第二步：分析标签元素。写入文件。


python多线程爬虫下载rpm包_第2张图片 
这不是程序~~~~~~~~~~

 
  Index of /rpm/centos/7/x86_64
 
 

Index of /rpm/centos/7/x86_64


贴了点网页编码便于分析
 我要抓取的是td之间的erlang的包的名字。利用了pquery模块
for item in doc("td").find("a"):
    rpm_url = item

    with open('test.txt','a') as f:
        f.writelines(rpm_url.text + '\n')

抓好到后写入到test.txt文件中。这里需要说明的是，打开文件要用‘a’，因为这是追加写入。写入后为了便于读写，加了个空格'\n'.
 手动打开test.txt文件，发现众多rpm包名字中混入了什么奇怪的东西。Parent Directory和repodata\。把他两干掉。这里用了正则，写的比较蠢/(ㄒoㄒ)/~~
with open('test.txt','r') as f:
    for line in f:
        if not re.search("rpm",line):
            line[:-1]
        else:
            with open('url.txt','a') as f:
                f.writelines('http://packages.erlang-solutions.com/rpm/centos/7/x86_64/' + line)

处理完写入新的url.txt文件时，加了个http的url。这样地址就是下载地址了。
 下面写一个下载函数：
def download(url):
    r = requests.get(url)
    name = url.split('/')[-1]
    with open('D:/rpm/' + name, 'wb')as f:
        f.write(r.content)

现在到d盘目录下，保存的格式为wb。名字就是rpm包的名字
引用队列，加入多线程
q = Queue.Queue()
with open('D:/rpm/test/test.txt', 'r')as f:
    for line in f:
        # download(line)
        url = line.strip('\n')
        q.put(url)

非阻塞读取队列的url。多线程下载rpm包.我这里起了一个线程
def download_rpm(q):
    while True:
        try:
            url = q.get_nowait()

        except Exception, e:
            print e
            break;
        print 'Current Thread Name Runing %s ... ' % threading.currentThread().name
        download(url)


t1 = threading.Thread(target=download_rpm, args=(q,), name="child_thread_1")
t1.start()
t1.join()
print '%s ' % over(*^_^*)

结束
就这样，一个简单的多线程爬虫下载rpm包的程序就写完了。可以加上time的模块，测试一下开不同线程下载的时间。我测试的是，下载8个rpm包，开一个线程需要54s。开3个线程只需要6s。





你可能感兴趣的:(python多线程爬虫下载rpm包)






    

  • linux sdl windows.h,Windows下的SDL安装
奔跑吧linux内核
linuxsdlwindows.h

    首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
    

    • 

  • 下载github patch到本地
小米人er
我的博客gitpatch

    以下是几种从GitHub上下载以.patch结尾的补丁文件的方法：通过浏览器直接下载打开包含该.patch文件的GitHub仓库。在仓库的文件列表中找到对应的.patch文件。点击该文件，浏览器会显示文件的内容，在页面的右上角通常会有一个“Raw”按钮，点击它可以获取原始文件内容。然后在浏览器中使用快捷键（如Ctrl+S或者Command+S）将原始文件保存到本地，选择保存的文件名并确保后缀为.p
    

    • 

  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）
编程经验分享
开发工具服务器sshlinux

    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
    

    • 

  • libyuv之linux编译
jaronho
Linuxlinux运维服务器

    文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
    

    • 

  • 穷人做什么生意最赚钱？10个适合穷人赚钱的路子？
氧惠爱高省

    不管在什么地方，一般都是穷人占大量数，而富人只有少数，但是它们却掌握着大量的财富。对于穷人来说，想要买车、买房等奢侈品就难如登天，因为他们只能通过打工来赚取几千元的月薪。➤推荐网购返利app“氧惠”，一个领隐藏优惠券+现金返利的平台。氧惠只提供领券返利链接，下单全程都在淘宝、京东、拼多多等原平台，更支持抖音、快手电商、外卖红包返利等。（应用市场搜“氧惠”下载，邀请码:521521，全网优惠上氧惠！
    

    • 

  • Python爬虫解析工具之xpath使用详解
eqa11
python爬虫开发语言

    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    

    • 

  • 福袋生活邀请码在哪里填写，福袋生活app邀请码使用教程
小小编007

    很多人下载福袋生活后，注册使用时需要填写邀请码。因为福袋生活是注册邀请制，所以首次使用填写邀请码才可以正常登录使用。福袋生活是广州市福袋生活信息科技有限公司旗下一家多元化社交电商导购平台，以APP为载体，社群为媒介，汇集衣食住行、吃喝玩乐生活服务板块，使用福袋生活可以领到淘宝，拼多多等电商平台的商品优惠券和返利，还可以兼职去分享赚钱。我为什么从福袋生活转到果冻宝盒呢？当然是因为福袋生活返利更高，注
    

    • 

  • nosql数据库技术与应用知识点
皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库

    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    

    • 

  • openssl+keepalived安装部署
_小亦_
项目部署keepalivedopenssl

    文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
    

    • 

  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven
Energet!c
开发语言

    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    

    • 

  • 2.2.6 通知类控件 Toast、Menu
常思行

    本文例程下载：WillFlow_Toast、WillFlowMenu一、什么是Toast？Toast也被叫做吐司，是Android系统提供的一种非常好的提醒方式，在程序中可以使用它将一些短小的信息通知给用户，它有如下两个特点：Toast是没有焦点的Toast显示的时间有限过一定的时间就会自动消失所以一般来讲Toast的使用并不会影响我们的正常操作，并且它通常不会占用太大的屏幕空间，有着良好的用户体
    

    • 

  • python多线程程序设计 之一
IT_Beijing_BIT
#Python程序设计语言python

    python多线程程序设计之一全局解释器锁线程APIsthreading.active_count()threading.current_thread()threading.excepthook(args,/)threading.get_native_id()threading.main_thread()threading.stack_size([size])线程对象成员函数构造器start/ru
    

    • 

  • Java爬虫框架（一）--架构设计
狼图腾-狼之传说
java框架java任务html解析器存储电子商务

    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    

    • 

  • Java：爬虫框架
dingcho
Javajava爬虫

    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
    

    • 

  • python批量读取tiff文件_Python Pillow批量转换tif格式到jpg
weixin_39557797

    最近因为想要整下网站的壁纸，从网站下载了别人整理好的合集压缩包，解压之后，却发现里面的文件都是tif的，tif格式网站和电脑都不认的，根本不能作壁纸。这时候，就需要转换图片格式了，首先我找了几款转换格式的软件，发现效果都不好，要不是不支持tif格式，要不就是转换出来的图片糊的不行。最终，还是决定用Python的Pillow库来写一个脚本，完成这个任务。下面是整个的小脚本----importosim
    

    • 

  • Python多线程实现大规模数据集高效转移
sand&wich
网络python服务器

    背景在处理大规模数据集时，通常需要在不同存储设备、不同服务器或文件夹之间高效地传输数据。如果采用单线程传输方式，当数据量非常大时，整个过程会非常耗时。因此，通过多线程并行处理可以大幅提升数据传输效率。本文将分享一个基于Python多线程实现的高效数据传输工具，通过遍历源文件夹中的所有文件，将它们移动到目标文件夹。工具和库这个数据集转移工具主要依赖于以下Python标准库：os：用于文件系统操作，如
    

    • 

  • Python实现下载当前年份的谷歌影像
sand&wich
python开发语言

    在GIS项目和地图应用中，获取最新的地理影像数据是非常重要的。本文将介绍如何使用Python代码从Google地图自动下载当前年份的影像数据，并将其保存为高分辨率的TIFF格式文件。这个过程涉及地理坐标转换、多线程下载和图像处理。关键功能该脚本的核心功能包括：坐标转换：支持WGS-84与WebMercator投影之间转换，以及处理中国GCJ-02偏移。自动化下载：多线程下载地图瓦片，提高效率。图像
    

    • 

  • 笋丁网页自动回复机器人V3.0.0免授权版源码
希希分享
软希网58soho_cn源码资源笋丁网页自动回复机器人

    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
    

    • 

  • Vue( ElementUI入门、vue-cli安装)
m0_l5z
elementuivue.js

    一.ElementUI入门目录：1.ElementUI入门1.1ElementUI简介1.2Vue+ElementUI安装1.3开发示例2.搭建nodejs环境2.1nodejs介绍2.2npm是什么2.3nodejs环境搭建2.3.1下载2.3.2解压2.3.3配置环境变量2.3.4配置npm全局模块路径和cache默认安装位置2.3.5修改npm镜像提高下载速度2.3.6验证安装结果3.运行n
    

    • 

  • 入门MySQL——查询语法练习
K_un

    前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
    

    • 

  • ESP32-C3入门教程 网络篇⑩——基于esp_https_ota和MQTT实现开机主动升级和被动触发升级的OTA功能
小康师兄
ESP32-C3入门教程https服务器esp32OTAMQTT

    文章目录一、前言二、软件流程三、部分源码四、运行演示一、前言本文基于VSCodeIDE进行编程、编译、下载、运行等操作基础入门章节请查阅：ESP32-C3入门教程基础篇①——基于VSCode构建HelloWorld教程目录大纲请查阅：ESP32-C3入门教程——导读ESP32-C3入门教程网络篇⑨——基于esp_https_ota实现史上最简单的ESP32OTA远程固件升级功能二、软件流程
    

    • 

  • 2023最详细的Python安装教程（Windows版本）
程序员林哥
Pythonpythonwindows开发语言

    python安装是学习pyhon第一步，很多刚入门小白不清楚如何安装python，今天我来带大家完成python安装与配置，跟着我一步步来，很简单，你肯定能完成。第一部分：python安装（一）准备工作1、下载和安装python(认准官方网站)当然你不想去下载的话也可以分享给你，还有入门学习教程，点击下方卡片跳转进群领取（二）开始安装对于Windows操作系统，可以下载“executableins
    

    • 

  • WebMagic：强大的Java爬虫框架解析与实战
Aaron_945
Javajava爬虫开发语言

    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    

    • 

  • 00. 这里整理了最全的爬虫框架（Java + Python）
有一只柴犬
爬虫系列爬虫javapython

    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
    

    • 

  • 天猫返利网哪个最好?天猫返利网站有哪些?
优惠券高省

    关于哪个返利网站好用，今天汐儿给大家介绍以下十大网站，可以作为参考：1、高省网【高省APP】（邀请码：668666）全网佣金最高。手机应用商店搜索“高省”即可免费下载安装，填写高省邀请码：668666，直升2皇冠，享更高佣金及分红奖励。高省APP全网佣金最高，手机应用商店搜索“高省”即可下载，高省邀请码：668666，此码注册，直升2皇冠，佣金更高！送万元推广大礼包，教你如何1年做到百万团队。其实
    

    • 

  • vue 创建项目报错：command failed: npm install --loglevel error
那鱼、会飞
vue.jsvue-cli3

    这个问题其实很好解决，只是很多种情况，逐一排除即可。稳下心来~vuecli3创建项目我的node版本是node14.15.0，（永远不要尝试最新版本）node各种版本下载地址：以往的版本|Node.js(nodejs.org)vue/[email protected]@vue/[email protected]（注意vue/cli2和vue/cli3的下载命名有所改变，2是-形式，3是/形式）其实报错
    

    • 

  • windows下python opencv ffmpeg读取摄像头实现rtsp推流 拉流
图像处理大大大大大牛啊
opencv实战代码讲解视觉图像项目windowspythonopencv

    windows下pythonopencvffmpeg读取摄像头实现rtsp推流拉流整体流程1.下载所需文件1.1下载rtsp推流服务器1.2下载ffmpeg2.开启RTSP服务器3.opencv读取摄像头并调用ffmpeg进行推流4.opencv进行拉流5.opencv异步拉流整体流程1.下载所需文件1.1下载rtsp推流服务器下载RTSP服务器下载页面https://github.com/blu
    

    • 

  • Python3.7出现“ModuleNotFoundError: No module named ‘Tkinter‘”错误的解决方法
可爱的小红猪
python

    Python3.7出现“ModuleNotFoundError:Nomodulenamed‘Tkinter’”错误的解决方法在网上看到很多针对这个问题的解决方法都是重新安装或配置Tkinter库，但Tkinter是python内置的标准GUI库，安装Python时就已经内置在了库中，不需要另外下载。针对于Tkinter，你的代码很可能是这样的：importTkinter或者是这样fromTkint
    

    • 

  • ai绘画工具midjourney怎么下载？附作品管理教程
设计师早上好

    Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
    

    • 

  • NPM私库搭建-verdaccio（Linux）
Beam007
npmlinux前端

    1、安装nodelinux服务器安装nodea)、官网下载所需的node版本https://nodejs.org/dist/v14.21.0/b)、解压安装包若下载的是xxx.tar.xz文件，解压命令为tar-xvfxxx.tar.xzc)、修改环境变量修改：/etc/profile文件#SETPATHFORNODEJSexportNODE_HOME=NODEJS解压安装的路径exportPAT
    

    • 

  • mondb入手
木zi_鸣
mongodb

    windows 启动mongodb  编写bat文件，
mongod --dbpath D:\software\MongoDBDATA
mongod --help  查询各种配置
配置在mongob
打开批处理，即可启动，27017原生端口，shell操作监控端口  扩展28017，web端操作端口
启动配置文件配置，
数据更灵活 
    

    • 

  • 大型高并发高负载网站的系统架构
bijian1013
高并发负载均衡

            扩展Web应用程序
一.概念
        简单的来说，如果一个系统可扩展，那么你可以通过扩展来提供系统的性能。这代表着系统能够容纳更高的负载、更大的数据集，并且系统是可维护的。扩展和语言、某项具体的技术都是无关的。扩展可以分为两种：
        1.
    

    • 

  • DISPLAY变量和xhost(原创)
czmmiao
display

    DISPLAY
在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量, 输出结果中有如下内容:DISPLAY=:0.0
    

    • 

  • 获取B/S客户端IP
周凡杨
java编程jspWeb浏览器

       最近想写个B/S架构的聊天系统，因为以前做过C/S架构的QQ聊天系统，所以对于Socket通信编程只是一个巩固。对于C/S架构的聊天系统，由于存在客户端Java应用，所以直接在代码中获取客户端的IP，应用的方法为：
   String ip = InetAddress.getLocalHost().getHostAddress();
然而对于WEB
    

    • 

  • 浅谈类和对象
朱辉辉33
编程

        类是对一类事物的总称，对象是描述一个物体的特征，类是对象的抽象。简单来说，类是抽象的，不占用内存，对象是具体的，
占用存储空间。
    类是由属性和方法构成的，基本格式是public  class 类名{
//定义属性
private/public 数据类型 属性名；
//定义方法
publ
    

    • 

  • android activity与viewpager+fragment的生命周期问题
肆无忌惮_
viewpager

    有一个Activity里面是ViewPager，ViewPager里面放了两个Fragment。
第一次进入这个Activity。开启了服务，并在onResume方法中绑定服务后，对Service进行了一定的初始化，其中调用了Fragment中的一个属性。
super.onResume();
bindService(intent, conn, BIND_AUTO_CREATE);

    

    • 

  • base64Encode对图片进行编码
843977358
base64图片encoder

    /**
* 对图片进行base64encoder编码
*
* @author mrZhang
* @param path
* @return
*/
public static String encodeImage(String path) {
BASE64Encoder encoder = null;
byte[] b = null;
I
    

    • 

  • Request Header简介
aigo
servlet

    当一个客户端(通常是浏览器)向Web服务器发送一个请求是，它要发送一个请求的命令行，一般是GET或POST命令，当发送POST命令时，它还必须向服务器发送一个叫“Content-Length”的请求头(Request   Header)   用以指明请求数据的长度，除了Content-Length之外，它还可以向服务器发送其它一些Headers，如：    
    

    • 

  • HttpClient4.3 创建SSL协议的HttpClient对象
alleni123
httpclient爬虫ssl

    public class HttpClientUtils
{
public static CloseableHttpClient createSSLClientDefault(CookieStore cookies){
SSLContext sslContext=null;
try
{
sslContext=new SSLContextBuilder().l
    

    • 

  • java取反 -右移-左移-无符号右移的探讨
百合不是茶
位运算符 位移

    取反：
在二进制中第一位，1表示符数，0表示正数
byte a = -1;
原码：10000001
反码：11111110
补码：11111111
//异或: 00000000
byte b = -2;
原码：10000010
反码：11111101
补码：11111110
//异或: 00000001

    

    • 

  • java多线程join的作用与用法
bijian1013
java多线程

            对于JAVA的join，JDK 是这样说的：join public final void join （long millis ）throws InterruptedException Waits at most millis milliseconds for this thread to die. A timeout of 0 means t
    

    • 

  • Java发送http请求(get 与post方法请求)
bijian1013
javaspring

    PostRequest.java
package com.bijian.study;
import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURL
    

    • 

  • 【Struts2二】struts.xml中package下的action配置项默认值
bit1129
struts.xml

    在第一部份，定义了struts.xml文件，如下所示：
 
<!DOCTYPE struts PUBLIC
"-//Apache Software Foundation//DTD Struts Configuration 2.3//EN"
"http://struts.apache.org/dtds/struts
    

    • 

  • 【Kafka十三】Kafka Simple Consumer
bit1129
simple

    代码中关于Host和Port是割裂开的，这会导致单机环境下的伪分布式Kafka集群环境下，这个例子没法运行。
实际情况是需要将host和port绑定到一起，
 
package kafka.examples.lowlevel;
import kafka.api.FetchRequest;
import kafka.api.FetchRequestBuilder;
impo
    

    • 

  • nodejs学习api
ronin47
nodejs api

    NodeJS基础 什么是NodeJS
JS是脚本语言，脚本语言都需要一个解析器才能运行。对于写在HTML页面里的JS，浏览器充当了解析器的角色。而对于需要独立运行的JS，NodeJS就是一个解析器。
每一种解析器都是一个运行环境，不但允许JS定义各种数据结构，进行各种计算，还允许JS使用运行环境提供的内置对象和方法做一些事情。例如运行在浏览器中的JS的用途是操作DOM，浏览器就提供了docum
    

    • 

  • java-64.寻找第N个丑数
bylijinnan
java

    
public class UglyNumber {
/**
* 64.查找第N个丑数
具体思路可参考 [url] http://zhedahht.blog.163.com/blog/static/2541117420094245366965/[/url]
*
题目：我们把只包含因子
2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14
    

    • 

  • 二维数组（矩阵）对角线输出
bylijinnan
二维数组

    
/**
二维数组 对角线输出 两个方向
例如对于数组：
{ 1, 2, 3, 4 },
{ 5, 6, 7, 8 },
{ 9, 10, 11, 12 },
{ 13, 14, 15, 16 },
slash方向输出：
1
5 2
9 6 3
13 10 7 4
14 11 8
15 12
16
backslash输出：
4
3
    

    • 

  • [JWFD开源工作流设计]工作流跳跃模式开发关键点(今日更新)
comsci
工作流

       既然是做开源软件的,我们的宗旨就是给大家分享设计和代码,那么现在我就用很简单扼要的语言来透露这个跳跃模式的设计原理
   大家如果用过JWFD的ARC-自动运行控制器,或者看过代码,应该知道在ARC算法模块中有一个函数叫做SAN(),这个函数就是ARC的核心控制器,要实现跳跃模式,在SAN函数中一定要对LN链表数据结构进行操作,首先写一段代码,把
    

    • 

  • redis常见使用
cuityang
redis常见使用

    redis 通常被认为是一个数据结构服务器，主要是因为其有着丰富的数据结构 strings、map、 list、sets、 sorted sets
引入jar包 jedis-2.1.0.jar  (本文下方提供下载)
package redistest;
import redis.clients.jedis.Jedis;
public class Listtest
    

    • 

  • 配置多个redis
dalan_123
redis

    配置多个redis客户端
<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi=&quo
    

    • 

  • attrib命令
dcj3sjt126com
attr

     
attrib指令用于修改文件的属性.文件的常见属性有:只读.存档.隐藏和系统. 
  只读属性是指文件只可以做读的操作.不能对文件进行写的操作.就是文件的写保护. 
  存档属性是用来标记文件改动的.即在上一次备份后文件有所改动.一些备份软件在备份的时候会只去备份带有存档属性的文件. 

    

    • 

  • Yii使用公共函数
dcj3sjt126com
yii

    在网站项目中，没必要把公用的函数写成一个工具类，有时候面向过程其实更方便。 在入口文件index.php里添加 require_once('protected/function.php'); 即可对其引用，成为公用的函数集合。 function.php如下：
  <?php /**   * This is the shortcut to D
    

    • 

  • linux 系统资源的查看（free、uname、uptime、netstat）
eksliang
netstatlinux unamelinux uptimelinux free

    linux 系统资源的查看
转载请出自出处：http://eksliang.iteye.com/blog/2167081
 
http://eksliang.iteye.com 一、free查看内存的使用情况
语法如下：
 
free [-b][-k][-m][-g] [-t]
参数含义
-b:直接输入free时，显示的单位是kb我们可以使用b(bytes),m
    

    • 

  • JAVA的位操作符
greemranqq
位运算JAVA位移<<>>>

    最近几种进制，加上各种位操作符，发现都比较模糊，不能完全掌握，这里就再熟悉熟悉。
 
1.按位操作符 ：
   按位操作符是用来操作基本数据类型中的单个bit,即二进制位，会对两个参数执行布尔代数运算，获得结果。
   与（&）运算：
   1&1 = 1, 1&0 = 0, 0&0 &
    

    • 

  • Web前段学习网站
ihuning
Web

     
Web前段学习网站
菜鸟学习：http://www.w3cschool.cc/
 
JQuery中文网：http://www.jquerycn.cn/
 
内存溢出：http://outofmemory.cn/#csdn.blog
 
http://www.icoolxue.com/
 
http://www.jikexue
    

    • 

  • 强强联合：FluxBB 作者加盟 Flarum
justjavac
r

    原文：FluxBB Joins Forces With Flarum作者：Toby Zerner译文：强强联合：FluxBB 作者加盟 Flarum译者：justjavac
FluxBB 是一个快速、轻量级论坛软件，它的开发者是一名德国的 PHP 天才 Franz Liedke。FluxBB 的下一个版本(2.0)将被完全重写，并已经开发了一段时间。FluxBB 看起来非常有前途的，
    

    • 

  • java统计在线人数（session存储信息的）
macroli
javaWeb

    这篇日志是我写的第三次了 前两次都发布失败！郁闷极了！
 
由于在web开发中常常用到这一部分所以在此记录一下，呵呵，就到备忘录了！
我对于登录信息时使用session存储的，所以我这里是通过实现HttpSessionAttributeListener这个接口完成的。
1、实现接口类，在web.xml文件中配置监听类，从而可以使该类完成其工作。
public class Ses
    

    • 

  • bootstrp carousel初体验 快速构建图片播放
qiaolevip
每天进步一点点学习永无止境bootstrap纵观千象

    img{
border: 1px solid white;
box-shadow: 2px 2px 12px #333;
_width: expression(this.width > 600 ? "600px" : this.width + "px");
_height: expression(this.width &
    

    • 

  • SparkSQL读取HBase数据，通过自定义外部数据源
superlxw1234
sparksparksqlsparksql读取hbasesparksql外部数据源

    关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源
 
 
前面文章介绍了SparSQL通过Hive操作HBase表。
 
SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里基于Spark1.4.0，简单介绍SparkSQL自定义外部数据源，访
    

    • 

  • Spring Boot 1.3.0.M1发布
wiselyman
spring boot

        Spring Boot 1.3.0.M1于6.12日发布，现在可以从Spring milestone repository下载。这个版本是基于Spring Framework 4.2.0.RC1,并在Spring Boot 1.2之上提供了大量的新特性improvements and new features。主要包含以下：
 
1.提供一个新的sprin
    

    • 







[ICO]NameLast modifiedSizeDescription


[DIR]Parent Directory   -  


[   ]erlang-17.1-1.1.el7.centos.x86_64.rpm14-Aug-2014 16:08   16K