Python爬虫:bs4解析
html语法
什么是bs4
bs4安装
从bs4中查找数据的方法
bs4的基本使用
实例:使用bs4爬取优美图库图片
html语法
<标签 属性=“值” 属性=“值”>
被标记内容
什么是bs4
bs4全称:beautifulsoup4,可以解析和提取网页中的数据,但需要使用特定的一些语法
bs4安装
pip install bs4
从bs4中查找数据的方法
1.find(标签,属性=值) 查找一个
举例:find(“table”,id=“3”) 查找一个id=3的内容,相当于查找一个html中xxxxx
2.find_all(标签,属性=值) 和find用法一致,只是能够用于查找所有值。
bs4的基本使用
使用bs4对数据进行解析主要通过两个步骤
1.把页面源代码交给beautifulsoup进行处理,生成bs对象
page = BeautifulSoup(resp.text,“html.parser”)
html.parser用来指定html解析器,相当于告诉bs4我提供的内容就是属于html内容的。
2.从bs对象中查找数据
page.find("table",class_="hq_table")
由于class是python的关键词,如果想要查找class是html中的class关键词,bs4提供一种方式区分python关键字和html关键字:可以在class的后面加“_”。
同样可以采用另一种写法来区别关键字:
page.find("table",attrs={"class":"hq_table"})
3.拿取数据
使用.text获取数据字段
例如:name = tds[0].text
实例:使用bs4爬取优美图库图片
思路
1.拿到主页面的源代码,然后提取到子页面的链接地址href 在网页中查看源代码,先搜索关键词“黑白冷淡风欧美图片”,发现源代码中可以找到相应结果,说明该网页是属于服务器渲染。 2.通过href拿到子页面的内容,从子页面中找到图片的下载地址 通过上述的源代码,可以找到href定位到该图片的子页面 在子页面中查看源代码,发现该图片的下载地址(img -> src) 3.下载图片
代码
import requests
from bs4 import BeautifulSoup
import time
url = "https://www.umei.cc/weimeitupian/"
resp = requests. get ( url)
resp. encoding = 'utf-8' #处理乱码
#print ( resp. text)
#把源代码交给bs
main_page = BeautifulSoup ( resp. text, "html.parser" )
alist = main_page. find ( "div" , class_= "taotu-main" ) . find_all ( "a" )
#print ( alist)
for a in alist :
href = a. get ( 'href' ) #直接通过get 来获得属性为href的值
child_href = "https://www.umei.cc" + href
#print ( child_href)
#拿到子页面的源代码
child_page_resp = requests. get ( child_href)
child_page_resp. encoding = 'utf-8'
child_page_content = child_page_resp. text
#从子页面中获取下载路径
child_page = BeautifulSoup ( child_page_content, "html.parser" )
big_pic = child_page. find ( "div" , class_= "big-pic" )
img = big_pic. find ( "img" )
src = img. get ( "src" )
#print ( src)
child_page_resp. close ( )
#下载图片
img_resp = requests. get ( src)
#img_resp. content拿到的是字节
img_name = src. split ( "/" ) [ - 1 ] #拿到url最后一个/ 后的内容
with open ( "img/" + img_name, mode= "wb" ) as f :
f. write ( img_resp. content) #图片内容写入文件
print ( "over!" , img_name)
time. sleep ( 20 )
img_resp. close ( )
print ( "all over!" )
resp. close ( )
你可能感兴趣的:(爬虫,python,python,爬虫,学习)
小学数学案例及案例写法
会宁248南有亮
《用字母表示数》的起始课例重点都放在用字母表示一个数量和数量关系上。这是学生认知上的难点。对小学生来说,从具体事物的个数抽象出数是认识上的一个飞跃,现在由具体的、确定的数过渡到用字母表示抽象的、可变的数,更是认识上的一个飞跃。只有在充分让学生感受到用字母可以表示什么数,什么情形下用字母表示数,以及用字母能表示运算定律和计算公式的基础上,再学习用含字母的式子表示数量和数量关系,这样由易到难,便于学生
fluentd 简介,日志收集并导入BigQuery
nvd11
Cloud spring Etl spring boot
日志收集的工具有很多种例如Splunk,很多大公司都在使用,但是个人使用的话并不合适,主要是需要license的…钱是1个大问题另1个常见开源的解决方案是ELK,但是搭建和学习成本高,如果只是为了日志收集并不值。对于k8s方案,还有1个开源选择,就是fluentd,本文的主题。Fluentd的简介Fluentd是一个开源的数据收集器,旨在实现日志数据的统一收集、处理和转发。它支持多种数据源和数据格
2019.3.9隐喻与智慧
Humanni妮妮
从蒂姆营感受到了故事的神奇作用后开始了传家故事画下来,生活中的小事编故事,讲故事给孩子和学生听的经历……却渐感如果不练习不学习,故事讲解的方法、语气、感觉,会随着离开她们,这些“惯性”会离开,很久才能捡起来!于是,开始故事阅读,《一千年一夜》之前每天或者每两天开始阅读。唱故事Puff,明显是条无所不能的龙,但隐喻的应该是年轻时无所不能的父母;或者曾经无所不能的自己,童年的时候,Jackie长大后离
概率潜在语义分析(Probabilistic Latent Semantic Analysis,PLSA)—无监督学习方法、概率模型、生成模型、共现模型、非线性模型、参数化模型、批量学习
剑海风云
Artificial Intelligence 人工智能 机器学习 概率潜在语义分析 PLSA
定义输入:设单词集合为W={ω1,ω2,⋯ ,ωM}W=\{\omega_1,\omega_2,\cdots,\omega_M\}W={ω1,ω2,⋯,ωM},文本集合为D={d1,d2,⋯ ,dN}D=\{d_1,d_2,\cdots,d_N\}D={d1,d2,⋯,dN},话题集合为Z={z1,z2,⋯ ,zN}Z=\{z_1,z_2,\cdots,z_N\}Z={z1,z2,⋯,zN},共现
别问我为什么跪着,这样说话有底气!
文草乙
1、最近《都挺好》这么火,散落在民间的诗人纷纷走上街头,我也忍不住要赋诗一首:读完大二读大三,听闻学姐在搬砖;父母辛劳又心酸,努力学习为哪般。啊!为哪般!2、大哥摸膝盖那一段,男友表情五味成杂,看得我是满心欢喜哈哈哈。3、朋友们都在讨论朋友圈人设,我比较特立独行,在朋友圈我是个戏精,在微博我就是个逗比的戏精。4、重要的是生活需要一些仪式感,淋不淋雨的无所谓。5、本王微服私访结束,被臣子们接回王宫享
网站:5个不错的网站,你可能会喜欢
业余玩家
我是一个网站,软件收藏控,所有遇到过的好产品,都会不定期的在这里进行分享,希望各位小伙伴能够喜欢,这次的分享包括屏幕尺寸查询工具,电视直播,编程学习,图标,开源项目……屏幕尺寸大全http://so.uigreat.com/tools/devices/屏幕尺寸大全是一个查询手机,平板,PC,手表屏幕尺寸的网站,这里收集了各种不同型号设备的尺寸信息。2019-02-24-153501.png全球直播
温儒敏教授“金句”赏析
送柳音
--统编语文四至六年级教材国家级培训学习琐思2019年5月23日,在统编语文四至六年级教材国家级培训班上,温儒敏教授作了《语文课改读书为本——如何用好统编语文教材》的报告。幸得朋友网上所转温教授报告实录,学习后发现其中不乏“金句”,亦不乏“干货”,读之令人沉思。其中很多观点,我深表赞同。于是,本人不揣浅陋,摘取温教授发言中的一些话语,姑命之为“金句”,作了些个人化的赏析,期待以此深入研究语文教学问
花匠聊学习习惯 第3天——广泛的学习
花匠老师
在昨天的视频中我提到了古典老师的一个理念:Π型人才,那何为Π型人才呢?上面的一横代表多种能力,也就是我们平时说的一专多能中的多能,代表了无限的可能,而两竖就是两项突出的技能,代表了当下变现赚钱的能力。我们用郭德纲来举个例子吧,全国这么多说相声的,这么多曲艺团体,但是真正挣到钱的只有郭德纲一个人,为什么?郭德纲会逗哏,会捧哏,会太平歌词,会京韵大鼓,说学逗唱四门功课就没有他不行的,同时他还会主持节目
学习的方法
山河枕入梦
最好的学习是教别人所得的知识。这样可以掌握估计90%以上,而传统的自己学习,看书,最多吸收30%,且容易遗忘。听老师上课,和人讨论就更高效。如果实在只能一个人学习时,就输出所学知识,学会用自己的话转述出来,想象自己在教一个人。时间的新理解,深度思考的时间,和思考的深度对学习才是最重要的,不能浮在表面。学会提问式学习,列目标,并细致划分大小目标和时间界限。回溯所学知识,利用艾宾浩斯记忆曲线,不过这需
2018-05-17
浙江路人甲
【日精进打卡第46天】姓名:杜俊杰公司:浙江省东阳市东元食品有限公司【知~学习】诵读《大学》2遍,诵读《六项精进》大纲2遍,《活法》2节【经典名句分享】不奋斗,你的才华如何配上你的任性;不奋斗,你的脚步如何赶上父母老去的速度;不奋斗,世界那么大,你靠什么去看看。【行~实践】一、修身:(1)学习,朗读《活法》二、齐家:(1)晚上带娃三、建功:1.与领导沟通、交流学习方法事宜。{积善}:1.坚持每日一
由于篇幅和复杂性限制,我无法在这里直接为你提供一个完整的、用多种编程语言实现的购物商城代码。但是,我可以为你概述如何使用几种流行的编程语言(如Python, JavaScript/Node.js, J
NewmanEdwarda2
python javascript node.js
Python(后端,使用Flask或Django)Flask示例(后端API)gjijg.compythonfromflaskimportFlask,request,jsonifyapp=Flask(name)假设的数据库商品列表products=[{“id”:1,“name”:“苹果”,“price”:10.0},{“id”:2,“name”:“香蕉”,“price”:5.0},]@app.ro
小白转行新媒体运营|一个小白3个月的逆袭
270ec357564d
有很多人问,小白能不能转行新媒体运营?我就是一个彻头彻尾的小白,从服务行业转行新媒体运营,我想告诉大家没有经验不可以做新媒体运营!但是,我可以为之努力呀,我就是辞掉了得心应手的工作,投入到了新媒体运营的学习中,还运营了属于自己的公众号,最后成功转行了。下面我就和大家分享分享我一路走来都做了些什么吧~和我相似经历的人不多,我明白大多数想要转行的人的心情,所以我将从5个方面分享我的转行心路历程,内含超
由于篇幅限制,我无法为每种编程语言都提供一个完整的游戏商城代码,但我可以为你提供几种常见编程语言的示例代码片段或概念性指导。
NewmanEdwarda2
游戏
Python(使用Flask框架)yctsy.cnFlaskApp结构pythonfromflaskimportFlask,render_template,requestapp=Flask(name)假设有一个数据库或列表来存储商品games=[{“id”:1,“name”:“Game1”,“price”:9.99},#…其他游戏]@app.route(‘/’)defhome():returnre
由于生成一个完整的游戏商城代码涉及很多细节和复杂性,我无法在这里直接给出完整的代码示例。但是,我可以为你提供一个简化版的游戏商城核心功能的概念性代码,用几种不同的编程语言来展示。
NewmanEdwarda2
游戏
Python(伪代码)pythonclassGame:definit(self,name,price):tcjmbj.cnself.name=nameself.price=priceclassGameStore:definit(self):self.games=[]defadd_game(self,game):self.games.append(game)defbuy_game(self,game
深入解读《Python之禅》:用实战代码诠释Python编程哲学20240914
Narutolxy
Python笔记 技术干货分享 python 开发语言
深入解读《Python之禅》:用实战代码诠释Python编程哲学《Python之禅》(TheZenofPython)是Python语言的设计哲学,由TimPeters总结,包含了19条简洁而深刻的格言。当你在Python解释器中输入importthis时,这些格言便会展现在你的眼前。它们不仅仅是简单的句子,更是指导Python程序员编写优雅、简洁、可读代码的准则。本文将结合实际的最佳实践代码,逐条
蒋春娥 洛阳 网络六期 坚持分享第561天
悠悠的白云
向孩子学习正能量学习焦点以来最大的收获是学会了倾听,带来的好处就是可以收获很多快乐。大宝小的时候也很可爱,小嘴巴很甜,但是现在已经记不得他说的内容了。现在小宝说的话却有了几分刻意的留心观察,原来孩子真的是正能量满满的。爸爸帮他摘下一片书叶,他说,爸爸你好高哟,谢谢你帮我摘树叶,它闻起来好香哟!(其实是花的香味)妈妈帮他切水果,他说妈妈你切的真好,真能干。中午妈妈说别吹口琴了,吵死了!他说妈妈,出去
Java 基于 SpringBoot+vue 的大学生科创项目在线管理系统(附源码)
程序员徐师兄
java spring boot vue.js 大学生科创项目管理系统 大学生科创项目
博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w+、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文末获取源码联系精彩专栏推荐订阅不然下次找不到哟2022-2024年最全的计算机软件毕业设计选题大全:1000个热门选题推荐✅Java项目精品实战案例《100套》Java微信小程序项目实战《100套》Python项目实战《100套》
网课逼疯了一群人
灯火两岸
受疫情的影响学生党们延迟开学,开始听到消息一个个开心的想上天,学校的对策随机应变,停课不停学,在家上网课。老师当起了主播,学生上起了网课,一开始都兴致勃勃,来,跟我一起看看这道题,会的同学举举手,一天后兴趣减退,直播间人数减半,急得主播老师团团转。其实最烦的还是家长早已厌恶至极了好吃懒做的娃娃,不仅管吃管喝还得看着他学习,一会儿这个通知,一会儿下那个软件,整个人的原地爆炸!啊,这该死的网课,这该死
一篇文章带你彻底弄懂大模型——掌握基本概念,领先别人一步!
努力的光头强
transformer 职场和发展 深度学习 人工智能 langchain
大模型是指具有大规模参数和复杂计算结构的机器学习模型。本文从大模型的基本概念出发,对大模型领域容易混淆的相关概念进行区分,并就大模型的发展历程、特点和分类、泛化与微调进行了详细解读,供大家在了解大模型基本知识的过程中起到一定参考作用。本文目录如下:·大模型的定义·大模型相关概念区分·大模型的发展历程·大模型的特点·大模型的分类·大模型的泛化与微调1.大模型的定义大模型是指具有大规模参数和复杂计算结
英语语法学习:非谓语动词&过去分词的形式练习!
树先生本人
一、过去分词的变化规则1.规则变化(规则动词的变化规则)规则动词的过去分词与过去式变化规则一致:(1)一般而言,在动词原形后直接加-ed.(2)以字母e结尾的动词,直接加-d.(3)以辅音字母加-y结尾的动词,变y为i,再加-ed.(4)以重读闭音节(辅音+元音+辅音)形式结尾的动词,双写末尾的辅音字母,再加-ed.2.不规则变化(不规则动词的变化规则)过去分词的不规则变化,可以和过去式的不规则变
【Python】解决Python报错:AttributeError: ‘str‘ object has no attribute ‘xxx‘
I'mAlex
python 开发语言
成功解决Python报错:AttributeError:‘str‘objecthasnoattribute‘xxx‘。AttributeError:'str'objecthasnoattribute'xxx'错误发生的常见原因包括:1.属性不存在:尝试访问字符串类型对象中不存在的属性。2.变量类型混淆:试图访问的变量在程序运行过程中,本应是另一种对象类型,但却意外地变成了str类型。3.类型转换错
刘航瑞的小生活
吴霞1988
刘航瑞是个性格超级外向的孩子,善于与人相处,进入任何环境中他都可以不胆怯从容面对,记得刘航瑞出生时,他是个很安静的孩子,由于他的爸爸非常爱他(其实每个父母都是很爱孩子的)从刘航瑞1岁后他爸爸每次出差或者学习什么的都尽可能带上他,尽可能去陪伴他,看多了听多了懂的自然也多了,古人云:读万卷书去不如行万里路。他从小到现在都属于那种喜欢舞台的孩子,其实对于这块他的成长我和他爸爸的心德就是鼓励他与激励他,每
学习中华传统文化与身心健康讲座第八集感悟
8feeff7bc6bc
孝敬父母,天经地义,百善孝为先,一个孝字全家安从小就听老人讲过!自认为对待父母长辈还算孝敬!尽量让老人晚年幸福,尽量完成老人心愿,老人的牵挂我都一一解决,让老人高兴经常夸奖,可是听完老师讲课我还远远不够啊!母亲十月怀胎,忍受痛苦把我生下来,那个年代吃不饱饭!我们还要吃她的奶水!吃那么多1400多斤!母亲是用爱把我抚养长大!我做这么点事简直就是九牛一毛!有时还跟她大吼大叫!哥兄弟吵架让她老人家心多难
知行易难,万事开头难,难在前,后面的发展才会容易才会越来越好。
小知悦读站
原文分享:子曰:“文,莫吾犹人也。躬行君子,则吾未之有得。”今天我们继续学习《述而篇·33》,我将分享以下3点收获:第一点:孔子联系自身谈知易行难的问题,他说在做学问方面他和大家一样,但是在身体力行做君子方面,他还没有做到。其实孔夫子这里是谦逊了,你想,他周游列国,弘扬儒家思想,不就是在做表率,已经是知行合一了。都知道说容易,做起来难,我们将目标分解,一点点来。第二点:好习惯需三年,坏习惯只需三分
网络学习-eNSP配置VRRP
丢爸
网络 Linux 网络 学习
虚拟路由冗余协议(VirtualRouterRedundancyProtocol,简称VRRP)VRRP广泛应用在边缘网络中,是一种路由冗余协议,它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱,允许主机使用单路由器,以及即使在实际第一跳路由器使用失败的情形下仍能够维护路由器间的连通性。#配置三层交换机和路由器IP,实现PC1与PC2的通信#---------------------1
【Python技术学习】- 如何搭建一个爬虫代理服务?
xiaoli8748_软件开发
python技术学习 python 学习 爬虫
由于之前一直在做爬虫采集相关的开发,这个过程那肯定少不了跟「代理IP」打交道,这篇文章就来记录一下,如何实现一个爬虫代理服务,本篇文章主要以讲解思路为主。起因做过爬虫的人应该都知道,抓的网站和数据多了,如果爬虫抓取速度过快,免不了触发网站的防爬机制。而这些网站应对爬虫的办法,几乎用的同一招就是封IP。那么我们还想稳定、持续地抓取这些网站的数据,如何解决呢?一般解决方案有2个:使用同一个服务器IP抓
#育人宝贝教师百日行动派#day26
Allian_8e9b
每日5000步√今日所读《3-6岁儿童学习与发展指南》4-5岁幼儿的发展指标1.能自己穿脱衣服、鞋袜、扣纽扣4-5岁的幼儿生活自理能力逐步提高,注意力集中了,集中精力从事某些活动的时间比以前延长了。2.能整理自己的物品4-5岁幼儿已经能够将脱下来的衣服叠放整齐。图片发自App图片发自App图片发自App图片发自App
日记99||开学了
孩子头头儿
今天,终于开学了!接到复学的通知时,已经是昨天晚上十点多了,我就赶紧转发通知到家长群里,并告知大家需要准备的相关资料,因为疫情,健康码,行程码,核酸检测结果,这些都是必须提前在手机中截图发给我的,并且要逐一审核,最后上交学校!家长们的速度很快,也都非常配合,毕竟每个人都希望疫情快点结束,让每个孩子都能恢复正常的学习生活,再怎么说,孩子在家上课,也真的不是那么一回事儿!在学校上课,有老师的适当督促与
python底层原理讲解_python底层原理
空蝉于是
python底层原理讲解
有同学问到了一个问题,python中存储变量是通过内存地址来存储,那么python又是如何去判断内存中的地址是什么数据类型的呢。经过查找,找到这篇文章:原博客地址:http://www.cnblogs.com/aashui/p/9871009.html1.Python是如何进行内存管理的?答:从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使
我们终其一生的追求,就是成为自己。
营销文案教练梅兰香
#和自己灵魂对话#我们终其一生,就是要摆脱他人的期待,成为自己。以前,在公众场合说句话都会脸红,更不懂得去推广自己,因为从小的教育里都是要内敛低调,不到30岁的我却处处小心,谨小慎微。后来,我学习了演讲,我学习了真实的表达自己,推销自己,慢慢的活出自己,这一路我都在寻找那个丢失的“我”接大哥的电话,他说“听说你加入到一个平台,经常去上海,还是要脚踏实地,一步一个脚印,不要追求什么一步登天的方法”挂
多线程编程之卫生间
周凡杨
java 并发 卫生间 线程 厕所
如大家所知,火车上车厢的卫生间很小,每次只能容纳一个人,一个车厢只有一个卫生间,这个卫生间会被多个人同时使用,在实际使用时,当一个人进入卫生间时则会把卫生间锁上,等出来时打开门,下一个人进去把门锁上,如果有一个人在卫生间内部则别人的人发现门是锁的则只能在外面等待。问题分析:首先问题中有两个实体,一个是人,一个是厕所,所以设计程序时就可以设计两个类。人是多数的,厕所只有一个(暂且模拟的是一个车厢)。
How to Install GUI to Centos Minimal
sunjing
linux Install Desktop GUI
http://www.namhuy.net/475/how-to-install-gui-to-centos-minimal.html
I have centos 6.3 minimal running as web server. I’m looking to install gui to my server to vnc to my server. You can insta
Shell 函数
daizj
shell 函数
Shell 函数
linux shell 可以用户定义函数,然后在shell脚本中可以随便调用。
shell中函数的定义格式如下:
[function] funname [()]{
action;
[return int;]
}
说明:
1、可以带function fun() 定义,也可以直接fun() 定义,不带任何参数。
2、参数返回
Linux服务器新手操作之一
周凡杨
Linux 简单 操作
1.whoami
当一个用户登录Linux系统之后,也许他想知道自己是发哪个用户登录的。
此时可以使用whoami命令。
[ecuser@HA5-DZ05 ~]$ whoami
e
浅谈Socket通信(一)
朱辉辉33
socket
在java中ServerSocket用于服务器端,用来监听端口。通过服务器监听,客户端发送请求,双方建立链接后才能通信。当服务器和客户端建立链接后,两边都会产生一个Socket实例,我们可以通过操作Socket来建立通信。
首先我建立一个ServerSocket对象。当然要导入java.net.ServerSocket包
ServerSock
关于框架的简单认识
西蜀石兰
框架
入职两个月多,依然是一个不会写代码的小白,每天的工作就是看代码,写wiki。
前端接触CSS、HTML、JS等语言,一直在用的CS模型,自然免不了数据库的链接及使用,真心涉及框架,项目中用到的BootStrap算一个吧,哦,JQuery只能算半个框架吧,我更觉得它是另外一种语言。
后台一直是纯Java代码,涉及的框架是Quzrtz和log4j。
都说学前端的要知道三大框架,目前node.
You have an error in your SQL syntax; check the manual that corresponds to your
林鹤霄
You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option,changed_ids ) values('0ac91f167f754c8cbac00e9e3dc372
MySQL5.6的my.ini配置
aigo
mysql
注意:以下配置的服务器硬件是:8核16G内存
[client]
port=3306
[mysql]
default-character-set=utf8
[mysqld]
port=3306
basedir=D:/mysql-5.6.21-win
mysql 全文模糊查找 便捷解决方案
alxw4616
mysql
mysql 全文模糊查找 便捷解决方案
2013/6/14 by 半仙
[email protected]
目的: 项目需求实现模糊查找.
原则: 查询不能超过 1秒.
问题: 目标表中有超过1千万条记录. 使用like '%str%' 进行模糊查询无法达到性能需求.
解决方案: 使用mysql全文索引.
1.全文索引 : MySQL支持全文索引和搜索功能。MySQL中的全文索
自定义数据结构 链表(单项 ,双向,环形)
百合不是茶
单项链表 双向链表
链表与动态数组的实现方式差不多, 数组适合快速删除某个元素 链表则可以快速的保存数组并且可以是不连续的
单项链表;数据从第一个指向最后一个
实现代码:
//定义动态链表
clas
threadLocal实例
bijian1013
java thread java多线程 threadLocal
实例1:
package com.bijian.thread;
public class MyThread extends Thread {
private static ThreadLocal tl = new ThreadLocal() {
protected synchronized Object initialValue() {
return new Inte
activemq安全设置—设置admin的用户名和密码
bijian1013
java activemq
ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件,找到
<bean id="adminSecurityConstraint" class="org.eclipse.jetty.util.security.Constraint">
<p
【Java范型一】Java范型详解之范型集合和自定义范型类
bit1129
java
本文详细介绍Java的范型,写一篇关于范型的博客原因有两个,前几天要写个范型方法(返回值根据传入的类型而定),竟然想了半天,最后还是从网上找了个范型方法的写法;再者,前一段时间在看Gson, Gson这个JSON包的精华就在于对范型的优雅简单的处理,看它的源代码就比较迷糊,只其然不知其所以然。所以,还是花点时间系统的整理总结下范型吧。
范型内容
范型集合类
范型类
【HBase十二】HFile存储的是一个列族的数据
bit1129
hbase
在HBase中,每个HFile存储的是一个表中一个列族的数据,也就是说,当一个表中有多个列簇时,针对每个列簇插入数据,最后产生的数据是多个HFile,每个对应一个列族,通过如下操作验证
1. 建立一个有两个列族的表
create 'members','colfam1','colfam2'
2. 在members表中的colfam1中插入50*5
Nginx 官方一个配置实例
ronin47
nginx 配置实例
user www www;
worker_processes 5;
error_log logs/error.log;
pid logs/nginx.pid;
worker_rlimit_nofile 8192;
events {
worker_connections 4096;}
http {
include conf/mim
java-15.输入一颗二元查找树,将该树转换为它的镜像, 即在转换后的二元查找树中,左子树的结点都大于右子树的结点。 用递归和循环
bylijinnan
java
//use recursion
public static void mirrorHelp1(Node node){
if(node==null)return;
swapChild(node);
mirrorHelp1(node.getLeft());
mirrorHelp1(node.getRight());
}
//use no recursion bu
返回null还是empty
bylijinnan
java apache spring 编程
第一个问题,函数是应当返回null还是长度为0的数组(或集合)?
第二个问题,函数输入参数不当时,是异常还是返回null?
先看第一个问题
有两个约定我觉得应当遵守:
1.返回零长度的数组或集合而不是null(详见《Effective Java》)
理由就是,如果返回empty,就可以少了很多not-null判断:
List<Person> list
[科技与项目]工作流厂商的战略机遇期
comsci
工作流
在新的战略平衡形成之前,这里有一个短暂的战略机遇期,只有大概最短6年,最长14年的时间,这段时间就好像我们森林里面的小动物,在秋天中,必须抓紧一切时间存储坚果一样,否则无法熬过漫长的冬季。。。。
在微软,甲骨文,谷歌,IBM,SONY
过度设计-举例
cuityang
过度设计
过度设计,需要更多设计时间和测试成本,如无必要,还是尽量简洁一些好。
未来的事情,比如 访问量,比如数据库的容量,比如是否需要改成分布式 都是无法预料的
再举一个例子,对闰年的判断逻辑:
1、 if($Year%4==0) return True; else return Fasle;
2、if ( ($Year%4==0 &am
java进阶,《Java性能优化权威指南》试读
darkblue086
java性能优化
记得当年随意读了微软出版社的.NET 2.0应用程序调试,才发现调试器如此强大,应用程序开发调试其实真的简单了很多,不仅仅是因为里面介绍了很多调试器工具的使用,更是因为里面寻找问题并重现问题的思想让我震撼,时隔多年,Java已经如日中天,成为许多大型企业应用的首选,而今天,这本《Java性能优化权威指南》让我再次找到了这种感觉,从不经意的开发过程让我刮目相看,原来性能调优不是简单地看看热点在哪里,
网络学习笔记初识OSI七层模型与TCP协议
dcj3sjt126com
学习笔记
协议:在计算机网络中通信各方面所达成的、共同遵守和执行的一系列约定 计算机网络的体系结构:计算机网络的层次结构和各层协议的集合。 两类服务: 面向连接的服务通信双方在通信之前先建立某种状态,并在通信过程中维持这种状态的变化,同时为服务对象预先分配一定的资源。这种服务叫做面向连接的服务。 面向无连接的服务通信双方在通信前后不建立和维持状态,不为服务对象
mac中用命令行运行mysql
dcj3sjt126com
mysql linux mac
参考这篇博客:http://www.cnblogs.com/macro-cheng/archive/2011/10/25/mysql-001.html 感觉workbench不好用(有点先入为主了)。
1,安装mysql
在mysql的官方网站下载 mysql 5.5.23 http://www.mysql.com/downloads/mysql/,根据我的机器的配置情况选择了64
MongDB查询(1)——基本查询[五]
eksliang
mongodb mongodb 查询 mongodb find
MongDB查询
转载请出自出处:http://eksliang.iteye.com/blog/2174452 一、find简介
MongoDB中使用find来进行查询。
API:如下
function ( query , fields , limit , skip, batchSize, options ){.....}
参数含义:
query:查询参数
fie
base64,加密解密 经融加密,对接
y806839048
经融加密 对接
String data0 = new String(Base64.encode(bo.getPaymentResult().getBytes(("GBK"))));
String data1 = new String(Base64.decode(data0.toCharArray()),"GBK");
// 注意编码格式,注意用于加密,解密的要是同
JavaWeb之JSP概述
ihuning
javaweb
什么是JSP?为什么使用JSP?
JSP表示Java Server Page,即嵌有Java代码的HTML页面。使用JSP是因为在HTML中嵌入Java代码比在Java代码中拼接字符串更容易、更方便和更高效。
JSP起源
在很多动态网页中,绝大部分内容都是固定不变的,只有局部内容需要动态产生和改变。
如果使用Servl
apple watch 指南
啸笑天
apple
1. 文档
WatchKit Programming Guide(中译在线版 By @CocoaChina) 译文 译者 原文 概览 - 开始为 Apple Watch 进行开发 @星夜暮晨 Overview - Developing for Apple Watch 概览 - 配置 Xcode 项目 - Overview - Configuring Yo
java经典的基础题目
macroli
java 编程
1.列举出 10个JAVA语言的优势 a:免费,开源,跨平台(平台独立性),简单易用,功能完善,面向对象,健壮性,多线程,结构中立,企业应用的成熟平台, 无线应用 2.列举出JAVA中10个面向对象编程的术语 a:包,类,接口,对象,属性,方法,构造器,继承,封装,多态,抽象,范型 3.列举出JAVA中6个比较常用的包 Java.lang;java.util;java.io;java.sql;ja
你所不知道神奇的js replace正则表达式
qiaolevip
每天进步一点点 学习永无止境 纵观千象 regex
var v = 'C9CFBAA3CAD0';
console.log(v);
var arr = v.split('');
for (var i = 0; i < arr.length; i ++) {
if (i % 2 == 0) arr[i] = '%' + arr[i];
}
console.log(arr.join(''));
console.log(v.r
[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
superlxw1234
hive hive分析表 hive统计信息 hive Statistics
关键字:Hive统计信息、分析Hive表、Hive Statistics
类似于Oracle的分析表,Hive中也提供了分析表和分区的功能,通过自动和手动分析Hive表,将Hive表的一些统计信息存储到元数据中。
表和分区的统计信息主要包括:行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等;
14.1 新表的统计信息
对于一个新创建
Spring Boot 1.2.5 发布
wiselyman
spring boot
Spring Boot 1.2.5已在7月2日发布,现在可以从spring的maven库和maven中心库下载。
这个版本是一个维护的发布版,主要是一些修复以及将Spring的依赖提升至4.1.7(包含重要的安全修复)。
官方建议所有的Spring Boot用户升级这个版本。
项目首页 | 源