目标是爬取2000年到2016年的电影,并进行数据分析。
本文适合新手
下面以2016年的电影为例:
这是我们需要爬取的网页链接:
https://movie.douban.com/tag/2016
进入网页
按Fn+F12,我们就能看到:
通过正则表达式解析获取数据:
pattern = re.compile('.*?>(.*?).*?class="pl">(.*?)'
+ '.*?(.*?).*?class="pl">(.*?)', re.S)
items = re.findall(pattern, html)
实现循环翻页
我们可以发现
第一页的网址为:https://movie.douban.com/tag/2016?start=0&type=T
第二页的网址为:https://movie.douban.com/tag/2016?start=20&type=T
第三页的网址为:https://movie.douban.com/tag/2016?start=40&type=T
……
=.= 得到规律,跳转到下一页只需将start加20;
代码如下:
def main(start):
url = 'https://movie.douban.com/tag/2007?start='+str(start)+'&type=T'
html = get_one_page(url)
if __name__ == '__main__':
for i in range(196):
main(i*20)
range中的数即为页数。
写入文档
利用json.dumps()将dict转化成str格式。
def write_to_file(content):
with open('2007.txt', 'a', encoding='utf-8') as f:
f.write(json.dumps(content, ensure_ascii=False) + '\n')
源代码
import requests
from requests.exceptions import RequestException
import re
import json
def get_one_page(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None
def parse_one_page(html):
pattern = re.compile('.*?>(.*?).*?class="pl">(.*?)'
+ '.*?(.*?).*?class="pl">(.*?)', re.S)
items = re.findall(pattern, html)
for item in items:
yield {
'title': item[0].split("/")[0],
'time': item[1].split("/")[0],
'actor': item[1].split("/")[1:],
'average': item[2],
'content': item[3],
}
def write_to_file(content):
with open('2016.txt', 'a', encoding='utf-8') as f:
f.write(json.dumps(content, ensure_ascii=False) + '\n')
f.close()
def main(start):
url = 'https://movie.douban.com/tag/2016?start='+str(start)+'&type=T'
html = get_one_page(url)
for item in parse_one_page(html):
print(item)
write_to_file(item)
if __name__ == '__main__':
for i in range(84, 194):
main(i*20)
记事本如图:
接着把2000年到2015年的数据都爬取下来。
嗯。方法很蠢。
把记事本中的文字导入excel
发挥自己强大的excel技能你就能得到
数据分析
我在excel里制作了图表。
我们可以得到2000年以来,电影数量逐年递增,电影质量却呈现下降的趋势,评价人数则上下波动。
进行筛选还可以得到高分热评电影,高分冷门电影……
再也不用纠结周末要看什么电影啦[捂脸]
参考视频:https://edu.hellobi.com/course/156/play/lesson/2453
你可能感兴趣的:(Python3爬取豆瓣电影)
- 大模型的webui
Zain Lau
人工智能python昇腾Ascend天数
exportXXX_LLM_C=~/xcore-llm/build/ReleaseexportCUDA_VISIBLE_DEVICES=2,3exportCUDACXX=/usr/local/cuda-12.3/bin/nvccnohup/usr/bin/python3/home/src/api_server/api_server.py--modelLLama2:7b-chat-hf_A800--
- Python 爬取大量数据如何并发抓取与性能优化
chusheng1840
Python教程python性能优化开发语言
Python并发抓取与性能优化在进行网络爬虫开发时,爬取大量数据可能非常耗时。尤其是在处理许多网页或API请求时,逐个请求速度会非常慢。为了解决这个问题,我们可以通过并发抓取提高爬取效率。同时,通过性能优化来进一步减少耗时和资源占用,使爬虫更高效。本篇文章将带大家了解Python中常用的并发抓取方法,并介绍如何进行性能优化。1.并发抓取的基本概念并发抓取指的是同时发出多个请求的技术,而不是顺序地等
- Conda报错解决:ProxyError: Conda cannot proceed due to an error in your proxy configuration.
三采
LinuxConda代理
目录原因一:源配置有误原因二:代理配置有误原因三:路由配置有误在需要使用代理的服务器下,创建新conda环境时报错:condacreate-nopencompasspython=3.8/usr/lib/python3/dist-packages/requests/__init__.py:89:RequestsDependencyWarning:urllib3(1.26.9)orchardet(3.
- selenium+pyquery爬取《鱿鱼游戏》评论2000+条
铁憨憨0304
python爬虫seleniumpython测试工具
IMDB网址爬取《鱿鱼游戏》的全部评论评论排名评论标题id评论时间评论内容导入所需要的包selenium:模拟浏览器,这里使用的是Edge浏览器,需要安装Edge浏览器驱动解析库:PyQuery保存数据:pandas,保存为csv文件fromseleniumimportwebdriverfromselenium.webdriver.support.uiimportWebDriverWaitfrom
- 爬取电影标题、评论、评分(21-11-4)
穆桥
Python爬虫XPath解析MySQL数据库电影信息疾病数据
功能描述:1、爬取网页1中的电影名称、评分、简介到mysql数据库中。2、爬取网页2中的标题、时间、正文、采集时间到mysql数据库中。使用的技术:requests请求、xpath解析、mysqlxpath解析语法//子孙节点/直接子节点.选取当前节点…选取当前节点的父节点@选取属性通过Python的lxml库,利用XPath进行HTML的解析。scrapy封装了lxml也可以导入scrapy任务
- Python 爬虫实战:电影评论数据抓取与自然语言处理
西攻城狮北
python爬虫开发语言
引言作为一名对电影数据和自然语言处理感兴趣的内容创作者,我决定利用Python爬虫技术抓取IMDb上的电影评论数据,并进行自然语言处理分析。这不仅可以帮助我们了解观众对电影的反馈,还能为电影制作方提供有价值的参考。一、项目背景IMDb(互联网电影数据库)是全球最大的电影数据库,用户可以在上面查看电影信息和用户评论。本项目旨在爬取IMDb上的电影评论,并对评论进行自然语言处理(NLP),以提取情感、
- 使用Python爬取豆瓣用户信息:从入门到实战
Python爬虫项目
2025年爬虫实战项目python开发语言人工智能爬虫大数据
引言豆瓣作为一个知名的社交平台,拥有丰富的用户信息。对于数据分析师、研究人员或普通用户来说,获取豆瓣用户信息具有重要的价值。本文将详细介绍如何使用Python及其相关库来爬取豆瓣用户信息,并展示如何利用最新的技术手段来实现这一目标。1.准备工作在开始编写爬虫之前,我们需要准备一些工具和环境:Python3.x:确保你已经安装了Python3.x版本。Requests库:用于发送HTTP请求。Bea
- Python 爬虫实战:国际航班数据抓取与全球航班网络分析
西攻城狮北
python爬虫开发语言
一、引言随着全球化的加速,国际航班网络已成为现代交通体系的重要组成部分。通过分析国际航班数据,我们可以深入了解全球航空枢纽、热门航线以及航班流量的变化趋势。本文将介绍如何通过爬取国际航班数据,分析全球航班网络的情况,并给出实现爬虫和数据分析的详细过程及代码。二、项目背景与目标2.1项目背景航空交通是全球经济和旅游业的核心部分,了解全球航班网络有助于掌握各大航空公司之间的竞争格局、全球机场的枢纽作用
- Python史上最强工具书——《Python编程 从入门到实践》,允许白嫖
编程咕咕gu-
Python教程pythonPython基础开发语言Python书籍
今天给大家推荐一本超级适合自学的Python的工具书——《Python编程从入门到实践》。非常的适合零基础的小白来学习!备受业内人士推崇,豆瓣评分高达9.1!这本书分为两个部分:第一部分介绍了编程环境的搭建和Python编程所必须了解的基本概念;第二部分介绍了三个具体项目:分别是射击游戏、数据可视化、小型Web应用程序。部分内容截图:上面的学习教程资料已经是给大家整理打包完毕了,需要的可以直接带走
- 不知道天气咋样?一起用Python爬取天气数据分析告诉你
Dragon少年
Pythonpython爬虫图表可视化
前言今天我们分享一个小案例,获取天气数据,进行可视化分析,带你直观了解天气情况!一、核心功能设计总体来说,我们需要先对中国天气网中的天气数据进行爬取,保存为csv文件,并将这些数据进行可视化分析展示。拆解需求,大致可以整理出我们需要分为以下几步完成:通过爬虫获取中国天气网7.20-7.21的降雨数据,包括城市,风力方向,风级,降水量,相对湿度,空气质量。对获取的天气数据进行预处理,分析河南的风力等
- Python 潮流周刊#93:为什么“if not list”比len()快2倍?(摘要)
python
本周刊由Python猫出品,精心筛选国内外的250+信息源,为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景:帮助所有读者精进Python技术,并增长职业和副业的收入。分享了12篇文章,12个开源项目以下是本期摘要:文章&教程①为什么Python中'ifnotlist'比len()快2倍?②掌握Python单体代码库③Python3.14尾调用解释器的性能④Py
- Python爬虫相关内容
猫猫头有亿点炸
python爬虫开发语言
一、打开源代码的方式鉴于时间过很久后我们可能会忘记的源代码位置所以写下以下文章便于实时查看:一般有两种方法打开源代码:第一是f12第二右键查看网页源代码二、特殊情况第三种情况当你用爬虫爬取内容的时候可能用xpath还是匹配不到任何结果因为页面可能会自动刷新所以使用xpath的时候匹配不到任何内容查找源代码的示例图片三、解决办法这个时候你可以先->f12(笔记本电脑fn+f12)再->ctrl+sh
- vs2019 Qt C++中调用python代码
路奇怪
VisualStudioqtc++
目录1.添加依赖库,.lib,include2.修改python.h文件3.环境搭建好了下面是测试代码部分4.如果按照面上走可能会出现的问题:5.Qt+vs+python6.说一下这里调py的主要步骤借鉴几位大佬(吐槽一下各种坑啊)混合编程之——C++调用python2.7&python3.5-CSDN博客c++调用python(复杂版)_c++调用python复杂库-CSDN博客环境配置:1.添
- 鑫云科技高性能万兆光纤共享存储------剪辑师们的“福音”
湖边野鹤
音视频图像处理图形渲染实时音视频
4K剪辑卡顿?可能是存储拖了后腿?林宇是个怀揣着导演梦的年轻人,大学毕业后,便一头扎进了影视剪辑的世界。他的剪辑技术在圈内小有名气,可最近,他却被一个问题折磨得焦头烂额。这天,林宇接到了一个重要项目,为一部4K电影预告片做剪辑。他信心满满地坐在电脑前,打开那配置不菲的工作站,导入素材,准备大显身手。然而,刚一开始剪辑,问题就接踵而至。每一次拖动时间轴,电脑都像是老牛拉破车,卡顿得厉害。原本流畅的剪
- Development Problems Based On PyTorch
woxiwangxuehaocpp
pytorch深度学习人工智能
问题解决RuntimeError:unabletowritetofile:Nospaceleftondevice(28)问题描述:Traceback(mostrecentcalllast):File"/opt/conda/lib/python3.10/multiprocessing/queues.py",line244,in_feedobj=_ForkingPickler.dumps(obj)Fi
- 【python error】cannot import name ‘TorchDispatchMode‘ from ‘torch.utils._python_dispatch‘
Eternal-Student
JetsonOrinNXPythonpython开发语言
报错:cannotimportname‘TorchDispatchMode’from‘torch.utils._python_dispatch’(/home/nvidia/.conda/envs/pytorch/lib/python3.8/site-packages/torch/utils/_python_dispatch.py)File“/media/nvidia/Ubuntu/xxxxx/ev
- 一个完整的python webSockets游戏服务器,每100ms接收并广播玩家位置
小宝哥Code
Python基础及AI开发python游戏服务器
PythonWebSockets游戏服务器下面是一个完整的PythonWebSockets游戏服务器实现,它每100ms接收并广播玩家位置信息。这个服务器使用websockets和asyncio库来处理WebSocket连接和异步操作。完整代码#!/usr/bin/envpython3"""实时游戏位置广播服务器每100ms接收玩家位置并广播给所有连接的客户端"""importasyncioimp
- [python多版本管理] pyenv-win 详细安装和使用
java我跟你拼了
其他python开发语言多版本管理
文章目录第一种安装方式介绍pyenv快速启动pyenv-win命令验证安装手动检查设置使用如何更新pyenvAnnouncements第二种安装方式安装pyenv-win配置环境变量安装Python版本切换Python版本查看已安装版本创建虚拟环境(可选)Python常用的版本Python3.x系列关于Python2.x系列总结第一种安装方式介绍python的[pyenv][1]是一个很好的工具,
- Ubuntu上搭建虚拟环境
字节熊猫
ubuntulinux运维python
环境搭建1.安装pipaptinstallpython3-pip2.安装虚拟环境命令pip安装可能超时,可以使用一下国内镜像阿里云http://mirrors.aliyun.com/pypi/simple/中国科技大学https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban)http://pypi.douban.com/simple/清华大学https:/
- Python之项目课
稍微认真一点
python数据库开发语言
1.项目准备1.1.项目创建此处省略一万字...1.2.项目目标创建数据库movie并设置编码格式,并完成t_user(用户信息表)、t_movie(电影信息表)的创建任务;完成用户登录功能,登录成功之后跳转到电影主界面;完成电影排行榜和关键字电影查询功能;完成电影信息图表统计(选作)1.3.项目结构dao |--__init__.py |--movie_dao.py #电影dao层接口类 |
- 链接·分享·直达:盘盘社区重新定义资源获取
qq_30722355
影视分享资源论坛夸克分享影视论坛
《资源猎人的影视天堂:盘盘社区-海量影视资源一站式分享》盘盘社区https://www.panpan.su/-你的专属影视资源宝库!亲爱的影视爱好者们,在这个信息爆炸的时代,找到优质的影视资源已经成为一种艺术。盘盘社区应运而生,致力于为你提供最全面、最便捷的影视资源分享平台!我们的优势:1.资源全面覆盖-最新热门电影-国内外经典电视剧-动漫新番&经典动画-独家资源首发2.多网盘支持-阿里网盘-夸克
- janeczku / calibre-web忘记密码 命令行重置密码
慌雨
前端linux运维
根据博客https://blog.csdn.net/gaoxiangfei/article/details/137070897但一直报错:Passworddoesn’tcomplywithpasswordvalidationrules进入容器:dockerexec-itcontainer_id/bin/bash直到我尝试这样的方式:root@782e4226f457:/#python3/app/c
- 2025年Python后端开发指南:从基础到云原生实践
ctrl_cv工程师¥
云原生djangoflaskpycharm
在2025年,Python后端开发已全面进入云原生与智能化时代。开发者不仅需要掌握传统后端技术栈,还需融合容器化、AI辅助编程等新兴技术。本文基于行业最新趋势与最佳实践,系统梳理Python后端开发的核心要点与进阶方向,涵盖开发环境、架构设计、性能优化等关键领域。一、开发环境与工具链1.环境配置标准化Python版本:推荐Python3.12+,支持模式匹配(PatternMatching)和更优
- python语言写的一款pdf转word、word转pdf的免费工具
典龙330
pdfword
Word与PDF文件转换工具这是一个简单的Web应用程序,允许用户将Word文档转换为PDF文件,或将PDF文件转换为Word文档。功能特点-Word(.docx)转换为PDF-PDF转换为Word(.docx)-简单易用的Web界面-即时转换和下载-详细的错误处理和日志记录安装要求-Python3.7或更高版本-依赖库(见requirements.txt)-对于Word到PDF的转换,建议安装L
- SEO 优化
前端岳大宝
前端核心知识总结前端html
以下是SEO(搜索引擎优化)的基础知识点梳理,从前端技术、内容策略到搜索引擎原理,覆盖核心优化方向:一、SEO基础概念定义与目标SEO是通过优化网站结构、内容和技术,提升网站在搜索引擎自然搜索结果中的排名,吸引更多免费流量。核心目标:满足用户搜索意图,同时符合搜索引擎爬虫的抓取规则。搜索引擎工作原理爬取(Crawling):搜索引擎蜘蛛(如Googlebot)抓取网页内容。索引(Indexing)
- tksheet:强大的Python Tkinter表格组件
江连日Silver
tksheet:强大的PythonTkinter表格组件tksheetPython3.6+tkintertablewidgetfordisplayingtabulardata项目地址:https://gitcode.com/gh_mirrors/tk/tksheet项目基础介绍与编程语言tksheet是一个基于Python的Tkinter库开发的高性能表格控件,专为展示和编辑大量的tabular数
- 【Python安装】2024年最新下载安装教程!详细步骤,有这一篇就够了!!!
「已注销」
python开发语言
(点击领取Python安装包+学习资料)Python安装说明1.访问Python官网首先,访问Python的官方网站:WelcometoPython.org。2.下载Python安装程序在官网首页,找到“Downloads”部分。根据你的操作系统(Windows,macOS,Linux等)选择合适的版本下载。对于大多数用户,推荐下载最新版本的Python3.x(例如Python3.9或更高版本)。
- Python爬虫教程:如何通过接口批量下载视频封面(FFmpeg技术实现)
Python爬虫项目
python爬虫开发语言数据库数据分析scrapyselenium
引言随着在线视频平台的蓬勃发展,视频封面作为视频内容的预览图,一直以来都是观众对视频的第一印象。在爬取视频资源时,很多开发者和研究者往往只关注视频本身,而忽略了视频封面。实际上,视频封面不仅能提供重要的信息(例如视频标题、主题或情感等),而且它们也能作为数据集中的重要属性,用于视频分类、推荐系统等应用。在这篇博客中,我们将深入探讨如何使用Python通过接口批量下载视频封面,利用FFmpeg等技术
- Python3 使用 clickhouse-connect 操作 clickhouse
她不喜欢喝咖啡
Pythonclickhouse
'''版本:Python3.7x86clickhouse24.6.1.3573clickhouse-connect0.6.22'''代码一:#pipinstallclickhouse-connectimportclickhouse_connect#准备参数host="192.168.1.112"port=8123username="default"password="123456"database
- MicroPython 智能硬件开发完整指南
老胖闲聊
Python智能硬件
第一部分:MicroPython基础1.MicroPython简介定义:专为微控制器设计的精简Python3实现,支持硬件直接操作。特点:语法兼容Python3,但移除复杂功能(如多线程)。支持GPIO、PWM、I2C、SPI等硬件接口。适用于ESP32、ESP8266、RaspberryPiPico等开发板。2.开发环境搭建硬件准备推荐开发板:ESP32(性价比高,WiFi/BLE双模)、Ras
- windows下源码安装golang
616050468
golang安装golang环境windows
系统: 64位win7, 开发环境:sublime text 2, go版本: 1.4.1
1. 安装前准备(gcc, gdb, git)
golang在64位系
- redis批量删除带空格的key
bylijinnan
redis
redis批量删除的通常做法:
redis-cli keys "blacklist*" | xargs redis-cli del
上面的命令在key的前后没有空格时是可以的,但有空格就不行了:
$redis-cli keys "blacklist*"
1) "blacklist:12: [email protected]
- oracle正则表达式的用法
0624chenhong
oracle正则表达式
方括号表达示
方括号表达式
描述
[[:alnum:]]
字母和数字混合的字符
[[:alpha:]]
字母字符
[[:cntrl:]]
控制字符
[[:digit:]]
数字字符
[[:graph:]]
图像字符
[[:lower:]]
小写字母字符
[[:print:]]
打印字符
[[:punct:]]
标点符号字符
[[:space:]]
- 2048源码(核心算法有,缺少几个anctionbar,以后补上)
不懂事的小屁孩
2048
2048游戏基本上有四部分组成,
1:主activity,包含游戏块的16个方格,上面统计分数的模块
2:底下的gridview,监听上下左右的滑动,进行事件处理,
3:每一个卡片,里面的内容很简单,只有一个text,记录显示的数字
4:Actionbar,是游戏用重新开始,设置等功能(这个在底下可以下载的代码里面还没有实现)
写代码的流程
1:设计游戏的布局,基本是两块,上面是分
- jquery内部链式调用机理
换个号韩国红果果
JavaScriptjquery
只需要在调用该对象合适(比如下列的setStyles)的方法后让该方法返回该对象(通过this 因为一旦一个函数称为一个对象方法的话那么在这个方法内部this(结合下面的setStyles)指向这个对象)
function create(type){
var element=document.createElement(type);
//this=element;
- 你订酒店时的每一次点击 背后都是NoSQL和云计算
蓝儿唯美
NoSQL
全球最大的在线旅游公司Expedia旗下的酒店预订公司,它运营着89个网站,跨越68个国家,三年前开始实验公有云,以求让客户在预订网站上查询假期酒店时得到更快的信息获取体验。
云端本身是用于驱动网站的部分小功能的,如搜索框的自动推荐功能,还能保证处理Hotels.com服务的季节性需求高峰整体储能。
Hotels.com的首席技术官Thierry Bedos上个月在伦敦参加“2015 Clou
- java笔记1
a-john
java
1,面向对象程序设计(Object-oriented Propramming,OOP):java就是一种面向对象程序设计。
2,对象:我们将问题空间中的元素及其在解空间中的表示称为“对象”。简单来说,对象是某个类型的实例。比如狗是一个类型,哈士奇可以是狗的一个实例,也就是对象。
3,面向对象程序设计方式的特性:
3.1 万物皆为对象。
- C语言 sizeof和strlen之间的那些事 C/C++软件开发求职面试题 必备考点(一)
aijuans
C/C++求职面试必备考点
找工作在即,以后决定每天至少写一个知识点,主要是记录,逼迫自己动手、总结加深印象。当然如果能有一言半语让他人收益,后学幸运之至也。如有错误,还希望大家帮忙指出来。感激不尽。
后学保证每个写出来的结果都是自己在电脑上亲自跑过的,咱人笨,以前学的也半吊子。很多时候只能靠运行出来的结果再反过来
- 程序员写代码时就不要管需求了吗?
asia007
程序员不能一味跟需求走
编程也有2年了,刚开始不懂的什么都跟需求走,需求是怎样就用代码实现就行,也不管这个需求是否合理,是否为较好的用户体验。当然刚开始编程都会这样,但是如果有了2年以上的工作经验的程序员只知道一味写代码,而不在写的过程中思考一下这个需求是否合理,那么,我想这个程序员就只能一辈写敲敲代码了。
我的技术不是很好,但是就不代
- Activity的四种启动模式
百合不是茶
android栈模式启动Activity的标准模式启动栈顶模式启动单例模式启动
android界面的操作就是很多个activity之间的切换,启动模式决定启动的activity的生命周期 ;
启动模式xml中配置
<activity android:name=".MainActivity" android:launchMode="standard&quo
- Spring中@Autowired标签与@Resource标签的区别
bijian1013
javaspring@Resource@Autowired@Qualifier
Spring不但支持自己定义的@Autowired注解,还支持由JSR-250规范定义的几个注解,如:@Resource、 @PostConstruct及@PreDestroy。
1. @Autowired @Autowired是Spring 提供的,需导入 Package:org.springframewo
- Changes Between SOAP 1.1 and SOAP 1.2
sunjing
ChangesEnableSOAP 1.1SOAP 1.2
JAX-WS
SOAP Version 1.2 Part 0: Primer (Second Edition)
SOAP Version 1.2 Part 1: Messaging Framework (Second Edition)
SOAP Version 1.2 Part 2: Adjuncts (Second Edition)
Which style of WSDL
- 【Hadoop二】Hadoop常用命令
bit1129
hadoop
以Hadoop运行Hadoop自带的wordcount为例,
hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop,需要说明的是,这些命令的使用必须在Hadoop已经运行的情况下才能执行
Hadoop HDFS相关命令
hadoop fs -ls
列出HDFS文件系统的第一级文件和第一级
- java异常处理(初级)
白糖_
javaDAOspring虚拟机Ajax
从学习到现在从事java开发一年多了,个人觉得对java只了解皮毛,很多东西都是用到再去慢慢学习,编程真的是一项艺术,要完成一段好的代码,需要懂得很多。
最近项目经理让我负责一个组件开发,框架都由自己搭建,最让我头疼的是异常处理,我看了一些网上的源码,发现他们对异常的处理不是很重视,研究了很久都没有找到很好的解决方案。后来有幸看到一个200W美元的项目部分源码,通过他们对异常处理的解决方案,我终
- 记录整理-工作问题
braveCS
工作
1)那位同学还是CSV文件默认Excel打开看不到全部结果。以为是没写进去。同学甲说文件应该不分大小。后来log一下原来是有写进去。只是Excel有行数限制。那位同学进步好快啊。
2)今天同学说写文件的时候提示jvm的内存溢出。我马上反应说那就改一下jvm的内存大小。同学说改用分批处理了。果然想问题还是有局限性。改jvm内存大小只能暂时地解决问题,以后要是写更大的文件还是得改内存。想问题要长远啊
- org.apache.tools.zip实现文件的压缩和解压,支持中文
bylijinnan
apache
刚开始用java.util.Zip,发现不支持中文(网上有修改的方法,但比较麻烦)
后改用org.apache.tools.zip
org.apache.tools.zip的使用网上有更简单的例子
下面的程序根据实际需求,实现了压缩指定目录下指定文件的方法
import java.io.BufferedReader;
import java.io.BufferedWrit
- 读书笔记-4
chengxuyuancsdn
读书笔记
1、JSTL 核心标签库标签
2、避免SQL注入
3、字符串逆转方法
4、字符串比较compareTo
5、字符串替换replace
6、分拆字符串
1、JSTL 核心标签库标签共有13个,
学习资料:http://www.cnblogs.com/lihuiyy/archive/2012/02/24/2366806.html
功能上分为4类:
(1)表达式控制标签:out
- [物理与电子]半导体教材的一个小问题
comsci
问题
各种模拟电子和数字电子教材中都有这个词汇-空穴
书中对这个词汇的解释是; 当电子脱离共价键的束缚成为自由电子之后,共价键中就留下一个空位,这个空位叫做空穴
我现在回过头翻大学时候的教材,觉得这个
- Flashback Database --闪回数据库
daizj
oracle闪回数据库
Flashback 技术是以Undo segment中的内容为基础的, 因此受限于UNDO_RETENTON参数。要使用flashback 的特性,必须启用自动撤销管理表空间。
在Oracle 10g中, Flash back家族分为以下成员: Flashback Database, Flashback Drop,Flashback Query(分Flashback Query,Flashbac
- 简单排序:插入排序
dieslrae
插入排序
public void insertSort(int[] array){
int temp;
for(int i=1;i<array.length;i++){
temp = array[i];
for(int k=i-1;k>=0;k--)
- C语言学习六指针小示例、一维数组名含义,定义一个函数输出数组的内容
dcj3sjt126com
c
# include <stdio.h>
int main(void)
{
int * p; //等价于 int *p 也等价于 int* p;
int i = 5;
char ch = 'A';
//p = 5; //error
//p = &ch; //error
//p = ch; //error
p = &i; //
- centos下php redis扩展的安装配置3种方法
dcj3sjt126com
redis
方法一
1.下载php redis扩展包 代码如下 复制代码
#wget http://redis.googlecode.com/files/redis-2.4.4.tar.gz
2 tar -zxvf 解压压缩包,cd /扩展包 (进入扩展包然后 运行phpize 一下是我环境中phpize的目录,/usr/local/php/bin/phpize (一定要
- 线程池(Executors)
shuizhaosi888
线程池
在java类库中,任务执行的主要抽象不是Thread,而是Executor,将任务的提交过程和执行过程解耦
public interface Executor {
void execute(Runnable command);
}
public class RunMain implements Executor{
@Override
pub
- openstack 快速安装笔记
haoningabc
openstack
前提是要配置好yum源
版本icehouse,操作系统redhat6.5
最简化安装,不要cinder和swift
三个节点
172 control节点keystone glance horizon
173 compute节点nova
173 network节点neutron
control
/etc/sysctl.conf
net.ipv4.ip_forward =
- 从c面向对象的实现理解c++的对象(二)
jimmee
C++面向对象虚函数
1. 类就可以看作一个struct,类的方法,可以理解为通过函数指针的方式实现的,类对象分配内存时,只分配成员变量的,函数指针并不需要分配额外的内存保存地址。
2. c++中类的构造函数,就是进行内存分配(malloc),调用构造函数
3. c++中类的析构函数,就时回收内存(free)
4. c++是基于栈和全局数据分配内存的,如果是一个方法内创建的对象,就直接在栈上分配内存了。
专门在
- 如何让那个一个div可以拖动
lingfeng520240
html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml
- 第10章 高级事件(中)
onestopweb
事件
index.html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
- 计算两个经纬度之间的距离
roadrunners
计算纬度LBS经度距离
要解决这个问题的时候,到网上查了很多方案,最后计算出来的都与百度计算出来的有出入。下面这个公式计算出来的距离和百度计算出来的距离是一致的。
/**
*
* @param longitudeA
* 经度A点
* @param latitudeA
* 纬度A点
* @param longitudeB
*
- 最具争议的10个Java话题
tomcat_oracle
java
1、Java8已经到来。什么!? Java8 支持lambda。哇哦,RIP Scala! 随着Java8 的发布,出现很多关于新发布的Java8是否有潜力干掉Scala的争论,最终的结论是远远没有那么简单。Java8可能已经在Scala的lambda的包围中突围,但Java并非是函数式编程王位的真正觊觎者。
2、Java 9 即将到来
Oracle早在8月份就发布
- zoj 3826 Hierarchical Notation(模拟)
阿尔萨斯
rar
题目链接:zoj 3826 Hierarchical Notation
题目大意:给定一些结构体,结构体有value值和key值,Q次询问,输出每个key值对应的value值。
解题思路:思路很简单,写个类词法的递归函数,每次将key值映射成一个hash值,用map映射每个key的value起始终止位置,预处理完了查询就很简单了。 这题是最后10分钟出的,因为没有考虑value为{}的情