LTG01
LTG01

python爬取酷狗音乐两种方法

 

 

第一种

打开酷狗音乐 选择一首歌，如下图，

python爬取酷狗音乐两种方法_第1张图片

点击该歌曲，会进入新的界面，鼠标右键 选择查看，会看到下面界面，而且在下面的Elements 里面会看到有一个mp3的文件路径

python爬取酷狗音乐两种方法_第2张图片

把这个文件路径复制下，直接在浏览器中打开，就会看到下图

python爬取酷狗音乐两种方法_第3张图片

就可以听到歌曲，也可以下载下来。所以只要去获取页面源码就行了，代码如下

import requests
url='https://www.kugou.com/song/15lixjd0.html#hash=5EA71338C62F5D9F53092A360EFB8BCD&album_id=36977058'
resp=requests.get(url).text
print(resp)

然鹅 在返回的内容没有发现 上面的mp3文件。加上headers也不行

import requests

headers={
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
    'referer': 'https://www.kugou.com/song/15lixjd0.html',
    'cookie': 'kg_mid=de37a1cfd40c173f2820dfe14f530c24; kg_dfid=33MGlt3ida3b0rgFCn3P1T2f; KuGooRandom=6681586955397892; kg_dfid_collect=d41d8cd98f00b204e9800998ecf8427e; ACK_SERVER_10015=%7B%22list%22%3A%5B%5B%22bjlogin-user.kugou.com%22%5D%5D%7D; Hm_lvt_aedee6983d4cfc62f509129360d6bb3d=1586955391,1587184891; Hm_lpvt_aedee6983d4cfc62f509129360d6bb3d=1587184949',
}

url='https://www.kugou.com/song/15lixjd0.html#hash=5EA71338C62F5D9F53092A360EFB8BCD&album_id=36977058'
resp=requests.get(url).text
print(resp)

说明mp3文件那个地址是动态加载的，在回到第一个界面，检查元素，可以看到歌曲的连接地址点击进入，和跳转后的网址不一样，多了一些数据 多了#之后的数据，说明跳转时候做了其他的动作

 

进入单个歌曲界面选择network ，找到 加载15lixjd0.html 页面进行的一些操作，都在initiator 中进行，

可以在index.php?r.....这个文件中发现所需要的信息

python爬取酷狗音乐两种方法_第4张图片

点击headers

python爬取酷狗音乐两种方法_第5张图片

拿到url 直接放在浏览器中打开，可以看到返回的数据，里面有需要的数据，同时url不需要那么长，可以删减一部分，可以试着删减， 删除后剩余的 是https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash=5EA71338C62F5D9F53092A360EFB8BCD

import requests

import json

import pprint

headers={
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
    'referer': 'https://www.kugou.com/song/15lixjd0.html',
    'cookie': 'kg_mid=de37a1cfd40c173f2820dfe14f530c24; kg_dfid=33MGlt3ida3b0rgFCn3P1T2f; KuGooRandom=6681586955397892; kg_dfid_collect=d41d8cd98f00b204e9800998ecf8427e; ACK_SERVER_10015=%7B%22list%22%3A%5B%5B%22bjlogin-user.kugou.com%22%5D%5D%7D; Hm_lvt_aedee6983d4cfc62f509129360d6bb3d=1586955391,1587184891; Hm_lpvt_aedee6983d4cfc62f509129360d6bb3d=1587184949',
}

# url='https://www.kugou.com/song/15lixjd0.html'
# resp=requests.get(url,headers=headers).text
# print(resp)

url='https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash=5EA71338C62F5D9F53092A360EFB8BCD'

resp=requests.get(url,headers=headers).text
data=json.loads(resp)
pprint.pprint(data)

song_url=data['data']['play_url']

print(song_url)

resp=requests.get(url,headers=headers).content

with open('kugou.mp3','wb')  as f:
    f.write(resp)

运行结果为

想批量下载的话 就只需要歌曲的 

url='https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash=5EA71338C62F5D9F53092A360EFB8BCD' 这里面只需要获取hash 就可以。

在 第一页面搜索hash

获取这些hash就可以了，完整的代码

我也不知道自己在讲啥，直接上代码吧 心好累  完整代码

你可能感兴趣的:(Python)

  • pandas读取带有表头的数据文件，读取无表头的数据文件 小桥流水---人工智能 人工智能深度学习Python程序代码pandas
    在Python中使用pandas库读取数据时，常见的问题之一就是如何处理数据文件中的表头。1.引入pandas库在开始之前，我们首先需要导入pandas库。如果你的环境中还未安装pandas，可以使用pip安装：pipinstallpandas导入pandas库：importpandasaspd2.读取带有表头的数据文件当数据文件中包含表头时，pandas会默认将第一行数据作为DataFrame的
  • python unittest TypeError setUpClass missing 1 required positional argument cls Kelly雨薇 python框架
    pythonunittest框架使用可以用两种方法：（1）所有内容写在一个python文件里eg：https://blog.csdn.net/panyueke/article/details/85305223（2）function与主框架隔离eg：functions.pydeffun_div(x):returnx/2deffun_add(x):returnx+2deffun_minus(x):re
  • 程式语言区分 白总Server htmlpythonjavac++开发语言
    程序语言有很多种，每种都有其特定的用途和特点。以下是一些广泛使用的编程语言：1.Python：易于学习，广泛用于数据科学、机器学习、网络开发、自动化等领域。2.Java：广泛应用于企业级应用、安卓开发、大型系统开发等。3.C：一种基础语言，广泛用于系统编程、嵌入式开发、操作系统等领域。4.C++：C语言的扩展，支持面向对象编程，用于游戏开发、高性能应用等。5.JavaScript：主要用于网页前端
  • 【python3.3.2】 首次接触python print 出现SyntaxError: invalid syntax 唯落瑾年 python
    3.0以后的print都改为了print();>>>print'hello'SyntaxError:invalidsyntax>>>print('hello')hello>>>print(2*8)16
  • missing 1 required positional argument: ‘self‘ baidu_huihui selfstaticmethodclassmethod
    missing1requiredpositionalargument:'self'解释：这个错误通常发生在Python中使用类方法时，你没有正确地使用self参数。在Python中，实例方法必须至少有一个参数，通常被命名为self，它代表实例本身。当你在类中定义一个方法时，Python会自动将这个self参数加入到方法参数列表中。解决方法：确保你在类的方法定义中使用了self参数，并且在调用这个方
  • 2024年Python最全Python-Matplotlib可视化（1）——一文详解常见统计图的绘制(1) 2401_84558452 程序员pythonmatplotlib开发语言
    importmatplotlib.pyplotaspltx=range(50)y=[value*2forvalueinx]plt.plot(x,y)plt.show()上述代码将会绘制曲线y=2*x，其中x在[0，50]范围内，如下所示：可以看到窗口上方还包含多个图标，其中：|项目|Value||—|—|||此按钮用于将所绘制的图形另存为所需格式的图片，包括png，jpg，pdf，svg等常见格式
  • Python魔法之旅-魔法方法(01) 神奇夜光杯 python开发语言魔法方法学习和成长基础知识
    目录一、概述1、定义2、作用二、主要应用场景1、构造和析构2、操作符重载3、字符串和表示4、容器管理5、可调用对象6、上下文管理7、属性访问和描述符8、迭代器和生成器9、数值类型10、复制和序列化11、自定义元类行为12、自定义类行为13、类型检查和转换14、自定义异常三、学习方法1、理解基础2、查阅文档3、编写示例4、实践应用5、阅读他人代码6、参加社区讨论7、持续学习8、练习与总结9、注意兼容
  • Python中的绝对路径与相对路径详解 小桥流水---人工智能 人工智能Python程序代码机器学习算法python开发语言
    对路径与相对路径Python中的绝对路径与相对路径详解什么是路径？绝对路径优点：缺点：示例：相对路径优点：缺点：示例：Python中如何使用**重点内容**：**在Python中，建议使用`os.path.join`来构建路径，这样可以确保代码在不同操作系统上的兼容性。同时，理解并正确使用绝对路径和相对路径，对于开发可移植和可维护的应用程序至关重要。**结论Python中的绝对路径与相对路径详解在
  • python列表添加列表_Python中列表（List）方法（基础） weixin_39843338 python列表添加列表
    列表是最常用的Python数据类型，它可以作为一个方括号内的逗号分隔值出现。列表的数据项不需要具有相同的类型。Python列表赋值list1=[‘physics’,‘chemistry’,1997,2000];list2=[1,2,3,4,5];list3=[“a”,“b”,“c”,“d”];Python调用列表中的值list1=[‘physics’,‘chemistry’,1997,2000];
  • Python安装NumPy 0阿齐兹0 阿齐兹的PyCV学习笔记pythonnumpy
    打开cmd通过python和pip安装：C:\"ProgramFiles"\Python36\python.exe-mpipinstall--usernumpyscipymatplotlibipythonjupyterpandassympynose参考资料：https://www.scipy.org/install.html
  • python-列表list（详细） 一个小白白YYDS python开发语言
    文章目录1、列表概念2、列表对象的创建3、列表访问3.1.索引获取列表元素3.2、嵌套列表索引获取列表元素3.3、获取指定元素的索引4、查询列表5、列表增加6、列表删除7、列表修改8、列表排序9、列表生成式1、列表概念语法：使用方括号[]括起来以逗号分隔的数据特性：列表是有序的同一个列表可以包含不同类型的数据列表中的元素可以重复出现可以通过索引的方式来访问列表的元素列表可以嵌套列表列表的元素可以修
  • python numpy安装步骤-NumPy 安装 编程大乐趣
    NumPy安装Python官网上的发行版是不包含NumPy模块的。我们可以使用以下几种方法来安装。1、使用已有的发行版本对于许多用户，尤其是在Windows上，最简单的方法是下载以下的Python发行版，它们包含了所有的关键包（包括NumPy，SciPy，matplotlib，IPython，SymPy以及Python核心自带的其它包）：Anaconda:免费Python发行版，用于进行大规模数据
  • python中列表的常见操作 945048125 pythonpython
    列表的相关操作列表中存放的数据是可以进行修改的，比如"增"、"删"、"改""添加元素("增"append,extend,insert)1.append:在列表的末尾进行添加>>>a=[123,345]>>>a.append(678)>>>a[123,345,678]2.extend可以将另一个集合中的元素逐一添加到列表中a=['a','b','c']b=['d','e','f']>>>a.exte
  • Python的字符串操作 心繁 python开发语言
    1、获取元素1.1索引索引是最简单的获取元素的方式。根据元素在字符串的下标位置直接输出想要获取的一个元素。例：print（str[1])str="Imissyousomuch,let'smeet."print(str[2])#输出结果为：“m”1.2切片切片可以根据元素的下标位置获取想要的多个元素。例:print(str[2:10:1]),即：print(字符串名称[起始元素下标：结束元素下标+1
  • 【Python/Java/C++三种语言】20天拿下华为OD笔试之【位运算】2023B-出错的或电路【欧弟算法】全网注释最详细分类最全的华为OD真题 闭着眼睛学算法 最新华为OD真题#数学#位运算算法pythonjava
    文章目录题目描述与示例题目描述输入描述输出描述示例一输入输出说明示例二输入输出说明解题思路代码PythonJavaC++时空复杂度华为OD算法/大厂面试高频题算法练习冲刺训练题目描述与示例题目描述某生产门电路的厂商发现某一批次的或门电路不稳定，具体现象为计算两个二进制数的或操作时，第一个二进制数中某两个比特位会出现交换，交换的比特位置是随机的，但只交换这两个位，其他位不变。很明显，这个交换可能会影
  • 【附源码】基于flask框架基于物联网技术的水质实时监测系统设计与实现 后台(python+mysql+论文) node-php毕设程序源码 pythonflaskmysql
    本系统（程序+源码）带文档lw万字以上文末可获取本课题的源码和程序系统程序文件列表系统的选题背景和意义选题背景：随着物联网技术的迅猛发展，其在环境监测方面的应用日益广泛，特别是水质监测这一重要领域。传统的水质监测方法通常需要人工采集样本后送至实验室分析，这种方法不仅耗时耗力，而且实时性差，难以满足快速响应和预警的需求。因此，基于物联网技术的水质实时监测系统应运而生，通过传感器网络实时收集水质数据，
  • 备战2024数学建模国赛（模型三十）：遗传算法 优秀案例（三） 变循环发动机部件法建模及优化 2024年数学建模国赛 备战2024数学建模国赛2024数学建模（不代写论文请勿盲目订阅）数学建模2024年数学建模国赛备战数学建模国赛算法遗传算法2024
    专栏内容(赛前预售价99，比赛期间299):2024数学建模国赛期间会发布思路、代码和优秀论文。（本专栏达不到国一的水平，适用于有一点点基础冲击省奖的同学，近两年有二十几个国二，但是达不到国一，普遍获得省奖，请勿盲目订阅）python全套教程（一百篇博客）：从新手到掌握使用python，可以对数学建模问题进行建模分析。35套模型算法（优秀论文示例）：马尔科夫模型、遗传算法、逻辑回归、逐步回归、蚁群
  • SpringMVC的架构有什么优势？——视图与模型（二） 不会编程的小孩子 架构
    #SpringMVC的架构有什么优势？——视图与模型（二）前言关键字：机器学习人工智能AIchatGPT学习实现使用搭建深度python事件远程dockermysql安全技术部署技术自动化代码视图(View)视图是展示结果的组件，它们负责渲染模型数据并生成HTML输出。SpringMVC支持多种视图技术，包括JSP、Thymeleaf等。视图(View)是SpringMVC中渲染并呈现结果的组件，
  • 【华为笔试题汇总】2024-05-22-华为春招笔试题-三语言题解(Python/Java/Cpp) 春秋招笔试突围 华为春秋招笔试题汇总最新互联网春秋招试题合集华为pythonjava算法
    大家好这里是清隆学长，一枚热爱算法的程序员✨本系列打算持续跟新小米近期的春秋招笔试题汇总～ACM银牌|多次AK大厂笔试｜编程一对一辅导感谢大家的订阅➕和喜欢清隆这边最近正在收集近一年互联网各厂的笔试题汇总，如果有需要的小伙伴可以关注后私信一下清隆领取，会在飞书进行同步的跟新。文章目录01.获取公共链表片段问题描述输入格式输出格式样例输入样例输出数据范围题解参考代码02.矿车运输成本问题描述输入格式
  • Python 统计字符串里每个字符出现的次数的三种方法 咻咻职位搜索引擎 后端开发Pythonpython字符统计字典
    记录一下，怕忘记了~setdefault()的介绍介绍：setdefault()方法提供了一种方式，在一行中完成这件事。传递给该方法的第一个参数，是要检查的键。第二个参数，是如果该键不存在时要设置的值。如果该键确实存在，方法就会返回键的值~spam={'name':'Pooka','age':5}print(spam.setdefault('color','black'))>>blackprint
  • Python：统计字符串中各元素出现的次数 陈小q Python秋招笔试
    统计String中每个单词出现的个数（不区分大小写）输入描述：输入一个字符串，例如：“abAv”输出描述：v:1:3b:1a:2defcountEach(strs):dic={}strs=strs.lower()lens=len(strs)i=0whilei
  • 如何用python爬取股票数据选股_用python爬取股票数据 weixin_39752087
    获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。一、网页源码的获取很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。imp
  • python-记录字符串种字符出现次数 酸辣小太阳. python入门python算法
    该类题目用字典明显方便，先上代码：s=input("请输入一个字符串:")num={}foriins:num[i]=s.count(i)forkey,valueinnum.items():print('{key}:{value}次'.format(key=key,value=value))运行结果：这里有几个值得关注的点：1.为字典添值前，需要先创建字典，这里num={}是动态创建，2.计数可以直
  • pip版本降级 一叶知秋@qqy python
    有时候安装python库失败时，总会提示让升级pip，但是说实话，个人不是太喜欢这种方式，因为pip版本太高时，反而会有一些意想不到的结果，因为如果你需要使用非常古老的库，可能还支持的python版本，但是最新版本的pip就不支持了，会找不到，这是可能就会需要将pip版本降级到一个指定的版本。命令python-mpipinstallpip==9.0.3其中，-m参数的解释：runlibrarymo
  • Python在金融大数据分析中的AI应用实战 田野猫咪 python金融数据分析
    随着人工智能时代的到来，Python作为一种功能强大的编程语言，在金融领域的大数据分析中扮演着日益重要的角色。本文将探讨Python在金融领域的应用，重点介绍其在大数据分析方面的实际应用案例，涉及股票市场分析、投资组合优化、风险管理等方面，并提供相关的代码示例。引言随着金融市场数据规模的不断增长，金融机构和投资者们越来越依赖于大数据分析和人工智能技术来做出更准确、更智能的决策。Python作为一种
  • Python中字符串计数常用的方法！ 老男孩IT教育 python开发语言
    在Python中，字符串计数是非常基本的操作，使用率极高，可用于多种情况，更是每个Python开发工程师必须掌握的基础技能之一，那么Python中如何进行字符串计数?以下是常用方法介绍。1、使用count()方法Python中的字符串类型具有count()方法，该方法可以返回特定子字符串在字符串中出现的次数。例如，以下代码计算字符串"helloworld"中字母i的出现次数：'''s='hello
  • Python股票数据爬虫 nujiah001 技术总结stockpython
    最近再看python的爬虫,刚好有人问到能不能把所有的股票数据爬下来.看一些其他人的实现方式,可能一些网站进行了优化,竟然没有找到能完全直接用的,但得到了很好的思路.简单记录一下,方便以后自己使用.准备工作.安装anaconda.使用jupyter.安装BeautifulSoup,requests包实现步骤:1.得到股票列表defis_stock(href_para):  ifhref_parai
  • Python数据分析之证券之星沪深A股基本信息爬取与分析 卓小曙 python数据分析数据分析python
    Python数据分析之证券之星沪深A股基本信息爬取与分析上周爬取了证券之星上沪深A股的信息，我对股票完全是小白，对流通市值这些完全不了解，是上网先了解了一下，老实说虽然有了基本概念，但在数据分析时还是一头雾水，所以今天只说一下我在爬取和分析时遇到的问题（不涉及股票方面知识，只是分析数据，只是分析数据，只是分析数据），希望能对大家有帮助，也希望得到大家的意见！爬取数据获取网页内容爬取方面依旧是我常用
  • 如何升级Python环境 懒大王爱吃狼 python开发语言编辑器
    要升级Python环境，可以按照以下步骤进行操作：1.首先，确定您当前安装的Python版本。可以在命令行中运行以下命令来检查Python版本：python--version2.访问Python官方网站（https://www.python.org/downloads/）下载最新的Python安装程序。选择与您操作系统兼容的版本。3.运行下载的安装程序，并按照提示进行安装。在安装过程中，确保选择“
  • 使用python实现微信小程序自动签到 光头哥不光头 python
    学校：重庆财经职业学院学院：应用技术学院专业班级：大数据技术与应用05班名字：吴雨璇指导老师：张彤老师一：使用python实现微信小程序自动签到意义1.首先对于咱们的APP有很大的作用,那就是当用户点击签到以后,平台就有那么多用户在使用,签到的人越多,产品的活跃度就越高。2.还有一点就是大家应该能够想到,那就是用户点击签到是在首页,有些点开就需要进行签到,点击较多,对于产品销售是非常重要的。3.微
  • 插入表主键冲突做更新 a-john
    有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sql语
  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
    一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello"   2.引用系统资源。格式：@android:type/name     android:textColor="@android:color/opaque_red"
  • 数据结构的基本介绍 天子之骄 数据结构散列表树、图线性结构价格标签
    数据结构的基本介绍 数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。   经典的数据结构大致如下：   一：线性数据结构 (1)：列表 a
  • 通过二维码开放平台的API快速生成二维码 一炮送你回车库 api
     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。        html代码如下:(二维码将生成在这div下) ? 1  &nbs
  • ImageIO读取一张图片改变大小 3213213333332132 javaIOimageBufferedImage
    package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
  • myeclipse集成svn（一针见血） 7454103 eclipseSVNMyEclipse
                                     &n
  • 装箱与拆箱----autoboxing和unboxing darkranger J2SE
    4.2　自动装箱和拆箱 基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
  • ajax传统的方式制作ajax aijuans Ajax
    //这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
  • 只用jre的eclipse是怎么编译java源文件的？ avords javaeclipsejdktomcat
    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
  • 前端模块化 bee1314 模块化
    背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
  • 处理百万级以上的数据处理 bijian1013 oraclesql数据库大数据查询
    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。         2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
  • mac 卸载 java 1.7 或更高版本 征客丶 javaOS
    卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析   本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
  • Erlang vs TNSDL bookjovi erlang
          TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 相关新闻： （1）IT行业成五大疾病重灾区：过劳死平均37.9岁
  • 读《研磨设计模式》-代码笔记-原型模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
  • 配置管理---svn工具之权限配置 chenyu19891124 SVN
    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos    component    webapps 在conf里面的auth里赋予的权限配置为 [groups]
  • 浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
                                     浅谈程序员的数学修养
  • 批量执行 bulk collect与forall用法 daizj oraclesqlbulk collectforall
    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。     有关FORALL语句的用法请参考：批量SQL之 F
  • Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
    1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
  • Yii CModel中rules验证规格 dcj3sjt126com rulesyiivalidate
    Yii cValidator主要用法分析：  yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError  
  • 基于vagrant的redis主从实验 dcj3sjt126com vagrant
    平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从   实现思路 制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box   制作sentos6.5+redis的box   mkdir vagrant_redis cd vagrant_
  • Memcached(二)、Centos安装Memcached服务器 frank1234 centosmemcached
    一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]： 建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
  • Remove Duplicates from Sorted List hcx2013 remove
    Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
  • Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • 浅谈enum与单例设计模式 247687009 java单例
    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构 造器，导出静态成员变量，以便调用者访问。 第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
  • 使用switch条件语句需要注意的几点 openwrt cbreakswitch
    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
  • 配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 springmybatisJUnit
    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串 解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 第二个问题的具体实例是：    
  • Java 定时任务总结一 tuoni javaspringtimerquartztimertask
     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank相似度计算文本相似度词袋模型余弦相似度
    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。   最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：     1、注册多个账号（一般10个以上）。     2、从多个账号中选择一个账号，发表1-2篇博文
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他