张峰
张峰

Presto集成到Ambari介绍

在Ambari中集成Presto，能在Ambari UI中方便地安装部署Presto到集群，并能方便修改Presto相关配置。

Presto官方介绍文档

英文http://teradata.github.io/presto/docs/current/index.html

中文http://prestodb-china.com/docs/current/index.html#

ambari-presto-service的官方文档

https://prestodb.io/ambari-presto-service/

Presto在京东的实践

Presto在美团的应用

Presto使用

前提准备

Red Hat Enterprise Linux6.x 64-bit或者CentOS

已安装Ambari，并满足Ambari相关要求.

Presto 0.148版后需要安装Oracle JDK 1.8u60+，0.148之前版本需要JDK 1.8u40+。理解JDK配置了解Presto和Ambari JDK之间的关系。

禁用requiretty。在Red Hat Enterprise Linux6.x上能通过编辑/etc/sudoers文件，注释掉Defaults requiretty。

节点已安装wget。

添加Presto Service

下载文件

在官网下载Ambari集成包

确保Ambari已安装好HDP2.3，在ambari-server运行的服务器上创建如下目录/var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO

$ mkdir /var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO$ cd /var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO

将集成文件ambari-presto-1.2.tar.gz放于/var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO目录下。此处下载Teradata版本，或者此处下载0.148版集成包，上传集成文件到集群中，并解压:

$ tar -xvf /path/to/integration/package/ambari-presto-1.1.tar.gz -C /var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO$ mv /var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO/ambari-presto-1.1/* /var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO$ rm -rf /var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO/ambari-presto-1.1

最后，将所有集成文件添加可执行权限，并重启Ambari-server。

$ chmod -R +x /var/lib/ambari-server/resources/stacks/HDP/2.3/services/PRESTO/*$ ambari-server restart

上述包是默认集成presto0.161版，这里可修改到最新版本，并配置下载最新的rpm和cli包。

#修改presto版本$ cd/var/lib/ambari-server/resources/stacks/HDP/2.5/services/PRESTO$ makedistVERSION=0.168

#修改下载包的对应版本和路径$ cd/var/lib/ambari-server/resources/stacks/HDP/2.5/services/PRESTO/package/scripts修改：download.ini[download]presto_rpm_url=http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server-rpm/0.168/presto-server-rpm-0.168.rpmpresto_cli_url=http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-cli/0.168/presto-cli-0.168-executable.jar为：[download]presto_rpm_url=http://dpnode08/presto/0.168/presto-server-rpm-0.168.rpmpresto_cli_url=http://dpnode08/presto/0.168/presto-cli-0.168-executable.jar

重启Ambari server后，在浏览器UI界面，点击Add Service，根据指示安装Presto。

添加服务

选择主节点安装Coordinator

分配Worker节点和客户端节点

自定义配置

自定义配置，主要配置discovery-uri.

主要配置信息有：

#配置Connector{'hive':['connector.name=hive-hadoop2','hive.metastore.uri=thrift://dpnode03:9083','hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml','hive.allow-drop-table=true','hive.storage-format=ORC'],'jmx':['connector.name=jmx']}​#配置JVM-server-Xmx16G-XX:+UseConcMarkSweepGC-XX:+ExplicitGCInvokesConcurrent-XX:+CMSClassUnloadingEnabled-XX:+AggressiveOpts-XX:+HeapDumpOnOutOfMemoryError-XX:OnOutOfMemoryError=kill-9%p-XX:ReservedCodeCacheSize=150M​#discovery.urihttp://dpnode02:8285

启动安装

启动安装

安装完成

运行客户端

$ presto-client

执行sql语句，然后在URI上查看相关运行情况。

访问URI

/var/log/presto 日志/usr/lib/presto 安装目录/var/lib/presto 数据目录/etc/presto     配置文件

拓扑

以下两步可在群集中的节点之间分配Presto进程。一旦选择了Presto的拓扑并完成安装过程，就不可能修改该拓扑。

Presto由协调器coordinator和工作进程worker组成。同一代码运行所有节点，因为为worker和coordinator安装了相同的PrestoRPM包。每个节点上的配置决定了特定节点的行为方式。 Presto可以以伪分布式模式运行，其中一个节点上的单个Presto进程充当coordinator和worker，或者可以以分布式模式运行，其中Presto coordinator在一个节点上运行，而Presto worker在其他节点上运行。

Presto的客户端组件是presto-cli可执行文件JAR。您应该将其放置在您希望通过此命令行访问Presto服务器的所有节点上。 presto-cli可执行文件JAR不需要与工作者或协调器共同定位，它可以自己安装。安装后，可以在/usr/ lib/presto/bin/presto-cli找到CLI。

不要将worker放置在与coordinator相同的节点上。这样的尝试将失败安装，因为集成软件将尝试安装RPM两次。为了安排Presto coordinator的工作，有效地将过程变成双工/协调器，请在配置中启用node-scheduler.include-coordinator。

伪分布式

在一个节点上安装Presto coordinator，不安装其他的worker。在配置页面启用node-scheduler.include-coordinator

分布式

在一个节点上安装Presto coordinator，在其他若干节点（非coordinator节点）上安装Presto worker。

Presto配置

没有缺省值并且需要输入的一个配置属性是discovery.uri。预期值为http://:8285。注意，它是http而不是https，端口是8285.如果更改http-server.http.port的值，请确保在disovery.uri中进行相应更改。

一些最常用的属性显示在“设置”选项卡中（默认情况下是打开的）。在“高级”选项卡中，通过打开正确的下拉列表并指定键和值来设置自定义属性。请注意，指定Presto无法识别的属性将导致安装失败，或者部分或所有服务器无法启动。

安装后，通过选择Presto服务，然后选择Configs选项卡，更改Presto配置。更改配置选项后，请确保重新启动Presto以使更改生效。

如果您运行的Ambari版本早于2.1（版本号小于2.1），则在设置以下内存相关配置时必须忽略内存后缀（GB）：query.max-memory-per-node和query.max-memory。对于这两个属性，内存后缀由集成软件自动添加。对于您添加为自定义属性的所有其他内存相关配置，在指定值时必须包括内存后缀。

添加删除Connectors

要添加连接器，请修改connectors.to.add属性，其格式如下：{'connector1'：['key1 = value1'，'key2 = value2'等]，'connector2'：['key3 = value3 '，'key4 = value4']等}。请注意每个单个元素周围的单引号。此属性仅添加连接器，不会删除连接器。因此，如果添加connector1，保存配置，重新启动Presto，然后为此属性指定{}，connector1不会被删除。如果在连接器设置中指定了不正确的值，例如将Hive连接器中的hive.metastore.uri设置为指向无效的主机名，则Presto将无法启动。

例如，要添加Hive和Kafka连接器，请将connectors.to.add属性设置为：

{'hive': ['connector.name=hive-cdh4', 'hive.metastore.uri=thrift://example.net:9083'],'kafka': ['connector.name=kafka', 'kafka.table-names=table1,table2', 'kafka.nodes=host1:port,host2:port']}

要删除连接器，请修改connectors.to.delete属性，格式如下：['connector1'，'connector2'等]。再次，注意每个元素周围的单引号。上述值将删除连接器connector1和connector2。请注意，tpch连接器不能删除，因为它用于在启动Presto之后。 tpch连接器的存在对系统的影响可以忽略不计。

例如，要删除Hive和Kafka连接器，请将connectors.to.delete属性设置为：['hive'，'kafka']。

HIVE连接器

针对不同的hadoop版本，Presto都有对应的hive connector:

hive-hadoop1: Apache Hadoop 1.x

hive-hadoop2: Apache Hadoop 2.x

hive-cdh4: Cloudera CDH 4

hive-cdh5: Cloudera CDH 5

创建一个包含有以下内容的文件：etc/catalog/hive.properties，从而在hivecatalog中挂载hive-cdh4的connector。根据你实际的hadoop版本和环境替换掉hive-cdh4和example.net:9083:

connector.name=hive-cdh4hive.metastore.uri=thrift://example.net:9083

HDFS Configuration

hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

#创建新表时，表的文件存储格式hive.storage-format=ORC

Mysql连接器

connector.name=mysqlconnection-url=jdbc:mysql://example.net:3306connection-user=rootconnection-password=secret

/usr/lib/presto/bin/presto-cli --server dpnode02:8285 --catalog hive --schema default

JDK配置

在Ambari的安装过程中，用户可以选择Ambari将使用的JDK以及其控制的其他服务。此JDK可以在安装后随时通过在运行Ambari服务器进程的主机上运行ambari-server设置进行编辑，然后通过运行ambari-server restart以重新启动该进程，以使更改生效。

当选择要运行的JDK版本时，用户会看到三个选项：1.8,1.7或自定义JDK。如果选择1.8或1.7选项，Ambari将下载该主版本的JDK。但是，JDK的更新（次要）版本根据Ambari的版本而有所不同。例如，Ambari 2.2.0+将下载1.8u60，之前的版本将下载1.8u40。

当Ambari安装Presto时，使用的JDK将是Ambari配置的JDK（具体来说，是/etc/ambari-server/conf/ambari.properties中的java.home的值）。但是，与其他服务不同，一旦安装Presto，它将使用与安装的JDK相同的JDK，即使Ambari的JDK已重新配置。原因是在RPM安装期间，Presto的JDK设置在/etc/presto/env.sh中。要重新配置Presto的JDK，在Presto将运行的所有主机上编辑/etc/presto/env.sh。

你可能感兴趣的:(Presto集成到Ambari介绍)

  • 重启生活从剃胡子开始 往后余生_77dc
    熬到凌晨两三点睡觉，一觉醒来已是中午。吃完午饭回房间，游戏、短视频、电视剧，总之各种嗨。到六点吃过晚饭回房间继续。已经记不得多久没吃过早饭了，吃早饭这件事已经成了很久以前的事情。在封闭的空间里自闭。只有游戏、热剧才能让我兴奋，再此之外只有漠然，对一切的漠然。有种自己不是自己的感觉，无力又茫然失措。眼睛发红发肿，胡子长到不好意思外出示人的地步。桌上满是灰尘，还有各种死去的无名小虫的或绿或黑的尸骸。垃
  • 绘本讲师训练营［35期］4/21 阅读原创 《幸福的种子》 b5c49a79b8b7
    350023洪岳103-141页图片发自App阅读这本书已经快接近尾声了，从一开始蒙蒙的状态，变得逐渐清晰，以前不了解绘本，只读文字，不重视图，更不会文图相结合，更更不会看封面和封底，所以很庆幸参加了这次培训，让我的思路更清晰，今天尝试给孩子读了三本绘本，虽然从表达到声音到拓展还需要不断加强，但是已经激起了孩子的兴趣了～图片发自App之前不理解为了叫幸福的种子，读书到这个《改变人类的力量》让我深深
  • 全面指南：用户行为从前端数据采集到实时处理的最佳实践 数字沉思 营销流量运营系统架构前端内容运营大数据
    引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
  • 2020年第51篇周记 搬砖的小姐姐
    【12.14~12.20】真快，2020年倒数第二周了……现在是周一早上五点二十八，睡饱了自然醒的感觉是极好的，昨晚八点之前就睡了。希望自己以后能把早睡早起变成生活习惯。此刻，当下，我感受到时间在流逝，从披衣服做起来已经快半小时才开始复盘，因为我已经忘记了本周计划是啥，而且本周不仅没有写手写日记，更是连每日计划清单也停了，这周工作实在太忙了，每晚加班到十二点是常态，前天夜晚更甚加班到凌晨两点。。。
  • quartus pin 分配（三） 落雨无风 IC设计fpgafpga开发
    quartuspin分配如有需要，可查看quartusUI界面sdc配置（二）上次文章中，说了自己写sdc需要配置的分类点，这次将介绍管脚分配。已打开Quartus软件，导入设计，写好约束下一步，在Quartus软件的菜单栏打开Assignments中的二级菜单PinPlanner打开改界面即可看到选中的fpga型号，管脚图，封装类型等信息。在打开的界面中，大致可分为上下两个部分。上半部分，可分为
  • vim十字显示的设置 落雨无风 vimlinux
    vim设置分享一下自己的在linux下的vim的设置文件.vimrc其中最想分享的是vim十字显示的方式如图magic自己没有试出来什么效果十字显示是line12~15都需要的。如果只有12，13，设置出来的效果就是下划线的样子。239是0到255配色的中间值。个人比较喜欢239，个人爱好，随便设置自己喜欢的颜色。
  • 元宵节，再见 牛来牛去_2165
    元宵节，没有吃到元宵，只吃了一大桌酒菜。是公司聚餐，把大家伙围拢到一起，搞了几个节目，自娱自乐了一番。早起的鞭炮声，还有空气中飘荡的烟雾，预示着今天是个节日。其余的，并没有什么特殊的情怀。记得，小时候，大街上，小巷子，到处都是锣鼓喧天，热闹非凡。这样热闹的场面，也只有元宵节会有。有舞狮，有武术，样式繁多，看的人们眼花缭乱。街上人头攒动，挤扛不动，夹杂在人群中央，感觉到前所未有的安全感，贼好看。如今
  • 慈母手中线 浅浅心语
    记忆中操劳一天的母亲在昏暗的灯光下一针一线上下翻飞。——题记收拾东西看到去年妈妈来时把我小时候的两件衣服带了来，一件毛衣，一件马甲，说是给伊伊将来穿。毛衣记得我小时候成衣很少还没有到乡下，需要买布去裁缝铺定做。记忆中有几套印象深刻的衣服，都是妈妈去买布带我去量尺寸定做。妈妈不会做衣服，但是会打毛衣，这件毛衣就是妈妈手织，还记得上学时的第一个书包也是妈妈亲手做的。那时候条件不好，毛线可能是拼的，有一
  • 直返APP安全吗 直返APP靠谱吗 直返背景揭秘 氧惠购物达人
    最近朋友推荐我一个返利app，名字叫做直返APP，小编没听过直返APP，不知道直返APP安全吗。于是，小编百度了一下，发现了直返APP是否靠谱，下面，小编就为大家介绍一下直返APP揭秘。氧惠APP（带货领导者）——是与以往完全不同的抖客+淘客app！2023全新模式，我的直推也会放到你下面。主打：带货高补贴，深受各位带货团队长喜爱（每天出单带货几十万单）。注册即可享受高补贴+0撸+捡漏等带货新体验
  • 10月21日:god loves me unconditionally 赵月川ZYC
    图片发自App今天没有很好的完成功课。但有两次快要完成的瞬间。一次是上午做志愿的时候，去教社区的爷爷奶奶们使用百度网盘以及一些其他的电脑、手机功能，回答他们的一些问题。结束合影的时候，有一个奶奶拉着我的手，让我跟她站在一起，我没有拒绝，但是还是在她松手的瞬间挽上了她的胳膊，因为我觉得我没有那么爱她，更多的是一种尊重和善意，还没有到“爱”的程度，但是她让我想起我的奶奶来，我奶奶很喜欢摸我的手，每次见
  • python的循环结构 小小程序拿捏 Pythonpython少儿编程青少年编程开发语言
    引言在前面的课程中，我们已经学习了Python的基本输入输出、数据类型及其转换、顺序结构和分支结构。本课时将介绍Python中的循环结构，主要讨论如何使用for循环和while循环来重复执行一段代码。通过一个具体的示例——打印九九乘法表，我们将展示如何在实际编程中应用这些知识。循环结构循环结构允许程序重复执行某段代码直到满足某个条件为止。Python中提供了两种基本的循环结构：for循环和whil
  • Python 的分支结构 小小程序拿捏 Pythonpython少儿编程青少年编程开发语言
    引言在前面的课程中，我们已经学习了Python的基本输入输出、数据类型及其转换，以及简单的顺序结构程序设计。本课时将介绍Python中的分支结构，主要讨论如何使用条件语句if,elif,else来根据不同的条件执行不同的代码块。通过两个具体的示例——判断一个数是奇数还是偶数，以及计算一个人的健康指数，我们将展示如何在实际编程中应用这些知识。分支结构在编程中，分支结构使得程序可以根据不同的条件执行不
  • simulink风光火储一次调频，风机,simulink二次调频AGC风电风机储能电动汽车水电火电二次调频 科研_研学社 matlab
    欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录⛳️赠与读者1概述一、一次调频及风光火储应用二、二次调频（AGC）及多能源协调2运行结果3参考文献4Simulink仿真实现⛳️赠与读者‍做科研，涉及到一个深在的思想系统，需要科研者逻辑缜密，踏实认真，但是不能只是努力，很多时候借力比努力更重要，然后还要有仰望星空的创
  • 2019-03-08 出不染
    阴有雨转多云上午的时候妈妈尝试了把红薯泥加在面里做馒头，还有胡萝卜泥加在面里做小笼包，小家伙还是很喜欢吃小笼包的，想着我也要学着做包子才行呢。下午的时候给小家伙剃头发，小家伙一直盯着理发器，一放到头上就开始哭闹，拿玩具哄也分散不了小家伙的注意力，我就抱着他想他能平静下来，结果一听到理发器的声音还是会转头去寻找。尝试了几次后还是决定先放弃了，和孩子玩儿了点别的，然后趁着他的注意力在茶几上的果皮、喷瓶
  • 《九鼎风水师》第二百零七章 舅舅中邪了 先峰老师
    初中同学毕业后四年第一次聚会，这一次，由班级里有名的富二代庄仕朋个人出资举办的。一群十八九岁，朝阳年少的男男女女，各自围成各自的小圈子，三三两两的聊着天，学着电视中，端着个酒杯，很是风雅从容的在会场之中交谈着。尚文龙一行四人的进来，并没有影响到众人，更没有引起任何喧哗。看着眼前的情形，尚文龙不由的好笑，一群大多数还是学生的聚会，装作那些成功人士举办晚会一样，尚文龙就觉得有点戳中了笑点。看到这样的情
  • 滴滴打车无门槛优惠券领取步骤，这3个渠道靠谱 全网优惠分享君
    随着移动互联网的普及，滴滴打车作为国内最大的出行平台之一，受到了广大用户的青睐。为了吸引更多的用户，滴滴打车经常会推出各种优惠活动，其中无门槛优惠券成为了用户们的最爱。那么，如何领取滴滴打车的无门槛优惠券呢？本文将为你介绍3个靠谱的领取渠道。渠道一：滴滴打车官网首先，你可以访问滴滴打车的官方网站（，在首页上找到“优惠券”栏目。点击进入后，你可以看到不同类型的优惠券，包括无门槛优惠券。选择你需要的优
  • 见信如唔，最浪漫的一句话 大大和十三
    图片发自App上周六看了新一期的《开门大吉》，很早之前看过这个综艺，感觉就和歌名猜猜猜的游戏一样，唯一不同在于它可以赢得家庭梦想基金。但是上周六的节目一位选手给我留下了深刻的印象，她是来自上海的高晓梅，退休前她说上海商学院的一名教师，退休后她是上海博物馆的一名讲解员。高老师从上台开始一直都是乐呵呵的，直到介绍亲友团的时候，主持人说一直提到的爱人因为身体的原因没能到场，但是他托女儿写了一封信给高老师
  • 生而为人怎会不累 一5小确幸
    文/暖暖忆笙你总说你很累，可谁有活的顺风顺水。累吗？人类人类怎会不累，生而为人怎可不累。你的妈妈从十月怀胎到生你的那刻是身艰难很辛苦的，慢慢地含辛茹苦的把你养大成人....还一遍工作一遍照顾家庭。你的父亲一直为了你们的家庭所打拼，创造好的家庭生活状态，起早贪黑。这不累？累。你呢？仅仅因为不被看好被否定就逃避吗？仅仅因为害怕失去就怕拥有？害怕累就不努力吗？生而为人对不起让你累，身而为人怎能不累但不要
  • Github官方桌面客户端 zwb_jianshu
    GitHub是一个面向开源及私有软件项目的托管平台，因为只支持git作为唯一的版本库格式进行托管，故名gitHub。如果你是一名程序员，那么一定会听过或用过现在最流行的版本控制工具GIT！而GitHub.com则是目前全球最热门的公共代码仓库网站，多到数不清的知名开源项目源代码都是托管在它上面。GitHubDesktop免费的Github官方桌面客户端首先，我先对GitHub来一个简单的介绍，Gi
  • Cisco SD-WAN (Viptela) 20.15.1 发布，新增功能概览 sysin.org CiSCOCiscoSD-WANViptela思科SDN软件定义广域网
    CiscoSD-WAN(Viptela)version20.15.1ED-软件定义广域网CiscoSD-WANpoweredbyViptela请访问原文链接：https://sysin.org/blog/cisco-sd-wan-20/，查看最新版。原创作品，转载请保留出处。作者主页：sysin.org支持SASE的架构，其集成了面向多云、安全、统一通信和应用优化的各种功能，可用于轻松安全地将任何
  • 世卫组织警告：到目前为止新变种XE可能是传播速度最快的新冠毒株 樂伊李_李昂梁
    英国政府官网近日发布消息报告了3种新冠病毒变种重组情况。数据显示，英国目前已发现了637例XE病例(即奥密克戎BA.1和BA.2的重组)。虽然该病例较为稀少，但它具有极高的传播速度，这意味着XE具有大范围流行的潜力。据英国政府网站介绍，当个体同时感染2种或更多的新冠变种时，就会产生重组变种。而这种情况并不少见，在新冠大流行期间已发现了几种新冠变种重组的情况。英国卫生安全局(UKHSA)对3种情况进
  • 十五的月亮十六圆-2022-09-11 吴理数
    今天是农历八月十六，宁波人的中秋节，今天三件事，忙碌而充实。一、游泳。早晨5：30，自然醒来，6：00出发去同山脚水库。有人管着，车不能进去，于是停在林家村口，步行十分钟到水库。途中管理人员主动打招呼，你车停在村口啊，我说是，他说那里比较合适，然后又说起，街道的领导说，老林，你人管不住，难道汽车也管不住吗，确实也理解他的难言之苦，所以，也自觉点，不开车进去。到了水库大坝，正好遇到高中同学沈跃军的哥
  • 拼多多返利app哪个最高_拼多多怎么拿返佣? 小小编007
    拼多多，淘宝，京东国内三大主流电商平台。京东最高端，淘宝次之，拼多多最平民大众。殊不知，除了在拼多多上买东西便宜外，还可以拿到拼多多商家的高额返利返佣。拼多多返利app，哪个给的最高，门槛最低？首推果冻宝盒。一、果冻宝盒有什么使用限制？果冻宝盒实行邀请注册，顶级邀请码：223377，注册和使用果冻宝盒是没有任何费用的。果冻宝盒会员的权益：1、可使用果冻宝盒搜索到淘宝天猫等各大电商平台的隐藏优惠券，
  • 推荐开源项目：Zotero引用计数管理器——学术研究的智能助手 蔡鸿烈Hope
    推荐开源项目：Zotero引用计数管理器——学术研究的智能助手zotero-citationcountsZoteropluginforauto-fetchingcitationcountsfromvarioussources项目地址:https://gitcode.com/gh_mirrors/zo/zotero-citationcounts项目介绍在学术界，每篇论文背后都承载着学者们辛勤的研究成
  • Zotero引文计数插件使用教程 齐飞锴Timothea
    Zotero引文计数插件使用教程zotero-citationcountsZoteropluginforauto-fetchingcitationcountsfromvarioussources项目地址:https://gitcode.com/gh_mirrors/zo/zotero-citationcounts项目介绍Zotero引文计数插件是由非盈利组织DigitalScholarshipCo
  • 给你最好的陪伴 大_ad20
    每次只要说出门，玥妞就会很开心，尤其是有爸爸妈妈陪伴的时候，开心的简直都快飞起来。着急出门，都会把我鞋子拿好，让我带她出去！每次只要爸爸在，她就可以不用自己走路，因为有爸爸抱她！今天是周末，广场上有充气城堡，玥玥最喜欢玩这个了。玩的时候考虑到宝爸平时上班没时间陪她玩，为了增进父女之间的感情，我就让他爸陪她上去玩。可是，谁知道她爸不愿意，问了半天，他才不好意思的说他袜子烂了(๑•.•๑)原来是因为不
  • 如何搭建一个ip池用来做数据抓取用 KookeeyLena4 tcp/ip网络服务器
    在当今的数据驱动时代，数据抓取成为了获取网络信息的重要手段。然而，频繁的数据抓取活动可能会触发网站的安全机制，导致IP被封禁。为了维持数据抓取的持续性和稳定性，构建一个有效的IP池变得至关重要。本文将详细介绍如何搭建一个用于数据抓取的IP池，以及相关的策略和最佳实践。一、IP池的概念IP池是一个包含多个IP地址的集合，这些IP地址可以是动态的，也可以是静态的，用于在数据抓取过程中轮换使用，以避免因
  • 车载以太网之SOME/IP IT_码农 车载以太网车载以太网SOME/IP
    整体介绍SOME/IP(全称为：Scalableservice-OrientedMiddlewarEoverIP)，是运行在车载以太网协议栈基础之上的中间件，或者也可以称为应用层软件。发展历程AUTOSAR4.0-完成宝马SOME/IP消息的初步集成；AUTOSAR4.1-支持SOME/IP-SD及其发布/订阅功能；AUTOSAR4.2-添加transformer用于序列化以及其他相关优化；AUT
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 游园 杨自路
    今天是5月2日，月季大观园正式对外开放的第二天。早已听说游人爆满，本不想去凑热闹，正好老家来了亲戚，就一起去了。因为听说景区外面实施交通管制，所以就坐公交去，公交也是爆满，不过还算运气好，刚到站点就赶上了一趟公交。晃晃悠悠走了40多分钟才到，到时已经四点多了。天很热，太阳很毒，游人们兴致高涨。从东园进去，一眼便看见了一个大湖，湖对岸是月季大会主会场，造型像一朵盛开的粉色月季花，很漂亮。我们逆时针一
  • 设计模式介绍 tntxia 设计模式
    设计模式来源于土木工程师 克里斯托弗 亚历山大（http://en.wikipedia.org/wiki/Christopher_Alexander）的早期作品。他经常发表一些作品，内容是总结他在解决设计问题方面的经验，以及这些知识与城市和建筑模式之间有何关联。有一天，亚历山大突然发现，重复使用这些模式可以让某些设计构造取得我们期望的最佳效果。 亚历山大与萨拉-石川佳纯和穆雷 西乐弗斯坦合作
  • android高级组件使用(一) 百合不是茶 androidRatingBarSpinner
    1、自动完成文本框（AutoCompleteTextView） AutoCompleteTextView从EditText派生出来，实际上也是一个文本编辑框，但它比普通编辑框多一个功能：当用户输入一个字符后，自动完成文本框会显示一个下拉菜单，供用户从中选择，当用户选择某个菜单项之后，AutoCompleteTextView按用户选择自动填写该文本框。 使用AutoCompleteTex
  • [网络与通讯]路由器市场大有潜力可挖掘 comsci 网络
              如果国内的电子厂商和计算机设备厂商觉得手机市场已经有点饱和了,那么可以考虑一下交换机和路由器市场的进入问题.....        这方面的技术和知识,目前处在一个开放型的状态,有利于各类小型电子企业进入  &nbs
  • 自写简单Redis内存统计shell 商人shang Linux shell统计Redis内存
    #!/bin/bash address="192.168.150.128:6666,192.168.150.128:6666" hosts=(${address//,/ }) sfile="staticts.log" for hostitem in ${hosts[@]} do ipport=(${hostitem
  • 单例模式(饿汉 vs懒汉) oloz 单例模式
    package 单例模式; /* * 应用场景:保证在整个应用之中某个对象的实例只有一个 * 单例模式种的《 懒汉模式》 * */ public class Singleton { //01 将构造方法私有化，外界就无法用new Singleton()的方式获得实例 private Singleton(){}; //02 申明类得唯一实例 priva
  • springMvc json支持 杨白白 json springmvc
    1.Spring mvc处理json需要使用jackson的类库，因此需要先引入jackson包 2在spring mvc中解析输入为json格式的数据:使用@RequestBody来设置输入 @RequestMapping("helloJson") public @ResponseBody JsonTest helloJson() {
  • android播放，掃描添加本地音頻文件 小桔子
            最近幾乎沒有什麽事情，繼續鼓搗我的小東西。想在項目中加入一個簡易的音樂播放器功能，就像華為p6桌面上那麼大小的音樂播放器。用過天天動聽或者QQ音樂播放器的人都知道，可已通過本地掃描添加歌曲。不知道他們是怎麼實現的，我覺得應該掃描設備上的所有文件，過濾出音頻文件，每個文件實例化為一個實體，記錄文件名、路徑、歌手、類型、大小等信息。具體算法思想，
  • oracle常用命令 aichenglong oracledba常用命令
    1 创建临时表空间 create temporary tablespace user_temp  tempfile 'D:\oracle\oradata\Oracle9i\user_temp.dbf' size 50m  autoextend on  next 50m maxsize 20480m  extent management local
  • 25个Eclipse插件 AILIKES eclipse插件
    提高代码质量的插件1. FindBugsFindBugs可以帮你找到Java代码中的bug，它使用Lesser GNU Public License的自由软件许可。2. CheckstyleCheckstyle插件可以集成到Eclipse IDE中去，能确保Java代码遵循标准代码样式。3. ECLemmaECLemma是一款拥有Eclipse Public License许可的免费工具，它提供了
  • Spring MVC拦截器+注解方式实现防止表单重复提交 baalwolf spring mvc
    原理：在新建页面中Session保存token随机码，当保存时验证，通过后删除，当再次点击保存时由于服务器端的Session中已经不存在了，所有无法验证通过。   1.新建注解：   ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
  • 《Javascript高级程序设计(第3版)》闭包理解 bijian1013 JavaScript
    “闭包是指有权访问另一个函数作用域中的变量的函数。”--《Javascript高级程序设计(第3版)》         看以下代码： <script type="text/javascript"> function outer() { var i = 10; return f
  • AngularJS Module类的方法 bijian1013 JavaScriptAngularJSModule
            AngularJS中的Module类负责定义应用如何启动，它还可以通过声明的方式定义应用中的各个片段。我们来看看它是如何实现这些功能的。 一.Main方法在哪里         如果你是从Java或者Python编程语言转过来的，那么你可能很想知道AngularJS里面的main方法在哪里？这个把所
  • [Maven学习笔记七]Maven插件和目标 bit1129 maven插件
    插件(plugin)和目标(goal) Maven，就其本质而言，是一个插件执行框架，Maven的每个目标的执行逻辑都是由插件来完成的，一个插件可以有1个或者几个目标，比如maven-compiler-plugin插件包含compile和testCompile，即maven-compiler-plugin提供了源代码编译和测试源代码编译的两个目标   使用插件和目标使得我们可以干预
  • 【Hadoop八】Yarn的资源调度策略 bit1129 hadoop
    1. Hadoop的三种调度策略 Hadoop提供了3中作业调用的策略， FIFO Scheduler Fair Scheduler Capacity Scheduler 以上三种调度算法，在Hadoop MR1中就引入了，在Yarn中对它们进行了改进和完善.Fair和Capacity Scheduler用于多用户共享的资源调度   2. 多用户资源共享的调度
  • Nginx使用Linux内存加速静态文件访问 ronin47
    Nginx是一个非常出色的静态资源web服务器。如果你嫌它还不够快，可以把放在磁盘中的文件，映射到内存中，减少高并发下的磁盘IO。 先做几个假设。nginx.conf中所配置站点的路径是/home/wwwroot/res，站点所对应文件原始存储路径：/opt/web/res shell脚本非常简单，思路就是拷贝资源文件到内存中，然后在把网站的静态文件链接指向到内存中即可。具体如下：
  • 关于Unity3D中的Shader的知识 brotherlamp unityunity资料unity教程unity视频unity自学
    首先先解释下Unity3D的Shader，Unity里面的Shaders是使用一种叫ShaderLab的语言编写的，它同微软的FX文件或者NVIDIA的CgFX有些类似。传统意义上的vertex shader和pixel shader还是使用标准的Cg/HLSL 编程语言编写的。因此Unity文档里面的Shader，都是指用ShaderLab编写的代码，然后我们来看下Unity3D自带的60多个S
  • CopyOnWriteArrayList vs ArrayList bylijinnan java
    package com.ljn.base; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.concurrent.CopyOnWriteArrayList; /** * 总述： * 1.ArrayListi不是线程安全的，CopyO
  • 内存中栈和堆的区别 chicony 内存
    1、内存分配方面：     堆：一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方式是类似于链表。可能用到的关键字如下：new、malloc、delete、free等等。     栈：由编译器(Compiler)自动分配释放，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中
  • 回答一位网友对Scala的提问 chenchao051 scalamap
    本来准备在私信里直接回复了，但是发现不太方便，就简要回答在这里。 问题 写道 对于scala的简洁十分佩服，但又觉得比较晦涩，例如一例，Map("a" -> List(11,111)).flatMap(_._2)，可否说下最后那个函数做了什么，真正在开发的时候也会如此简洁？谢谢    先回答一点，在实际使用中，Scala毫无疑问就是这么简单。
  • mysql 取每组前几条记录 daizj mysql分组最大值最小值每组三条记录
    一、对分组的记录取前N条记录：例如：取每组的前3条最大的记录 1.用子查询： SELECT * FROM tableName a  WHERE 3> (SELECT COUNT(*) FROM  tableName b WHERE b.id=a.id AND b.cnt>a. cnt) ORDER BY a.id,a.account DE
  • HTTP深入浅出 http请求 dcj3sjt126com http
      HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP，使HTTP客户（如Web浏览器）能够从HTTP服务器(Web服务器)请求信息和服务，HTTP目前协议的版本是1.1.HTTP是一种无状态的协议，无状态是指Web浏览器和Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后We
  • 判断MySQL记录是否存在方法比较 dcj3sjt126com mysql
    把数据写入到数据库的时，常常会碰到先要检测要插入的记录是否存在，然后决定是否要写入。 　　我这里总结了判断记录是否存在的常用方法： 　　sql语句： select   count ( * )  from  tablename; 　　然后读取count(*)的值判断记录是否存在。对于这种方法性能上有些浪费，我们只是想判断记录记录是否存在，没有必要全部都查出来。
  • 对HTML XML的一点认识 e200702084 htmlxml
    感谢http://www.w3school.com.cn提供的资料 HTML 文档中的每个成分都是一个节点。 节点 根据 DOM，HTML 文档中的每个成分都是一个节点。 DOM 是这样规定的： 整个文档是一个文档节点 每个 HTML 标签是一个元素节点 包含在 HTML 元素中的文本是文本节点 每一个 HTML 属性是一个属性节点 注释属于注释节点 Node 层次
  • jquery分页插件 genaiwei jqueryWeb前端分页插件
    //jquery页码控件// 创建一个闭包    (function($) {      // 插件的定义      $.fn.pageTool = function(options) {        var totalPa
  • Mybatis与Ibatis对照入门于学习 Josh_Persistence mybatisibatis区别联系
    一、为什么使用IBatis/Mybatis         对于从事 Java EE 的开发人员来说，iBatis 是一个再熟悉不过的持久层框架了，在 Hibernate、JPA 这样的一站式对象 / 关系映射（O/R Mapping）解决方案盛行之前，iBaits 基本是持久层框架的不二选择。即使在持久层框架层出不穷的今天，iBatis 凭借着易学易用、
  • C中怎样合理决定使用那种整数类型？ 秋风扫落叶 c数据类型
    如果需要大数值(大于32767或小于32767), 使用long 型。 否则, 如果空间很重要 (如有大数组或很多结构), 使用 short 型。 除此之外, 就使用 int 型。 如果严格定义的溢出特征很重要而负值无关紧要, 或者你希望在操作二进制位和字节时避免符号扩展的问题, 请使用对应的无符号类型。 但是, 要注意在表达式中混用有符号和无符号值的情况。    &nbs
  • maven问题 zhb8015 maven问题
      问题1： Eclipse 中 新建maven项目 无法添加src/main/java 问题    eclipse创建maevn web项目，在选择maven_archetype_web原型后，默认只有src/main/resources这个Source Floder。     按照maven目录结构，添加src/main/ja
  • (二)androidpn-server tomcat版源码解析之--push消息处理 spjich javaandrodipn推送
    在 (一)androidpn-server tomcat版源码解析之--项目启动这篇中，已经描述了整个推送服务器的启动过程，并且把握到了消息的入口即XmppIoHandler这个类，今天我将继续往下分析下面的核心代码，主要分为3大块，链接创建，消息的发送，链接关闭。 先贴一段XmppIoHandler的部分代码 /** * Invoked from an I/O proc
  • 用js中的formData类型解决ajax提交表单时文件不能被serialize方法序列化的问题 中华好儿孙 JavaScriptAjaxWeb上传文件FormData
    var formData = new FormData($("#inputFileForm")[0]); $.ajax({ type:'post', url:webRoot+"/electronicContractUrl/webapp/uploadfile", data:formData, async: false, ca
  • mybatis常用jdbcType数据类型 ysj5125094 mybatismapperjdbcType
      MyBatis 通过包含的jdbcType 类型 BIT         FLOAT      CHAR          
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他