weixin_39764494
weixin_39764494

gdal源码剖析与开发指南pdf_QGIS二次开发笔记(4)——Linux和macOS环境配置

最近折腾了一下 Linux 和 macOS 下的环境配置，感觉 Linux 下因为有强大的包管理工具，总体上配置 QGIS 开发环境是比较方便地。而 macOS 虽然没有 apt 那么强大的工具，但是和 Windows 一样，依赖库可以直接下载，有坑但是总体上也比较方便。

Linux

QGIS 在 Linux 上配置环境是比较方便的，根据官方文档进行配置就可以了。依赖库可以如此安装

apt-get install bison ca-certificates ccache cmake cmake-curses-gui dh-python doxygen expect flex flip gdal-bin git graphviz grass-dev libexiv2-dev libexpat1-dev libfcgi-dev libgdal-dev libgeos-dev libgsl-dev libpq-dev libproj-dev libprotobuf-dev libqca-qt5-2-dev libqca-qt5-2-plugins libqscintilla2-qt5-dev libqt5opengl5-dev libqt5serialport5-dev libqt5sql5-sqlite libqt5svg5-dev libqt5webkit5-dev libqt5xmlpatterns5-dev libqwt-qt5-dev libspatialindex-dev libspatialite-dev libsqlite3-dev libsqlite3-mod-spatialite libyaml-tiny-perl libzip-dev lighttpd locales ninja-build ocl-icd-opencl-dev opencl-headers pkg-config poppler-utils protobuf-compiler pyqt5-dev pyqt5-dev-tools pyqt5.qsci-dev python3-all-dev python3-autopep8 python3-dateutil python3-dev python3-future python3-gdal python3-httplib2 python3-jinja2 python3-lxml python3-markupsafe python3-mock python3-nose2 python3-owslib python3-plotly python3-psycopg2 python3-pygments python3-pyproj python3-pyqt5 python3-pyqt5.qsci python3-pyqt5.qtsql python3-pyqt5.qtsvg python3-pyqt5.qtwebkit python3-requests python3-sip python3-sip-dev python3-six python3-termcolor python3-tz python3-yaml qt3d-assimpsceneimport-plugin qt3d-defaultgeometryloader-plugin qt3d-gltfsceneio-plugin qt3d-scene2d-plugin qt3d5-dev qt5-default qt5keychain-dev qtbase5-dev qtbase5-private-dev qtpositioning5-dev qttools5-dev qttools5-dev-tools saga spawn-fcgi pandoc xauth xfonts-100dpi xfonts-75dpi xfonts-base xfonts-scalable xvfb

其中 python-autopep8 可能会报没有这个库，那用 pip 装其实也一样，去掉也行。

然后使用 cmake 配置 QGIS ，使用 make 编译就可以了。比如 Ubuntu 系统下，在 QGIS 源码仓库里面

mkdir BUILD
cd BUILD
cmake ..
make -j8
sudo make install

基本上无需其他操作。

然后就是安装 QtCreator 了。下载 Qt 在线安装器，可以从清华大学开源软件镜像站下载

Index of /qt/archive/online_installers/3.2/​mirrors.tuna.tsinghua.edu.cn
gdal源码剖析与开发指南pdf_QGIS二次开发笔记(4)——Linux和macOS环境配置_第1张图片

然后安装 Qt 。只安装 QtCreator 的话，可能不能使用之前 apt 安装的 Qt 库。所以要查看一下 apt 安装的 Qt 版本，然后安装一个主次版本号相同的 Qt 库，才能让 QtCreator 使用。

但是注意有个坑。如果你需要使用 Armadiilo9 这个库，在之前 apt 安装 GDAL 的时候会自动安装一个 armadillo8 ，貌似和 Armadillo9 不兼容。所以需要先卸载 GDAL 及其相关依赖库，然后自行编译 PROJ, GEOS, Armadillo 以及 GDAL 库。

总体来说 Linux 不愧是开发界永远的神，确实很方便。

更新 2020年9月21日 关于 QGIS 库的使用 
unix {
    INCLUDEPATH += /usr/local/include/qgis 
        /usr/include/gdal 
        /usr/include/qwt 
        /usr/include/x86_64-linux-gnu/qt5 
        /usr/lib/gcc/x86_64-linux-gnu/9/include
    LIBS += -lqgis_core -lqgis_gui -l"qwt-qt5"
}

将这段配置添加到 pro 文件中即可

macOS

在 macOS 上坑就略有点多了，比较复杂。首先还是参照官方文档，先安装 XCode 命令行工具

sudo xcode-select --install

然后安装 brew 工具。这个东西可以使用清华大学提供的版本，速度比较快

Tsinghua Open Source Mirror​mirrors.tuna.tsinghua.edu.cn
gdal源码剖析与开发指南pdf_QGIS二次开发笔记(4)——Linux和macOS环境配置_第2张图片

如果电脑上有 homebrew ，那么一定要先卸载 homebrew 而且要把残留的文件删掉（残留哪些文件卸载 homebrew 的时候会提示）

然后按照关方说明安装工具

brew install git
brew install cmake
brew install ninja
brew install pkg-config
brew install wget
brew install bash-completion
brew install curl
brew install gnu-sed
brew install coreutils
brew install ccache
brew install libtool
brew install astyle
brew install help2man
brew install autoconf
brew install automake
brew install pandoc

然后安装依赖包，安装依赖包的主要方法是在这个地址https://qgis.org/downloads/macos/deps/ 下载三个文件

  • install_qgis_deps-0.5.4.bash
  • qgis-deps-0.5.4.tar.gz
  • qt-5.14.2.tar.gz

注意一定是 0.5.4 版本，0.5.3 版本编译会有 Segmentation Fault 的问题。然后运行那个 bash 脚本，就可以把依赖库安装到 /opt 文件夹中。当然也可以手动编译安装，除非你愿意的话。

然后就是 CMake 配置并编译了

QGIS_DEPS_VERSION=0.3.0;
    QT_VERSION=5.14.1;
    PATH=/opt/QGIS/qgis-deps-${QGIS_DEPS_VERSION}/stage/bin:$PATH;
    cmake 
      -DCMAKE_INSTALL_PREFIX=~/Applications 
      -DCMAKE_BUILD_TYPE=Release 
      -DQGIS_MAC_DEPS_DIR=/opt/QGIS/qgis-deps-${QGIS_DEPS_VERSION}/stage 
      -DCMAKE_PREFIX_PATH=/opt/Qt/${QT_VERSION}/clang_64 
      ..

此处最好使用 ccmake 修改一些配置，例如

  • Proj GDAL GEOS 三大库的包含目录和库文件使用 /opt/QGIS 下面的版本
  • HDF5 所需要的 libm libz libdl 都使用 mac 系统自带的版本
  • 关闭一些不需要的功能

然后就可以 make 编译了。理论上 make install 就可以了。

但是这里会遇到一个 @rpath 的问题，是 Mac 下特有的。以这种方式配置的 Qt 库，当 QGIS 在安装过程中拷贝 QCA 并更新库路径的时候，会遇到一个问题

dyld: Library not loaded: @rpath/QtCore.framework/Versions/5/QtCore
    Referenced from: /opt/QGIS/qgis-deps-0.5.4/stage/bin/qcatool-qt5
    Reason: image not found

这是由于 Qt 的动态库并没有放在系统路径中，导致 qcatool-qt5 没有动态库无法启动。解决方法参考

MAC：@rpath的坑​www.jianshu.com
gdal源码剖析与开发指南pdf_QGIS二次开发笔记(4)——Linux和macOS环境配置_第3张图片

即在命令行中运行

install_name_tool -add_rpath [Qt库的路径] /opt/QGIS/qgis-deps-0.5.4/stage/bin/qcatool-qt5

然后再 make install 即可。

你可能感兴趣的:(linux安装qt,linux里qt画直线,phpcms二次开发下载镜像,qt,sqlite,mac,编译配置)

  • Linux中Centos和Ubuntu的区别是什么? 老男孩IT教育 linuxcentosubuntu
    Linux是一种免费使用和自由传播的类UNIX操作系统，拥有众多发行版本，其中最受欢迎的就是Centos和Ubuntu，各自具有独特的特点和优势，那么Linux中Centos和Ubuntu的区别是什么?具体请看下文。CentOS和Ubuntu都是流行的Linux发行版，但它们在用途和目标用户方面存在一些关键差异。起源和目标CentOS是RedHatEnterpriseLinux的一个免费和开源版本
  • 插画线稿练习（5） 龍佑
    今天画的是林依晨小姐姐肉嘟嘟的时候，一下子又回到了年轻时候追台剧的时候，真是爷青回。不记得是《恶作剧之吻》还是其他剧照。感觉有点好笑，但也不知道为什么？是五官比例问题？还是表情导致？究竟是哪个步骤有问题呢？
  • 结果思维：总觉得自己忙碌却“无为”？你可能是在瞎忙…… 时间管理金博星
    没有结果思维的社会现象我们的身边，一定有这么一群人。在图书馆看书，一幅认真，正襟危坐的样子，似乎徜徉在书海中，努力的汲取知识。好景不长，期间慢慢的开始打电话，看微信，听歌，玩游戏，睡觉。好几个小时下来，书也就随便翻了几页；跟朋友一起吃饭的时候，点菜的时候，永远都是随便，随意，似乎佛系的标榜对于他来说，是一种心态的褒奖。碰上一桌不太喜欢吃的菜，明明心里却很抵触，却还一副若无其事的样子。职场里，浑浑噩
  • 目前最火的仙侠手游是哪些 人气最高的仙侠手游排行榜2023 诸葛村夫123
    对于仙侠，国人似乎有一种特别情怀，不管是文学古典的传承，还是影视影音的渲染，都让大家沉浸在仙侠的世界里无法自拔，对于来到手游的仙侠，目前哪些可以不充钱就能玩呢？说到仙侠游戏的历程，可谓心酸无比，在最初的无人问津，再到登顶游戏圈，仙侠一类的游戏刷新了玩家的认知，但是近几年频繁出现的内部号事件，让无数玩家痴迷，这类账号进服既有4000左右的充值礼包，每日达到时长还有500-1800左右的充值礼包券，要
  • 朋友、友谊 琐珥
    友谊是两个平等者之间的无私交往;感情则是暴君与奴隶之间的卑下交流。很多时候会有人提问，男女之间会有纯洁的友谊吗？很多人的答案都是否定的，但我相信它的存在，并且发生在我的身边。但人生的路上总有一些人会对我微笑，就是这些人丰富了生命，填充了生命的空白。当百年再度回首，才发现这些人已刻进了骨髓，混肴进了血液里，再也消失不掉一部分。常听人说，人世间最纯净的友情只存在于孩童时代。这是一句极其悲凉的话，居然有
  • 令人怀念的童年——“花猫三丫”读后感 小周倩笑
    这两天在读的是《花猫三丫上房了》这本书，写的是北京老城一条胡同里的生活。“我”这个大丫养了一只花猫，取名“三丫”。这只小花猫，是我从刘婶家抱来的，当时还没有断奶，妈妈还不是很愿意家里再添一张嘴，在“我”的极力争取下，三丫被留下，但照顾它就完全成了“我”的事情，家里人是完全放手不管的。在养育小花猫的过程中，“我”感受到了责任和担当，“突然觉得自己长大了不少”。三丫和“我”一起长大，它跟“我”性情贴近
  • Python爬虫【二十四章】分布式爬虫架构实战：Scrapy-Redis亿级数据抓取方案设计 程序员_CLUB Python入门到进阶python爬虫分布式
    目录一、背景：单机爬虫的五大瓶颈二、Scrapy-Redis架构深度解析1.架构拓扑图2.核心组件对比三、环境搭建与核心配置1.基础环境部署2.Scrapy项目配置四、分布式爬虫核心实现1.改造原生Spider2.布隆过滤器集成五、五大性能优化策略1.动态优先级调整2.智能限速策略3.连接池优化4.数据分片存储5.心跳监控系统六、实战：新闻聚合平台数据抓取1.集群架构2.性能指标七、总结1.核心收
  • Python,Java,C++开发磁悬浮原理与技术实操APP Geeker-2025 pythonjavac++
    #磁悬浮原理与技术实操APP技术方案基于Python、Java和C++开发的磁悬浮原理学习与应用APP，结合理论教学与实操模拟：##系统架构设计```mermaidgraphTDA[跨平台客户端-C++/Qt]-->|API调用|B[后端服务-Java/Spring]B-->C[磁悬浮模拟引擎-Python]B-->D[硬件控制接口]C-->E[物理模型计算]D-->F[磁悬浮套件]A-->G[3
  • Python,C++开发电学/动力学与发明创造APP
    #电学/动力学与发明创造APP-Python与C++集成解决方案##系统架构设计```mermaidgraphTDA[用户界面-Qt/PyQt]-->B[应用逻辑层-Python]B-->C[核心引擎-C++]C-->D[硬件接口]C-->E[物理引擎]B-->F[3D可视化]F-->G[OpenGL/Vulkan]```##技术栈分工|组件|技术|功能||------|------|------
  • Binder跨进程通信机制 四喜汤圆
    一、相关概念进程空间把进程空间分为用户空间和内核空间。进程间：用户空间不可共享，内核空间可以共享，所有进程共用一个内核空间。用户空间和内核空间的交互通过系统调用。copy_from_user：将数据从用户空间拷贝到内核空间copy_to_user：将数据从内核空间拷贝到用户空间进程隔离在Linux中，虚拟内存机制为每个进程分配了线性连续的内存空间，OS将这种虚拟内存空间映射到物理内存空间。-->每
  • 心情低落时，更需要正面词 Rong_a215
    心情低落，负面情绪暴涨的时候，需要更多的正面关键词调整心情。最近，刚跳槽，工作无交接，直接汇报老板，压力突增，关键工作内容是我的短板。因此进入一个怪圈，不断自我否定，自我安慰，自我逃避，自我救赎……一直处于深深的焦虑中。崩溃边缘，闺蜜的话点醒了我，你最近都是负面词，你需要多给自己正面关键词。对，正面关键词～能被录用代表肯定你的能力，短板就只是短板，无须一概而全。工作里，我们得清晰自己的长版，发挥极
  • 社工在新冠疫苗接种点里可以充当什么角色” YY滢
    这一周，广州全面为60岁以上老年人提供免费新冠疫苗接种服务了，也全面放开了18岁以上(含60岁以上)人群接种第一剂和第二剂新冠疫苗，还对港澳台、外籍人士提供了接种新冠疫苗的服务，这令原本平稳完成接种任务的接种点忽然人数暴增，工作量也持续增加，需要的志愿者或者工作人员的要求也越来越高，这个变化，促使我几乎每天都在社工站往返接种点中度过。其实，从4月开始，社工站就已承担起疫苗接种点的部分工作了，每天安
  • 小丑 庆寒
    一束细细的灯光打在黑乎乎的舞台中央，半天没有动静。突然，一个人跌倒在光束里，趴在地上，脸上涂着浓厚的油彩，黄色的衣服尤为幼稚，硕大的红鼻子头碍事地摇晃着。他张着嘴仿佛说了什么，夸张的形体惹得台前的孩子笑出了眼泪。这是全国最著名的小丑，一个伟大的喜剧家。后台，小丑的化妆台在一众演员的边上，模糊的镜子，布面破损的矮凳，桌子上乱七八糟地放着脏乱破旧的道具，要搬家了，马戏团为期一个半月的演出完毕准备流浪去
  • 分布式爬虫架构：Scrapy-Redis+Redis集群实现百万级数据采集 傻啦嘿哟 分布式爬虫架构
    目录当单机爬虫遇到百万数据量架构设计核心原理分布式任务调度弹性去重机制Redis集群部署实践集群规模计算高可用配置Scrapy项目改造分布式爬虫编写百万级数据优化策略流量控制机制动态IP代理数据存储优化实战案例分析监控与维护集群健康检查日志分析架构演进方向当单机爬虫遇到百万数据量想象你正在搭建一个电商价格监控系统，需要每天抓取十万条商品数据。使用传统Scrapy框架时，单台服务器每天最多只能处理3
  • Python,C++开发磁流体研究以及应用APP Geeker-2025 pythonc++
    #Python与C++开发磁流体研究与应用APP方案以下是一个结合Python与C++的磁流体(MHD)研究与应用APP的完整技术方案，融合了高性能计算、实时仿真和工业应用场景：##系统架构设计```mermaidgraphTDA[用户界面层]-->B[Python应用层]B-->C[C++核心计算层]C-->D[硬件接口层]D-->E[实验设备/传感器]subgraph前端A1[桌面端-PyQt
  • 百日日更134：别内耗，你想象中的困难要验证了才知道 暖阳育儿
    我和朋友组织的线下读书会，明天下午就举办了，心情很激动，这两天一直在脑子里过分享稿，和朋友对接场地、费用、程序等等细节部分，我们虔诚地祈祷能有个好的开始，也尽力去将这个读书会做得完美。目前报名的人不算多，有人在观望，有人觉得没有准备好分享的内容，有点胆怯思想。我非常理解这种心情。5年前我决定大龄考研时，我也忐忑不安，满脑子都是对自己的质疑：背了单词记不住怎么办，家里照顾不了怎么办，考不上会不会被人
  • 开学第一天 月城风
    我叫程樱，一个出生在南方的姑娘，从小爸爸妈妈教育我要努力学习才能出路，所以从小到大我都是别人口中的“别人家的孩子”。我也很享受这种被夸赞的感觉，所以我拼了命去学习，学习一直都是名列前茅，初三时我以全级第一名的成绩进入到市重点高中。我很期待我的高中生活，中考结束后，我和我的闺蜜赵雯彻夜未眠，因为太兴奋了，终于要结束初中生活，再过三年高中，我们就可以去到那个向往的大学。这年的夏天格外的炎热，坐在院子里
  • 【转】【译】How to Handle Very Long Sequences with LSTM（LSTM RNN 超长序列处理） 开始奋斗的胖子 机器学习RNNLSTM序列深度学习
    原文地址http://machinelearningmastery.com/handle-long-sequences-long-short-term-memory-recurrent-neural-networks/一个长的输入序列却只对应一个或者一小段输出就是我们经常说的序列标注和序列分类。主要包括下面一些例子：包含上千个词的文件情感分类（NLP）包含上千个时间状态的脑电痕迹分类（Medici
  • #Linux内存管理# 假设使用printf打印指针bufA和bufB指向的地址是一样的，那么在内核中这两块虚拟内存是否“打架”了呢？
    不，在内核中这两块虚拟内存不会“打架”。原因在于虚拟内存的工作原理和内核的管理机制。下面我将详细解释，基于你描述的场景：假设在同一个进程或不同进程中，使用printf打印出的bufA和bufB的虚拟地址值相同。关键点：虚拟地址是进程本地的用户空间虚拟地址的含义：printf打印的地址是用户空间的虚拟地址（VirtualAddress）。每个进程都有自己的虚拟地址空间，由操作系统内核通过内存管理单元
  • #Linux内存管理# vm_normal_page()函数返回的什么样页面的struct page数据结构？为什么内存管理代码中需要这个函数？
    vm_normal_page()函数是Linux内核内存管理的一个关键且微妙的函数，其职责和返回结果需要深入理解。下面详细解释：1.vm_normal_page()返回什么样的structpage？vm_normal_page()函数接收一个有效的、已经存在于物理内存中的页表项（PTE）作为输入（即pte_present(pte)必须为true），然后返回一个指向与该PTE所映射的物理页帧相对应的
  • 无解 LUCKFAIRY_9c19
    人生在世，所有的问题都有答案和解决。当然，在世人生，又有很多的问题是无解和寻找。最近有一个问题困扰我好久，不知如何做选择，我经朋友介绍认识了我现在的男朋友，他家庭条件一般，有两个高中生，他自己也是比较有上进心，对我也很好，当然对我好也有一小半的原因是因为我肚子里的孩子，他爸妈都是工人，现在他辞职了没有输入来源，可能是因为我肚子里的孩子。我妈不同意我们在一起，非要让我打掉孩子，和他们看好的男孩子相亲
  • Python 中 sys 库的全面解析与实战应用 二向箔reverse 服务器python
    在Python的众多标准库中，sys库占据着举足轻重的地位。它与Python解释器紧密交互，为开发者提供了访问解释器内部信息和控制解释器行为的强大能力。无论是命令行参数处理、系统环境配置，还是程序退出控制，sys库都能大显身手。本文将带您深入探索sys库的常用功能，通过丰富的实例讲解，助您轻松掌握其使用技巧。sys库的基础认知sys库是Python的内置标准库，无需额外安装，只需通过imports
  • python环境安装jupyter 爱分享的胖头鱼 02.Python(基础知识)jupyteridepythonpython虚拟环境
    安装完毕之后下一步可以参考：配置jupyter的启动路径-CSDN博客1前提条件：python环境系统：win10python：本地已经有python，可以查看本地的python版本：C:\Users\PC>python--versionPython3.8.102安装jupyter并启动安装jupyterC:\Users\PC>pipinstalljupyternotebookCollecting
  • 《重拾交谈》1.数字时代更需要交谈 tliu223
    “如果我的孤独是鱼,想必连鲸鱼都会慑于其巨大与狰狞而逃之夭夭。”伊坂幸太郎书中的这句对白，道尽了数字时代人际关系的状态。科技让人际间的联系越来越便利，却也让人际间的联系变得越来越淡薄。办公室里、餐桌上、地铁里，到处是死死盯着手机屏幕的“低头族”，人际间的往来，似乎变成了无声的世界。这本《重拾交谈》，讲的就是我们应该如何找回“声音”、重拾交谈，在数字时代寻找真正的自我。作者雪莉·特克尔，是麻省理工学
  • 秋韵 人间雪白乘雪归
    一、校园久未提笔，时光流转匆匆，落笔间惊觉秋已深。近来秋雨反复，蓊郁山水，空濛缥缈，云气与天相接，山色已是一片伤心碧了。校园一直被包围在烟雾杳霭中，不得秋的清爽和空旷，在淅淅沥沥的雨里，默默的等待时光的宽宥，亦深知时间的优渥，终会将温暖泽被其上。校园的绣球花已经凋零，往日肥绿的叶子，也开始枯黄掉落，紫叶李、玉兰花、梧桐的树叶不断的随着风飘落。周末，校园被安静占领，被四周的秋色占领，被雀鸟占领。二、
  • 朴素贝叶斯 不会忘的名字
    1.关键词朴素:独立性假设贝叶斯公式贝叶斯公式简单例子另一个例子，现分别有A、B两个容器，在容器A里分别有7个红球和3个白球，在容器B里有1个红球和9个白球，现已知从这两个容器里任意抽出了一个球，且是红球，问这个红球是来自容器A的概率是多少?假设已经抽出红球为事件B，选中容器A为事件A，则有：P(B)=8/20，P(A)=1/2，P(B|A)=7/10，按照公式，则有：P(A|B)=(7/10)*
  • 在恋爱中学习爱情 坚冰至_Monsol
    苏州2018大雪实践出真知，是颠扑不破的真理。推而广之，在战争中学习战争，在水里学会游泳。光说不练，不仅是假把式，还是禁锢自己勇气、纯真、希望的牢笼。同样，在恋爱中学会爱情。每一次用心的“练习”，不仅给自己一生的感情之路，点缀上闪烁晶莹光泽的“小幸运”，还可能得遇相守一生的真幸运。苏州寒山寺甲·认准你要什么马云的“终极三问”，在感情里同样适用：你有什么？你要什么？你能放弃什么？人，不能贪心，不能什
  • 2018你若不离，2019我们继续❤谢谢你走进我的世界❤ 葑筝
    这一生，我们认识的人很多，相知的却少之有少。有些人，走着走着就进了心里；有些人，走着走着就淡出视线。朋友或是情人，能走过三个月的已不容易，能坚持六个月的值得珍惜，相守一年的堪称奇迹，能熬过两年的才叫知己，超过三年的值得记忆，五年后还在的，应该请进生命里，十年后依然在的，那就是亲人了，图片发自App是生命的一部分了。人和人相处久了，缺点会渐渐暴露出来，当对方把你看透了，却依然不嫌弃你，那就是真心！你
  • 如何解决一个flink on yarn集群上已经跑了一个job，再提交第二个job的时候，task报java heap size oom的问题 fzip Flinkflinkjava大数据
    在FlinkonYARN集群中提交第二个Job时出现Task的JavaHeapSizeOOM（内存溢出），核心原因是集群资源不足（第一个Job已占用大量资源，第二个Job分配的内存不够）或Job资源配置不合理（单个Job申请资源过多，或内存参数设置与实际需求不匹配）。解决需从“资源排查”“Job配置优化”“集群资源扩容”三个维度入手，具体步骤如下：一、先排查核心原因：确认资源占用与配置是否匹配1.
  • flink sql读hive catalog数据，将string类型的时间戳数据排序后写入kafka，如何保障写入kafka的数据是有序的 fzip Flinkflinksqlhive
    在FlinkSQL中，要确保从Hive读取的STRING类型时间戳数据排序后有序写入Kafka，需要结合批处理模式、时间类型转换、单分区写入和Kafka生产者配置。以下是完整解决方案：一、核心解决方案1.批处理模式+全局排序将作业设置为批处理模式，并对字符串时间戳进行类型转换后排序：--设置为批处理模式（关键！）SET'execution.runtime-mode'='batch';--从Hive
  • HQL之投影查询 归来朝歌 HQLHibernate查询语句投影查询
            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？ 针对上面的场景，如果需要将一个对象查出来： HQL语句写“from 对象”即可 Session session = HibernateUtil.openSession();
  • Spring整合redis bylijinnan redis
    pom.xml <dependencies> <!-- Spring Data - Redis Library --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redi
  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2 0624chenhong Hibernate
    参考：http://blog.csdn.net/qingfeilee/article/details/7052736 org.hibernate.NonUniqueResultException: query did not return a unique result: 2         在项目中出现了org.hiber
  • android动画效果 不懂事的小屁孩 android动画
    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。 第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。
  • js delete 删除机理以及它的内存泄露问题的解决方案 换个号韩国红果果 JavaScript
    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除） 举例： var person={name:{firstname:'bob'}} var p=person.name delete person.name p.firstname -->'bob' // 依然可以访问p.firstname，存在内存泄露
  • Oracle将零干预分析加入网络即服务计划 蓝儿唯美 oracle
    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
  • spring学习——springmvc（二） a-john springMVC
    Spring MVC提供了非常方便的文件上传功能。 1，配置Spring支持文件上传： DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
  • POJ-2828-Buy Tickets aijuans ACM_POJ
    POJ-2828-Buy Tickets http://poj.org/problem?id=2828 线段树，逆序插入 #include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
  • Java Ant build.xml详解 asia007 build.xml
    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
  • android按钮监听器的四种技术 百合不是茶 androidxml配置监听器实现接口
    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方;    1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似   创建监听器的实例 myLis lis = new myLis();   使用add方法给按钮添加监听器  
  • 软件架构师不等同于资深程序员 bijian1013 程序员架构师架构设计
            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。         如今很多的公司
  • TeamForge Wiki Syntax & CollabNet User Information Center sunjing TeamForgeHow doAttachementAnchorWiki Syntax
    the CollabNet user information center http://help.collab.net/   How do I create a new Wiki page? A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
  • 【Redis四】Redis数据类型 bit1129 redis
    概述 Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
  • SSH2整合-附源码 白糖_ eclipsespringtomcatHibernateGoogle
    今天用eclipse终于整合出了struts2+hibernate+spring框架。 我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。     补充1：项目中部分jar包不是最新版的，可能导
  • [转]开源项目代码的学习方法 braveCS 学习方法
    转自： http://blog.sina.com.cn/s/blog_693458530100lk5m.html http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html   1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
  • 编程之美-子数组的最大和（二维） bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; import java.util.Random; public class MaxSubArraySum2 { /** * 编程之美 子数组之和的最大值（二维） */ private static final int ROW = 5; private stat
  • 读书笔记-3 chengxuyuancsdn jquery笔记resultMap配置ibatis一对多配置
    1、resultMap配置 2、ibatis一对多配置 3、jquery笔记 1、resultMap配置 当<select resultMap="topic_data"> <resultMap id="topic_data">必须一一对应。 (1)<resultMap class="tblTopic&q
  • [物理与天文]物理学新进展 comsci
          如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境       怎么办呢?  
  • Oracle 11g新特性:Automatic Diagnostic Repository daizj oracleADR
    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。 在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。 这两份log文
  • 简单排序:选择排序 dieslrae 选择排序
    public void selectSort(int[] array){ int select; for(int i=0;i<array.length;i++){ select = i; for(int k=i+1;k<array.leng
  • C语言学习六指针的经典程序，互换两个数字 dcj3sjt126com c
    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 # include <stdio.h> void swap_1(int, int); void swap_2(int *, int *); void swap_3(int *, int *); int main(void) { int a = 3; int b =
  • php 5.4中php-fpm 的重启、终止操作命令 dcj3sjt126com PHP
    php 5.4中php-fpm 的重启、终止操作命令: 查看php运行目录命令：which php/usr/bin/php 查看php-fpm进程数：ps aux | grep -c php-fpm 查看运行内存/usr/bin/php  -i|grep mem 重启php-fpm/etc/init.d/php-fpm restart 在phpinfo()输出内容可以看到php
  • 线程同步工具类 shuizhaosi888 同步工具类
    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）   闭锁（CountDownLatch） public class RunMain { public long timeTasks(int nThreads, final Runnable task) throws InterruptedException { fin
  • bleeding edge是什么意思 haojinghua DI
    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。  我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。   In computer science, bleeding edge is a term that
  • c中实现utf8和gbk的互转 jimmee ciconvutf8&gbk编码
    #include <iconv.h> #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <string.h> #include <sys/stat.h> int code_c
  • 大型分布式网站架构设计与实践 lilin530 应用服务器搜索引擎
    1.大型网站软件系统的特点？ a.高并发，大流量。 b.高可用。 c.海量数据。 d.用户分布广泛，网络情况复杂。 e.安全环境恶劣。 f.需求快速变更，发布频繁。 g.渐进式发展。 2.大型网站架构演化发展历程？ a.初始阶段的网站架构。 应用程序，数据库，文件等所有的资源都在一台服务器上。 b.应用服务器和数据服务器分离。 c.使用缓存改善网站性能。 d.使用应用
  • 在代码中获取Android theme中的attr属性值 OliveExcel androidtheme
    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西.   在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: int defaultColor = 0xFF000000; int[] attrsArray = { andorid.r.
  • 基于Zookeeper的分布式共享锁 roadrunners zookeeper分布式共享锁
    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。   共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。   官
  • 两个容易被忽略的MySQL知识 tomcat_oracle mysql
    1、varchar(5)可以存储多少个汉字，多少个字母数字？ 　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。 　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
  • zoj 3827 Information Entropy(水题) 阿尔萨斯 format
    题目链接：zoj 3827 Information Entropy 题目大意：三种底，计算和。 解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 #include <cstdio> #include <cstring> #include <cmath&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他