总结Fedora 22跨版本升级到Fedora 24方法

（总结）Fedora 22跨版本升级到Fedora 24方法

 

最近测试一套比较新的开源ERP，对系统软件版本要求很新，CentOS7也没这么新的开发包，也不喜欢编译安装（洁癖）。想起了Fedora来，之前有台测试机Fedora22，就想把它更新到最新的Fedora24。该版本glibc 更新到2.23，GCC编译器更新到6.1了，够新！折腾了下，跨版本升级成功。注意：此操作只合适开发和测试环境，不能在生产环境这样折腾。Fedora是新技术试验场，不合适用于生产环境的。

一、使用 DNF 插件升级系统：

升级前的版本截图：

1、更新系统
# dnf update --refresh
2、安装插件
# dnf install dnf-plugin-system-upgrade
3、下载Fedora24版本的更新包
# dnf system-upgrade download --releasever=24 --allowerasing
（如果某些依赖不满足，升级将终止，可添加 --allowerasing 选项跳过。这可能是第三方源还未进行更新，建议卸载这些依赖不满足的包。添加 --best 选项，可查看依赖问题的详细信息。）

 

（原创）机器学习开源框架Mahout配置与入门研究

 

机器学习这两年特别火，ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士，作为一个技术控，也得折腾下，就这样来初步折腾下Mahout这个机器学习的主流开源框架。

一、Mahout简介

查了Mahout的中文意思：驭象的人，再看看Mahout的logo，骑在象头上的那个Mahout。机器学习是人工智能的一个分支，它涉及通过一些技术来允许计算机根据之前的经验改善其输出。此领域与数据挖掘密切相关，并且经常需要使用各种技巧，包括统计学、概率论和模式识别等。虽然机器学习并不是一个新兴领域，但它的发展速度是毋庸置疑的。许多大型公司，包括 IBM、Google、Amazon、Yahoo! 和 Facebook，都在自己的应用程序中实现了机器学习算法。此外，还有许多公司在自己的应用程序中应用了机器学习，以便学习用户以及过去的经验，从而获得收益。

 

 

     Mahout 是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。

 

大数据架构师技能图谱

发表于: DataBase, Hadoop, 大数据应用 | 作者: 博客教主 

标签: 大数据,技能图谱,架构师

大数据通用处理平台

1. Spark

2. Flink

3. Hadoop

分布式存储

HDFS

资源调度

Yarn

Mesos

机器学习工具

Mahout

1. Spark Mlib

2. TensorFlow (Google 系)

3. Amazon Machine Learning

4. DMTK (微软分布式机器学习工具)

主流大数据采集平台的架构图解

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

· Apache Flume

· Fluentd

· Logstash

· Chukwa

· Scribe

· Splunk Forwarder

· 

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

· 数据采集

· 数据存储

· 数据处理

· 数据展现（可视化，报表和监控）

 

主流大数据厂商汇总分类

在当前的互联网领域，大数据的应用已经十分广泛，尤其以企业为主，企业成为大数据应用的主体。大数据真能改变企业的运作方式吗？答案毋庸置疑是肯定的。随着企业开始利用大数据，我们每天都会看到大数据新的奇妙的应用，帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面，涵盖医疗、交通、金融、教育、体育、零售等各行各业。

 

目前国内外做大数据的厂商依旧分为两类：一类是现在已经有获取大数据能力的公司，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产品线口碑推广到新一轮技术浪潮当中。如IBM、微软、谷歌、亚马逊、百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内领军企业，涵盖了数据采集，数据存储，数据分析，数据可视化以及数据安全等领域；另一类则是初创的大数据公司，他们依赖于大数据工具，针对市场需求，为市场带来创新方案并推动技术发展。其中大部分的大数据应用还是需要第三方公司提供服务，希望为市场带来创新方案并推动技术发展。

本文将主流的大数据厂商分为大数据基础设施类，大数据分析类，大数据应用类，大数据数据源类等。下面就来盘点下大数据领域国内外的主力阵营吧，其中一些早已名满天下，另外大部分则属初来乍到。

 

1. 大数据基础设施类

JDBC URL连接常用数据库格式

MySQL
MySQL Connector/J Driver
驱动程序包名：MySQL-connector-Java-x.x.xx-bin.jar
驱动程序类名: com.mysql.jdbc.Driver
JDBC URL: jdbc:mysql://:/
默认端口3306，如果服务器使用默认端口则port可以省略
MySQL Connector/J Driver 允许在URL中添加额外的连接属性jdbc:mysql://:/?property1=value1&property2=value2

PostgreSQL
PostgreSQL Native JDBC Driver
驱动程序包名：驱动程序类名: org.postgresql.Driver
JDBC URL: jdbc:postgresql://:/
默认端口5432

Microsoft SQL Server
Microsoft SQL Server JDBC Driver （用来连接 SQLServer 2000）
驱动程序包名：msbase.jar mssqlserver.jar msutil.jar
驱动程序类名: com.microsoft.jdbc.sqlserver.SQLServerDriver
JDBC URL: jdbc:microsoft:sqlserver://:
默认端口1433，如果服务器使用默认端口则port可以省略

Microsoft SQL Server 2005 JDBC Driver（用来连接 SQLServer 2005以上版本）
驱动程序包名：sqljdbc.jar
驱动程序类名: com.microsoft.sqlserver.jdbc.SQLServerDriver
JDBC URL: jdbc:sqlserver://:
默认端口1433，如果服务器使用默认端口则port可以省略