糖糖_
糖糖_

mahout itemCF 简单使用

一、itemCF 测试

mahout版本 0.10.0

mahout 提供了很多的算法，其中比较常用的算是itemCF了这里记录一下itemcf的使用方法

1、数据准备，这里是使用自己采集的一些行为数据 ，数据不多，但是可以测试出结果：

下面三列分别是 user_id , item_id , perfence   

把以下数据存放到hdfs上，我存放的路径是/mahout/itemcf/data1/itemdata.data

 
  
     
   
  1. 0162381440670851711,4,7.0
    2.  
   
  2. 0162381440670851711,11,4.0
    3.  
   
  3. 0162381440670851711,32,1.0
    4.  
   
  4. 0162381440670851711,176,27.0
    5.  
   
  5. 0162381440670851711,183,11.0
    6.  
   
  6. 0162381440670851711,184,5.0
    7.  
   
  7. 0162381440670851711,207,9.0
    8.  
   
  8. 0162381440670851711,256,3.0
    9.  
   
  9. 0162381440670851711,258,4.0
    10.  
   
  10. 0162381440670851711,259,16.0
    11.  
   
  11. 0162381440670851711,260,8.0
    12.  
   
  12. 0162381440670851711,261,18.0
    13.  
   
  13. 0162381440670851711,301,1.0
    14.  
   
  14. 0162381440670851711,307,1.0
    15.  
   
  15. 0162381440670851711,477,1.0
    16.  
   
  16. 0162381440670851711,518,1.0
    17.  
   
  17. 0162381440670851711,549,3.0
    18.  
   
  18. 0162381440670851711,570,1.0
    19.  
   
  19. 0162381440670851711,826,2.0
    20.  
   
  20. 0357211441096952115,207,1.0
    21.  
   
  21. 0617721441096186493,184,1.0
    22.  
   
  22. 0617721441096186493,207,1.0
    23.  
   
  23. 1205421441071459451,5,1.0
    24.  
   
  24. 1214361441096861254,207,1.0
    25.  
   
  25. 1401731441095483081,258,1.0
    26.  
   
  26. 1401731441095483081,814,4.0
    27.  
   
  27. 1401731441095483081,826,1.0
    28.  
   
  28. 1917281441163686119,259,10.0
    29.  
   
  29. 1917281441163686119,260,1.0
    30.  
   
  30. 1917281441163686119,261,3.0
    31.  
   
  31. 1966141441163860798,176,1.0
    32.  
   
  32. 2294491441095342047,176,1.0
    33.  
   
  33. 2441031440670827430,4,13.0
    34.  
   
  34. 2441031440670827430,259,29.0
    35.  
   
  35. 2441031440670827430,261,14.0
    36.  
   
  36. 2441031440670827430,460,2.0
    37.  
   
  37. 2441031440670827430,477,6.0
    38.  
   
  38. 2441031440670827430,570,1.0
    39.  
   
  39. 2441031440670827430,577,6.0
    40.  
   
  40. 2441031440670827430,702,1.0
    41.  
   
  41. 2441031440670827430,758,2.0
    42.  
   
  42. 2441031440670827430,809,1.0
    43.  
   
  43. 2475791441161318569,176,1.0
    44.  
   
  44. 2987091441068878630,261,1.0
    45.  
   
  45. 3114261440726814722,549,1.0
    46.  
   
  46. 3445831441096810087,207,1.0
    47.  
   
  47. 3846061441096937902,207,1.0
    48.  
   
  48. 4266911441160164599,176,1.0
    49.  
   
  49. 4698311441097046150,176,2.0
    50.  
   
  50. 4698311441097046150,183,2.0
    51.  
   
  51. 4698311441097046150,184,4.0
    52.  
   
  52. 4698311441097046150,207,6.0
    53.  
   
  53. 4946291441097563245,183,1.0
    54.  
   
  54. 4956331440750398178,159,1.0
    55.  
   
  55. 4956331440750398178,160,1.0
    56.  
   
  56. 5307571441160362208,4,1.0
    57.  
   
  57. 5307571441160362208,176,1.0
    58.  
   
  58. 5719691441098504387,176,5.0
    59.  
   
  59. 5719691441098504387,184,1.0
    60.  
   
  60. 5719691441098504387,207,1.0
    61.  
   
  61. 5813281441095425044,184,2.0
    62.  
   
  62. 5813281441095425044,258,1.0
    63.  
   
  63. 5894601441095265604,184,1.0
    64.  
   
  64. 5981521441096106535,207,1.0
    65.  
   
  65. 6292291441096870187,207,1.0
    66.  
   
  66. 6533651441161410910,176,1.0
    67.  
   
  67. 6810691441096902907,207,1.0
    68.  
   
  68. 6836071440729632252,4,3.0
    69.  
   
  69. 6836071440729632252,49,1.0
    70.  
   
  70. 6836071440729632252,259,2.0
    71.  
   
  71. 6836071440729632252,570,1.0
    72.  
   
  72. 6836071440729632252,577,2.0
    73.  
   
  73. 6964141441160527746,176,1.0
    74.  
   
  74. 7495291441096796843,207,1.0
    75.  
   
  75. 7616681441095305067,183,1.0
    76.  
   
  76. 7616681441095305067,184,2.0
    77.  
   
  77. 7616681441095305067,258,2.0
    78.  
   
  78. 7616681441095305067,261,1.0
    79.  
   
  79. 7732211441095211112,183,1.0
    80.  
   
  80. 7732211441095211112,259,2.0
    81.  
   
  81. 7732211441095211112,260,9.0
    82.  
   
  82. 7732211441095211112,261,1.0
    83.  
   
  83. 7732211441095211112,632,6.0
    84.  
   
  84. 8211761441096060717,176,1.0
    85.  
   
  85. 8211761441096060717,183,1.0
    86.  
   
  86. 8305691441168039389,259,3.0
    87.  
   
  87. 8305691441168039389,260,2.0
    88.  
   
  88. 8305691441168039389,261,1.0
    89.  
   
  89. 8375281440837772178,527,1.0
    90.  
   
  90. 8432311440724457499,290,1.0
    91.  
   
  91. 8641451441097297246,183,1.0
    92.  
   
  92. 8641451441097297246,184,1.0
    93.  
   
  93. 8641451441097297246,207,1.0
    94.  
   
  94. 8641451441097297246,259,1.0
    95.  
   
  95. 8641451441097297246,263,1.0
    96.  
   
  96. 8641451441097297246,838,1.0
    97.  
   
  97. 8641451441097297246,839,1.0
    98.  
   
  98. 8641451441097297246,840,1.0
    99.  
   
  99. 8651081441095283643,176,2.0
    100.  
   
  100. 8651081441095283643,183,7.0
    101.  
   
  101. 8753221441095342356,176,1.0
    102.  
  
 
  
 2、使用mahout自带的算法 实现协同过滤：
 
  
 语句如下：
 
  
 
  
     
   
  1. bin/hadoop jar /home/lin/hadoop/mahout-distribution-0.10.0/mahout-examples-0.10.0-job.jar  org.apache.mahout.cf.taste.hadoop.item.RecommenderJob  -i /mahout/itemcf/data1   -o  /mahout/itemcf/result1 -s SIMILARITY_LOGLIKELIHOOD --tempDir /mahout/itemcf/temp1
    2.  
  
 
  
 其中 -i 后面是输入数据存放地址，也就是上面给的测试数据；
 
  
         -o 后面是结果输出地址，这个文件夹不用建立，mahout会自动建立，若是已经存在则会报错；
 
  
       --tempDir 是指临时存放的一些输出数据，mahout自己的一些输出 ，这个路径mahout自动创建，若是存在会报错；
 
  
         -s  是指定使用算法；可以根据自己的需要选择；
 
  
 具体的help如下
 
  
 
   
 
   
     
    
  1. Job-Specific Options: 
    2.  
    
  2.  --input (-i) input Path to job input 
    3.  
    
  3.  directory. 
    4.  
    
  4.  --output (-o) output The directory 
    5.  
    
  5.  pathname for output. 
    6.  
    
  6.  --similarityClassname (-s) similarityClassname Name of distributed 
    7.  
    
  7.  similarity measures 
    8.  
    
  8.  class to instantiate, 
    9.  
    
  9.  alternatively use one 
    10.  
    
  10.  of the predefined 
    11.  
    
  11.  similarities 
    12.  
    
  12.  ([SIMILARITY_COOCCURRE
    13.  
    
  13.  NCE, 
    14.  
    
  14.  SIMILARITY_LOGLIKELIHO
    15.  
    
  15.  OD, 
    16.  
    
  16.  SIMILARITY_TANIMOTO_CO
    17.  
    
  17.  EFFICIENT, 
    18.  
    
  18.  SIMILARITY_CITY_BLOCK,
    19.  
    
  19.  SIMILARITY_COSINE, 
    20.  
    
  20.  SIMILARITY_PEARSON_COR
    21.  
    
  21.  RELATION, 
    22.  
    
  22.  SIMILARITY_EUCLIDEAN_D
    23.  
    
  23.  ISTANCE]) 
    24.  
    
  24.  --maxSimilaritiesPerItem (-m) maxSimilaritiesPerItem try to cap the number 
    25.  
    
  25.  of similar items per 
    26.  
    
  26.  item to this number 
    27.  
    
  27.  (default: 100) 
    28.  
    
  28.  --maxPrefs (-mppu) maxPrefs max number of 
    29.  
    
  29.  preferences to 
    30.  
    
  30.  consider per user or 
    31.  
    
  31.  item, users or items 
    32.  
    
  32.  with more preferences 
    33.  
    
  33.  will be sampled down 
    34.  
    
  34.  (default: 500) 
    35.  
    
  35.  --minPrefsPerUser (-mp) minPrefsPerUser ignore users with 
    36.  
    
  36.  less preferences than 
    37.  
    
  37.  this (default: 1) 
    38.  
    
  38.  --booleanData (-b) booleanData Treat input as 
    39.  
    
  39.  without pref values 
    40.  
    
  40.  --threshold (-tr) threshold discard item pairs 
    41.  
    
  41.  with a similarity 
    42.  
    
  42.  value below this 
    43.  
    
  43.  --randomSeed randomSeed use this seed for 
    44.  
    
  44.  sampling 
    45.  
    
  45.  --help (-h) Print out help 
    46.  
    
  46.  --tempDir tempDir Intermediate output 
    47.  
    
  47.  directory 
    48.  
    
  48.  --startPhase startPhase First phase to run 
    49.  
    
  49.  --endPhase endPhase Last phase to run 
    50.  
   
 
  
 
  
 
   
 
  
 
  
 3、执行上述命令后，等待执行完毕，在目录 /mahout/itemcf/result1 可以看到如下数据：
 
  
 
   
 
   
     
    
  1. 162381440670851711 [809:13.535571,702:13.535571,460:13.535571,758:13.535571,632:13.182321,577:12.929438,49:11.368558,307:10.562227,32:10.562227,518:10.562227]
    2.  
    
  2. 617721441096186493 [839:1.0,259:1.0,518:1.0,826:1.0,11:1.0,260:1.0,4:1.0,32:1.0,176:1.0,840:1.0]
    3.  
    
  3. 1401731441095483081 [11:1.0,570:1.0,518:1.0,307:1.0,260:1.0,259:1.0,549:1.0,32:1.0,207:1.0,184:1.0]
    4.  
    
  4. 1917281441163686119 [577:7.365086,702:6.5,809:6.5,758:6.5,460:6.5,184:5.9840446,176:5.981493,4:5.577299,570:5.3220325,477:4.9567957]
    5.  
    
  5. 2441031440670827430 [632:21.5,176:18.084661,183:15.684914,260:14.2175,207:13.510652,11:12.28147,307:12.28147,32:12.28147,518:12.28147,256:12.28147]
    6.  
    
  6. 4698311441097046150 [263:3.9337947,839:3.9337947,840:3.9337947,838:3.9337947,11:3.4747553,307:3.4747553,32:3.4747553,518:3.4747553,256:3.4747553,301:3.4747553]
    7.  
    
  7. 5307571441160362208 [826:1.0,259:1.0,518:1.0,307:1.0,11:1.0,260:1.0,549:1.0,32:1.0,207:1.0,184:1.0]
    8.  
    
  8. 5719691441098504387 [4:3.6454906,259:3.6147578,260:2.67091,261:2.6694102,183:2.517088,307:2.2876854,11:2.2876854,32:2.2876854,518:2.2876854,256:2.2876854]
    9.  
    
  9. 5813281441095425044 [207:1.8607497,259:1.6642486,183:1.5539461,301:1.4806436,11:1.4806436,307:1.4806436,32:1.4806436,518:1.4806436,256:1.4806436,549:1.4099455]
    10.  
    
  10. 6836071440729632252 [207:2.6088793,176:2.3617313,477:1.9966183,460:1.9945599,758:1.9945599,809:1.9945599,702:1.9945599,11:1.9926376,307:1.9926376,32:1.9926376]
    11.  
    
  11. 7616681441095305067 [826:1.5790755,207:1.5721571,549:1.535743,301:1.50748,307:1.50748,11:1.50748,32:1.50748,518:1.50748,256:1.50748,839:1.5]
    12.  
    
  12. 7732211441095211112 [826:3.7059078,549:3.7059078,307:3.3461132,256:3.3461132,518:3.3461132,11:3.3461132,301:3.3461132,32:3.3461132,570:3.1800203,477:3.1795032]
    13.  
    
  13. 8211761441096060717 [826:1.0,259:1.0,518:1.0,307:1.0,11:1.0,260:1.0,549:1.0,32:1.0,207:1.0,184:1.0]
    14.  
    
  14. 8305691441168039389 [577:2.2471673,4:2.083036,570:2.0549815,809:2.0,460:2.0,11:2.0,826:2.0,32:2.0,307:2.0,549:2.0]
    15.  
    
  15. 8641451441097297246 [11:1.0,632:1.0,518:1.0,826:1.0,260:1.0,570:1.0,549:1.0,32:1.0,307:1.0,477:1.0]
    16.  
    
  16. 8651081441095283643 [184:6.597979,258:6.1955295,260:6.1955295,826:5.5266876,549:5.5266876,477:5.5266876,259:4.662548,261:4.662548,11:4.626224,307:4.626224]
    17.  
   
 
  
 
  

    这样就得出了每个用户的推荐物品； 
  
 
  
 
  
 mahout 还有一个经常用到的算法 物品相似度 ，这样得到的结果是物品间的相度：
 
  
 
  
     
   
  1. mahout itemsimilarity  -i /mahout/itemcf/data1   -o  /mahout/itemcf/result1 -s SIMILARITY_LOGLIKELIHOOD --tempDir /mahout/itemcf/temp1
    2.  
   
  2.  
  
 
  
 
  
     
   
  1.  
  
 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(mahout)

        

            

                
    
                    
  • mysql数据推荐算法_Mahout推荐算法基础
                        爱看书的小兔纸
mysql数据推荐算法
                        
    转载自(http://www.geek521.com/?p=1423)Mahout推荐算法分为以下几大类GenericUserBasedRecommender算法：1.基于用户的相似度2.相近的用户定义与数量特点：1.易于理解2.用户数较少时计算速度快GenericItemBasedRecommender算法：1.基于item的相似度特点：1.item较少时就算速度更快2.当item的外部概念易于
    
                    
    • 
                    
  • 传统推荐算法库使用--mahout初体验
                        Huterox
推荐算法算法机器学习
                        
    文章目录前言环境准备调用混合总结前言郑重声明：本博文做法仅限毕设糊弄老师使用，不建议生产环境使用！！！老项目缝缝补补又是三年，本来是打算直接重写写个社区然后给毕设使用的。但是怎么说呢，毕竟毕设的主角不是xx社区，这个社区是为我的编译器服务的，为了推广这个编译器，然后我才做了这个社区。然而不幸的是，开题答辩的时候，各位“专家”叫我以xx社区为主，听起来高级。于是没有办法，我只能强行做个社区，怎么做呢
    
                    
    • 
                    
  • 基于音乐/电影/图书的协同过滤推荐算法代码实现
                        74b3a3e489d4

                        
    基于音乐/电影/图书的协同过滤推荐算法代码实现一、开发工具及使用技术MyEclipse10、jdk1.7、tomcat7、jsp、javascript、jquery、bootstrap、webuploader、layer、ssh、mysql、navicat、mahoutAPI等。二、开发过程1、本文主要介绍基于音乐的协同过滤推荐算法代码实现，电影、图书等推荐原理相同。2、本文使用的推荐算法有：基于
    
                    
    • 
                    
  • Hadoop 大数据技术原理与应用
                        kk8_
hadoop大数据hdfs
                        
    Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（HDFS）分布式计算框架（MapReduce）资源管理（YARN）数据迁移（Sqoop）数据挖掘算法库（Mahout）分布式数据库（HBase）分布式协调服务（Zookeeper）数据仓库（Hive
    
                    
    • 
                    
  • 【大数据分析与挖掘技术】概述
                        Francek Chen
大数据技术基础数据分析数据挖掘Mahout
                        
    目录一、数据挖掘简介（一）数据挖掘对象（二）数据挖掘流程（三）数据挖掘的分析方法（四）经典算法二、Mahout（一）Mahout简介（二）主要特性（三）Mahout安装与配置一、数据挖掘简介需要是发明之母。近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市
    
                    
    • 
                    
  • 【大数据分析与挖掘技术】Mahout推荐算法
                        Francek Chen
大数据技术基础数据分析人工智能数据挖掘Mahout
                        
    目录一、推荐的定义与评估（一）推荐的定义（二）推荐的评估二、Mahout中的常见推荐算法（一）基于用户的推荐算法（二）基于物品的推荐算法（三）基于SVD的推荐算法（四）基于线性插值的推荐算法（五）基于聚类的推荐算法三、对GroupLens数据集进行推荐与评价（一）如何使用推荐器进行推荐（二）如何评估推荐器的好坏推荐是Mahout机器学习算法的主题之一，它极大地渗透到了人们日常生活的方方面面，比如，
    
                    
    • 
                    
  • 计算机毕业设计之全网独家Spark租房爬虫数据分析与推荐系统 租房大数据 租房app 租房数据分析 租房爬虫 房源推荐系统 房源数据分析 房源可视化
                        haochengxu2022
数据分析爬虫推荐系统spark爬虫数据分析推荐系统
                        
    一、网站·登录与注册、注销·短信验证码修改密码·我的信息：身份证实名认证·租房业务流程（预约+看房+支付+完成+评价）、进度步骤条展示·支付宝沙箱支付·房屋浏览、中介信息查看·房屋推荐（基于mahout协同过滤算法）·房屋评价、点赞与收藏二、后端·统计主页、个人信息（带头像上传）、权限管理、用户管理、资讯管理、通知管理、日志管理、评论管理、轮播图管理、房屋管理、中介管理、订单管理。·中介权限可以登
    
                    
    • 
                    
  • 推荐系统中协同过滤算法实现分析
                        weixin_33853794
人工智能python数据库
                        
    2019独角兽企业重金招聘Python工程师标准>>>原创博客，欢迎转载，转载请注明：http://my.oschina.net/BreathL/blog/62519最近研究Mahout比较多，特别是里面协同过滤算法；于是把协同过滤算法的这个实现思路与数据流程，总结了一下，以便以后对系统做优化时，有个清晰的思路，这样才能知道该如何优化且优化后数据亦能正确。推荐中的协同过滤算法简单说明下：首先，通过
    
                    
    • 
                    
  • 大数据分析- 基于Hadoop/Mahout的大数据挖掘
                        shenmanli
大数据hadoop数据挖掘行业应用开发人员
                        
    随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。一、培训对象1，系统架构师、系
    
                    
    • 
                    
  • “大数据分析挖掘-基于Hadoop/Mahout/Mllib的大数据挖掘（含Spark、Storm和Docker应用介绍）”培训
                        shenmanli
培训课程公开课企业培训大数据hadoopspark
                        
    随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop/Yarn平台。Hadoop/Yarn在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。为解决广大
    
                    
    • 
                    
  • springboot集成mahout实现简单基于协同过滤算法的文章推荐算法
                        程序个人练习生
开源项目学习算法springboot推荐算法
                        
    文章目录参考文章前言1.建表并且生成一些数据首先，建立一个用户文章操作表（user_article_operation）使用casewhen语句简单统计数据2.代码与测试只需要根据表生成相应实体类（注意要加一个value属性来存储分数）主要代码如下，其实就两个方法userArticleOperationMapper.getAllUserPreference()方法收集数据mapper文件如下测试算
    
                    
    • 
                    
  • java电影推荐系统_基于Mahout的电影推荐系统
                        语文乌托邦
java电影推荐系统
                        
    1.Mahout简介ApacheMahout是ApacheSoftwareFoundation(ASF)旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。经典算法包括聚类、分类、协同过滤、进化编程等等，并且，在Mahout的最近版本中还加入了对ApacheHadoop的支持，使这些算法可以更高效的运行在云计算环境中。2.Taste简介T
    
                    
    • 
                    
  • mahout 源码解析之聚类--聚类迭代模型
                        theonlytank2011
数据挖掘mahout源码mahout源码解析
                        
    在前面讲聚类策略时，包org.apache.mahout.clustering.iterator里面还有几个类没有进行讲解，这次做下收尾工作。ClusterIterator利用ClusterClassifier和指定的迭代次数将样本进行聚类。其中有三个具体的函数。iterate主要对内存中的数据进行聚类，输入就为一个Vector类型的迭代器。publicClusterClassifieritera
    
                    
    • 
                    
  • 理论学习--【Hadoop生态原理学习】
                        zenas_yuan
Hadoophadoop
                        
    一、Hadoop原理1.核心：HDFS(存储)、MapReduce(分析)解决大量数据存储与处理的问题离线分析：hive实现查询：hbaseBI分析：Mahout2.版本1.0mapreduce还进行资源调度2.0mapreduce=yarn（资源调度）+mapreduce（进行计算运行在yarn上），HDfs:nn,ha2.1.2yarn还支持strom、spark、。。选择考虑因素：是否开源、
    
                    
    • 
                    
  • 推荐系统-基于物品协同过滤算法代码实现
                        Moutai码农
大数据推荐系统算法推荐算法大数据spark
                        
    1、简介当前Spark没有像mahout那样，严格区分基于物品的协同过滤推荐（ItemCF）和基于用户的协同过滤推荐（UserCF），只有基于模型的协同过滤推荐算法ALS（model-basedCF）。但ALS算法对于一些特定的问题(用户数量较小的场景，以及物品数量明显小于用户数量的场景)，效果并不理想，不像mahout提供了各种推荐算法选择。为了充分利用spark在速度上带来的提升同时为满足一些
    
                    
    • 
                    
  • java+jsp+mysql实现在线电影推荐系统movieCFWeb mahout实现基于用户的协同过滤推荐算法 基于项目的协同过滤推荐算法
                        74b3a3e489d4

                        
    java+jsp+mysql实现在线电影推荐系统movieCFWeb一、项目简介http://localhost:8080/movieCFWeb/前台http://localhost:8080/movieCFWeb/admin后台自定义数据，mahout实现基于用户的协同过滤推荐算法前台包含用户注册、登录、搜索电影、分页、电影详情、评分、修改信息、评分列表、推荐电影等功能后台包括用户、电影、评分、
    
                    
    • 
                    
  • 2.3 初探Hadoop世界
                        howard2005
数据清洗和预处理大数据离线分析hadoop大数据分布式
                        
    文章目录零、学习目标一、导入新课二、新课讲解（一）Hadoop的前世今生1、Google处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程（二）Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性（三）Hadoop的生态体系1、HDFS分布式文件系统2、MapReduce分布式计算框架3、Yarn资源管理框架4、Sqoop数据迁移工具5、Mahout数据挖
    
                    
    • 
                    
  • 「大数据集群的搭建和使用」背景知识：大数据Hadoop生态圈介绍
                        优秀的Athena在休息
大数据集群的搭建和使用大数据hadoop分布式
                        
    目录一、Hadoop简介二、Hadoop的运行模式1.单机模式2.伪分布式模式3.完全分布式模式三、Hadoop生态圈组件1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.HBase7.HCatalog8.Avro9.Thrift10.Drill11.Mahout12.Sqoop13.Flume14.Ambari15.Zookeeper四、Hadoop优缺点五、Hadoop学
    
                    
    • 
                    
  • 【大数据】Hadoop 生态系统及其组件
                        G皮T
#Hadoophadoopbigdata大数据hdfshivemapreduceyarn
                        
    Hadoop生态系统及其组件1.Hadoop生态系统的组成2.Hadoop生态系统简介2.1HDFS2.2MapReduce2.3YARN2.4Hive2.5Pig2.6HBase2.7HCatalog2.8Avro2.9Thrift2.10Drill2.11Mahout2.12Sqoop2.13Flume2.14Ambari2.15Zookeeper2.16Oozie1.Hadoop生态系统的组
    
                    
    • 
                    
  • 26Hbase介绍及其数据模型和架构（hbase学习1）
                        文茶君

                        
    Hbase介绍Hadoop生态系统spark已经替代mahouthbase简介：非关系型数据库知识面扩展cassandra、hbase、mongodb（文档型数据库）、rediscouchdb，文件存储数据库Neo4j非关系型图数据库HbaseHadoopDatabase，是一个高可靠性、高性能、面向列（面向列的KV数据库）、可伸缩（动态扩展机器。不需要停服务）、实时读写的分布式数据库利用Hado
    
                    
    • 
                    
  • Item-Based Recommendations with Hadoop
                        liuyuan185442111
OldHadoophadoop大数据分布式
                        
    Mahout在MapReduce上实现了Item-BasedCollaborativeFiltering，这里我尝试运行一下。安装Hadoop从下载Mahout并解压准备数据下载1MillionMovieLensDataset，解压得到ratings.dat，用sed‘s/:[0-9]{1,}):[0-9]{1})::[0-9]{1,}$/,\1,\2/’ratings.dat处理成需要的格式。运
    
                    
    • 
                    
  • 【大数据毕设】基于Hadoop的音乐推荐系统论文(三)
                        Maynor996
#课设＆毕设大数据课程设计hadoop
                        
    博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、大数据领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系摘要本文基于Hadoop技术，设计并实现了一个名为“酷酷音乐网站”的系统，用于音乐资源的存储、管理和推荐。该系统采用Hadoop生态系统中的组件，包括HDFS、MapReduce、HBase和Mahout等，实现
    
                    
    • 
                    
  • 如何使用Java进行机器学习?
                        玥沐春风
java机器学习开发语言
                        
    在Java中进行机器学习，可以使用各种开源机器学习库和框架来实现。以下是一些常用的Java机器学习库：Weka：Weka是一个非常流行的机器学习库，提供了大量的算法和工具，以及用于数据预处理、特征选择和可视化的功能。Deeplearning4j：Deeplearning4j是一个用于深度学习的开源库，支持多种神经网络模型和训练算法，可以用于图像分类、文本分析等任务。ApacheMahout：Apa
    
                    
    • 
                    
  • 阿里云上部署java8和hadoop3.0、spark、hive及Mahout
                        karwik
大数据
                        
    1.安装JDK1.8到oracle官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmllinux是64位的，安装jdk-8u131-linux-x64.tar.gz安装及配置参考http://blog.csdn.net/rchm8519/article/details/48721
    
                    
    • 
                    
  • 【大数据】图解 Hadoop 生态系统及其组件
                        G皮T
#Hadoop大数据hadoop分布式hdfsmapreduceyarnhive
                        
    图解Hadoop生态系统及其组件1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.Mahout7.HBase8.Zookeeper9.Sqoop10.Flume11.Oozie12.Ambari13.Spark在了解Hadoop生态系统及其组件之前，我们首先了解一下Hadoop的三大组件，即HDFS、MapReduce、YARN，它们共同构成了Hadoop分布式计算框架的核心
    
                    
    • 
                    
  • 斯皮尔曼相关性 —— Spearman Correlation
                        ifnoelse
推荐算法usercacheaction存储
                        
    斯皮尔曼相关性可以理解为是排列后（Rank）用户喜好值之间的Pearson相关度。《MahoutinAction》中有这样的解释：假设对于每个用户，我们找到他最不喜欢的物品，重写他的评分值为“1”；然后找到下一个最不喜欢的物品，重写评分值为“2”，以此类推。然后我们对这些转换后的值求Pearson相关系数，这就是Spearman相关系数。斯皮尔曼相关度的计算舍弃了一些重要信息，即真实的评分值。但它
    
                    
    • 
                    
  • java+jsp+mysql实现个性化租车推荐系统carcfrs mahout实现基于用户、项目的协同过滤推荐算法 SSH（spring+struts+hibernate）开发框架
                        74b3a3e489d4

                        
    java+jsp+mysql实现个性化租车推荐系统carcfrs一、项目简介只有前台用户，没有管理员，功能是用户登录、注册、评论、评分、收藏、热点推荐、基于用户根据评分进行协同过滤推荐算法，数据爬虫爬取一嗨租车数据。二、项目展示
    
                    
    • 
                    
  • Mahout教程_编程入门自学教程_菜鸟教程-免费教程分享
                        菜鸟一记
笔记
                        
    教程简介Mahout是ApacheSoftwareFoundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用ApacheHadoop库，Mahout可以有效地扩展到云中。Mahout教程-使用此入门教程，从简介，机器學習，环境，推荐，聚
    
                    
    • 
                    
  • SSH（Spring+Hibernate+Struts）开发框架开发购物商城推荐系统shop mahout实现基于用户、项目的协同过滤推荐算法 个性化购物推荐系统
                        74b3a3e489d4

                        
    SSH（Spring+Hibernate+Struts）开发框架开发购物商城推荐系统shop项目简介1、前台：http://localhost:8080/ComputerRecom/后台：http://localhost:8080/ComputerRecom/admin/login.jsp用户名：admin密码：admin；2、推荐使用mahout接口实现基于用户、项目的协同过滤推荐算法，ssh开
    
                    
    • 
                    
  • 大数据学习记录（hadoop hive flume azkaban sqoop）
                        左上晨
大数据hadoophiveflumeazkaban
                        
    大数据学习记录（hadoophiveflumeazkabansqoop）1.hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE（分布式运算编程框架）3.HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具4.HBASE：基于HADOOP的分布式海量数据库5.Mahout：基于mapreduce/spark/f
    
                    
    • 
                                
  • 解读Servlet原理篇二---GenericServlet与HttpServlet
                                    周凡杨
javaHttpServlet源理GenericService源码
                                    
    在上一篇《解读Servlet原理篇一》中提到，要实现javax.servlet.Servlet接口（即写自己的Servlet应用），你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ，也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet（这就是为什么我们自定义的Servlet通常是exte
    
                                
    • 
                                
  • MySQL性能优化
                                    bijian1013
数据库mysql
                                    
            性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有： 
        a.优化查询 
        b.优化数据库结构 
  
    
                                
    • 
                                
  • ThreadPool定时重试
                                    dai_lm
javaThreadPoolthreadtimertimertask
                                    
    项目需要当某事件触发时，执行http请求任务，失败时需要有重试机制，并根据失败次数的增加，重试间隔也相应增加，任务可能并发。 
由于是耗时任务，首先考虑的就是用线程来实现，并且为了节约资源，因而选择线程池。 
为了解决不定间隔的重试，选择Timer和TimerTask来完成 
 
 

package threadpool;

public class ThreadPoolTest {


    
                                
    • 
                                
  • Oracle 查看数据库的连接情况
                                    周凡杨
sqloracle 连接
                                    
    首先要说的是，不同版本数据库提供的系统表会有不同，你可以根据数据字典查看该版本数据库所提供的表。 
 
select * from dict where table_name like '%SESSION%'; 
就可以查出一些表，然后根据这些表就可以获得会话信息 
 
select sid,serial#,status,username,schemaname,osuser,terminal,ma
    
                                
    • 
                                
  • 类的继承
                                    朱辉辉33
java
                                    
    类的继承可以提高代码的重用行，减少冗余代码；还能提高代码的扩展性。Java继承的关键字是extends 
格式:public class 类名（子类）extends 类名（父类）{ } 
子类可以继承到父类所有的属性和普通方法，但不能继承构造方法。且子类可以直接使用父类的public和 
protected属性，但要使用private属性仍需通过调用。 
子类的方法可以重写，但必须和父类的返回值类
    
                                
    • 
                                
  • android 悬浮窗特效
                                    肆无忌惮_
android
                                    
    最近在开发项目的时候需要做一个悬浮层的动画，类似于支付宝掉钱动画。但是区别在于，需求是浮出一个窗口，之后边缩放边位移至屏幕右下角标签处。效果图如下： 
  
一开始考虑用自定义View来做。后来发现开线程让其移动很卡，ListView+动画也没法精确定位到目标点。 
  
后来想利用Dialog的dismiss动画来完成。 
  
自定义一个Dialog后，在styl
    
                                
    • 
                                
  • hadoop伪分布式搭建
                                    林鹤霄
hadoop
                                    
    要修改4个文件    1: vim hadoop-env.sh  第九行    2: vim core-site.xml            <configuration>     &n
    
                                
    • 
                                
  • gdb调试命令
                                    aigo
gdb
                                    
    原文：http://blog.csdn.net/hanchaoman/article/details/5517362 
  
一、GDB常用命令简介 
     r run 运行.程序还没有运行前使用   c             cuntinue 
    
                                
    • 
                                
  • Socket编程的HelloWorld实例
                                    alleni123
socket
                                    
    public class Client
{
	
	
	public static void main(String[] args)
	{	
		Client c=new Client();
	 	c.receiveMessage();
	}
	
	public void receiveMessage(){
		Socket s=null;
		
		BufferedRea
    
                                
    • 
                                
  • 线程同步和异步
                                    百合不是茶
线程同步异步
                                    
    多线程和同步 : 如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B依言执行，再将结果给A；A再继续操作。  所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，同时其它线程也不能调用这个方法  
  
多线程和异步:多线程可以做不同的事情,涉及到线程通知 
  
  
&
    
                                
    • 
                                
  • JSP中文乱码分析
                                    bijian1013
javajsp中文乱码
                                    
            在JSP的开发过程中，经常出现中文乱码的问题。 
        首先了解一下Java中文问题的由来： 
        Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，
    
                                
    • 
                                
  • js实现页面跳转重定向的几种方式
                                    bijian1013
JavaScript重定向
                                    
            js实现页面跳转重定向有如下几种方式： 
一.window.location.href 
<script language="javascript"type="text/javascript"> 
	window.location.href="http://www.baidu.c
    
                                
    • 
                                
  • 【Struts2三】Struts2 Action转发类型
                                    bit1129
struts2
                                    
     在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action，配置如下 
  
<!DOCTYPE struts PUBLIC  
        "-//Apache Software Foundation//DTD Struts Configurat
    
                                
    • 
                                
  • 【HBase十一】Java API操作HBase
                                    bit1129
hbase
                                    
    Admin类的主要方法注释： 
  1. 创建表 
 /**
   * Creates a new table. Synchronous operation.
   *
   * @param desc table descriptor for table
   * @throws IllegalArgumentException if the table name is res
    
                                
    • 
                                
  • nginx gzip
                                    ronin47
nginx gzip
                                    
    Nginx GZip 压缩  
Nginx GZip 模块文档详见：http://wiki.nginx.org/HttpGzipModule 
常用配置片段如下：  
gzip on; gzip_comp_level 2; # 压缩比例，比例越大，压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
    
                                
    • 
                                
  • java-7.微软亚院之编程判断俩个链表是否相交 给出俩个单向链表的头指针，比如 h1 ， h2 ，判断这俩个链表是否相交
                                    bylijinnan
java
                                    
    

public class LinkListTest {

	/**
	 * we deal with two main missions:
	 * 
	 * A.
	 * 1.we create two joined-List(both have no loop)
	 * 2.whether list1 and list2 join
	 * 3.print the join
    
                                
    • 
                                
  • Spring源码学习-JdbcTemplate batchUpdate批量操作
                                    bylijinnan
javaspring
                                    
    Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法，Spring只是做了一下改造和封装 
 
JDBC的batch操作： 
 
 


String sql = "INSERT INTO CUSTOMER " +
				  "(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
				
    
                                
    • 
                                
  • [JWFD开源工作流]大规模拓扑矩阵存储结构最新进展
                                    comsci
工作流
                                    
        生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出......... 
 
    竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
    
                                
    • 
                                
  • base64编码和url编码
                                    cuityang
base64url
                                    
    import java.io.BufferedReader; 
import java.io.IOException; 
import java.io.InputStreamReader; 
import java.io.PrintWriter; 
import java.io.StringWriter; 
import java.io.UnsupportedEncodingException; 
    
                                
    • 
                                
  • web应用集群Session保持
                                    dalan_123
session
                                    
    关于使用 memcached 或redis 存储 session ，以及使用 terracotta 服务器共享。建议使用 redis，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富，不只是缓存 session，还可以做其他用途，一举几得啊。1、使用 filter 方法存储这种方法比较推荐，因为它的服务器使用范围比较多，不仅限于tomcat ，而且实现的原理比较简
    
                                
    • 
                                
  • Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式']
                                    dcj3sjt126com
数据库
                                    
        public function getMinLimit () {        $sql = "...";        $result = yii::app()->db->createCo
    
                                
    • 
                                
  • solr StatsComponent（聚合统计）
                                    eksliang
solr聚合查询solr stats
                                    
    StatsComponent 
转载请出自出处：http://eksliang.iteye.com/blog/2169134 
http://eksliang.iteye.com/ 一、概述 
       Solr可以利用StatsComponent 实现数据库的聚合统计查询，也就是min、max、avg、count、sum的功能 
  二、参数
    
                                
    • 
                                
  • 百度一道面试题
                                    greemranqq
位运算百度面试寻找奇数算法bitmap 算法
                                    
    那天看朋友提了一个百度面试的题目：怎么找出{1,1,2,3,3,4,4,4,5,5,5,5}  找出出现次数为奇数的数字. 
  
我这里复制的是原话，当然顺序是不一定的，很多拿到题目第一反应就是用map,当然可以解决，但是效率不高。 
  
还有人觉得应该用算法xxx,我是没想到用啥算法好...！ 
  
还有觉得应该先排序... 
  
还有觉
    
                                
    • 
                                
  • Spring之在开发中使用SpringJDBC
                                    ihuning
spring
                                    
      
在实际开发中使用SpringJDBC有两种方式： 
  
1. 在Dao中添加属性JdbcTemplate并用Spring注入； 
    JdbcTemplate类被设计成为线程安全的，所以可以在IOC 容器中声明它的单个实例，并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱，泛型，可变长度
    
                                
    • 
                                
  • JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节
                                    justjavac
json
                                    
    2013年5月，Yehuda Katz 完成了JSON API(英文，中文) 技术规范的初稿。事情就发生在 RailsConf 之后，在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
    
                                
    • 
                                
  • 网站项目建设流程概述
                                    macroli
工作
                                    
    一.概念 
网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。 
二.需求分析 
项目立项 
　　我们接到客户的业务咨询，经过双方不断的接洽和了解，并通过基本的可行性讨论够，初步达成制作协议，这时就需要将项目立项。较好的做法是成立一个专门的项目小组，小组成员包括：项目经理，网页设计，程序员，测试员，编辑/文档等必须人员。项目实行项目经理制。 
客户的需求说明书 
　　第一步是需
    
                                
    • 
                                
  • AngularJs 三目运算 表达式判断
                                    qiaolevip
每天进步一点点学习永无止境众观千象AngularJS
                                    
    事件回顾：由于需要修改同一个模板，里面包含2个不同的内容，第一个里面使用的时间差和第二个里面名称不一样，其他过滤器，内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not，继续追究其源码。 
var b = "{{",
      a = "}}";
        this.startSymbol = function(a) {

    
                                
    • 
                                
  • Spark算子：统计RDD分区中的元素及数量
                                    superlxw1234
sparkspark算子Spark RDD分区元素
                                    
    关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量 
  
  
Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。 
  
可以利用RDD的mapPartitionsWithInd
    
                                
    • 
                                
  • Spring 3.2.x将于2016年12月31日停止支持
                                    wiselyman
Spring 3
                                    
          
        Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x（包含tomcat 6.x）的支持。在此之前spring团队将持续发布3.2.x的维护版本。 
  
       请大家及时准备及时升级到Spring 
    
                                
    • 
                                
  • fis纯前端解决方案fis-pure
                                    zccst
JavaScript
                                    
    作者：zccst 
 
FIS通过插件扩展可以完美的支持模块化的前端开发方案，我们通过FIS的二次封装能力，封装了一个功能完备的纯前端模块化方案pure。 
 
 
1，fis-pure的安装 
$ fis install -g fis-pure 
$ pure -v 
0.1.4 
 
 
2，下载demo到本地 
git clone https://github.com/hefangshi/f
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他