hadoop平台搭建的经验总结

搭建平台：hadoop+hdfs+mapreduce+hive+derby;

软件：前端+后端数据库;

构思：hadoop+hdfs+mapreduce负责分布式存储和并行计算；hive负责处理数据库访问操作；derby负责存储元数据

问题1：不清楚这几个模块如何架设,如何联系起来,甚至不知道各个模块是否配置成功。

问题2：不知道这几个模块的文件如何存放，以及如何相互访问。

问题3：不知道对这类问题怎么入手。自己的想法是，找个例子，但是又没有完全合适的例子。

最严重的问题！：我甚至不知道自己的问题是什么！

原因总结：

1.一些基础性的知识没有掌握：

a.数据库的内部架构。即一个常规数据库的内部是如和组织文件,存放各种表的。

b.应用程序如何访问数据库,或者说JDBC, ODBC 是如何连接数据库的。这个过程中数据流的流动过程。

解决方案: 研究MySQL和JDBC

2.方法问题：

要多自己动手去验证,因为不太可能有完全一样的例子。

3。策略问题：

经常停下来把自己的问题想清楚。我的问题是什么？我现在的处境怎样？我有哪些解决方案？哪个是最好的？为什么？我已经尝试过什么解决方案？这些决绝方案为什么失败？我还剩哪些解决方案？我下一步将要采用什么方案？

这是历史上的首创，是第一次。所以没有照搬旧抄的机会！我必须开动自己的想象力，发挥自己的创新精神，自己怎么认为，怎么想的，就怎么干！还有一个小技巧——拿出一张白纸，把你的想法写下来，请相信！你一定会有不一样的收获！

注意：

这是一种痛苦的体验,但是你必须忍受,不要期望用任何借口逃避，问题一直在哪里！但是保持平和理智的心态却是非常重要的。