实战hadoop海量数据处理系列03 ：数据仓库的设计

实战hadoop海量数据处理系列03 ：数据仓库的设计

鉴于我们之前两章提前预热的开发环境，我们现在来讨论数据仓库的设计，其实本章应该放到一个正式的项目的前端，不过好事总会要来的，准备好数据仓库，我们就可以实地验证sqoop等程序的逻辑。Let’s go!

本文假设读者已经按照范老师的书搭建好了eclipse环境，并且已经导入myBi文件夹下面的子工程。

在阅读本文前，强烈建议阅读原书“系统结构设计”章节。

本文的代码同步于https://github.com/titer1/Play_HadoopFelix

ps:由于图床网络问题，有时候本文的图显示不正常，所以请看不到图的小伙伴稍安勿躁，我会后续跟进处理，想了解原图的，可以在本文下面留言。

overview

• 原书ER图思考
• 本人对ER图细节的还原
• 数据库建立脚本的细节
• 利用存储过程快速填充数据库
• 小节

1 原书的ER图

这是一张典型的订单系统ER图，作者很耐心的给出数据表

不过，仅仅从这个版本的书，初学者往往不能得到
- ER图细节信息，两个实体之间是1：1或者1:N的关系
- 数据库建立的详细过程
- 订单系统运作的过程

关于订单系统，有兴趣的朋友可以详细参考这里 (点我)，我将在下个小节讲述我对ER图的还原（仅从书上细节）

2 基于Mysql WorkBench的ER图

由于工作中对于数据库建模软件Mysql WorkBench更熟，我这里使用它来建模，建模图示如下：

其中 ，我们可以发现
- 一个订单Orders 可以分解成若干 OrderItems
- 其他，订单Order和Address是一对一关系，OrederItem和Item是一对一关系等

3 数据库创建代码

利用之前的数据库工具，可以导出数据库创建代码，详细如下：

-- -----------------------------------------------------
-- Table `BookStore`.`ItemType`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`ItemType` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`ItemType` (
  `PKId` INT NOT NULL,
  `Name` VARCHAR(45) NULL DEFAULT NULL,
  `Description` VARCHAR(45) NULL DEFAULT NULL,
  PRIMARY KEY (`PKId`))
ENGINE = InnoDB;


-- -----------------------------------------------------
-- Table `BookStore`.`Items`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`Items` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`Items` (
  `PKId` INT NOT NULL AUTO_INCREMENT,
  `Name` VARCHAR(45) NULL DEFAULT NULL,
  `TypedId` INT NOT NULL,
  `ImageFileSpec` VARCHAR(45) NULL DEFAULT NULL,
  `Description` VARCHAR(45) NULL DEFAULT NULL,
  `UnitCost` INT NULL DEFAULT 0,
  `UnitPrice` INT NULL DEFAULT 0,
  `ModifyDate` DATETIME NULL,
  PRIMARY KEY (`PKId`),
  INDEX `fk_Items_ItemType1_idx` (`TypedId` ASC),
  CONSTRAINT `fk_Items_ItemType1`
    FOREIGN KEY (`TypedId`)
    REFERENCES `BookStore`.`ItemType` (`PKId`)
    ON DELETE NO ACTION
    ON UPDATE NO ACTION)
ENGINE = InnoDB;


-- -----------------------------------------------------
-- Table `BookStore`.`Addresses`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`Addresses` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`Addresses` (
  `PKid` INT NOT NULL AUTO_INCREMENT,
  `Address` VARCHAR(45) NULL DEFAULT NULL,
  `Country` VARCHAR(45) NULL DEFAULT NULL,
  `PhoneNumber` VARCHAR(45) NULL DEFAULT NULL,
  `Fax` VARCHAR(45) NULL DEFAULT NULL,
  `CustomerId` INT NULL,
  PRIMARY KEY (`PKid`))
ENGINE = InnoDB;


-- -----------------------------------------------------
-- Table `BookStore`.`Orders`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`Orders` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`Orders` (
  `PKId` INT NOT NULL AUTO_INCREMENT,
  `CustomerId` INT NULL,
  `Status` VARCHAR(45) NULL DEFAULT NULL,
  `OrderDate` DATETIME NULL,
  `ShippingHandling` VARCHAR(45) NULL DEFAULT NULL,
  `ShipToName` VARCHAR(45) NULL DEFAULT NULL,
  `ShipToAddressId` INT NOT NULL,
  `SubTotal` INT NULL,
  `Tax` INT NULL DEFAULT 0,
  `CreditCardType` VARCHAR(45) NULL DEFAULT NULL,
  `CreditCardNumber` VARCHAR(45) NULL DEFAULT NULL,
  `ExpirationDate` DATETIME NULL,
  `NameOnCard` VARCHAR(45) NULL DEFAULT NULL,
  `ApprovalCode` VARCHAR(45) NULL DEFAULT NULL,
  `ModifyDate` DATETIME NULL,
  PRIMARY KEY (`PKId`),
  INDEX `fk_Orders_Addresses1_idx` (`ShipToAddressId` ASC),
  CONSTRAINT `fk_Orders_Addresses1`
    FOREIGN KEY (`ShipToAddressId`)
    REFERENCES `BookStore`.`Addresses` (`PKid`)
    ON DELETE NO ACTION
    ON UPDATE NO ACTION)
ENGINE = InnoDB;


-- -----------------------------------------------------
-- Table `BookStore`.`OrderItems`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`OrderItems` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`OrderItems` (
  `OrderID` INT NOT NULL,
  `ItemId` INT NOT NULL,
  `UnitPrice` INT NULL,
  `Quantity` INT NULL,
  `ONPRIMARY` VARCHAR(45) NULL,
  `ModifyDate` DATETIME NULL,
  INDEX `fk_OrderItems_Orders_idx` (`OrderID` ASC),
  INDEX `fk_OrderItems_Items1_idx` (`ItemId` ASC),
  CONSTRAINT `fk_OrderItems_Orders`
    FOREIGN KEY (`OrderID`)
    REFERENCES `BookStore`.`Orders` (`PKId`)
    ON DELETE NO ACTION
    ON UPDATE NO ACTION,
  CONSTRAINT `fk_OrderItems_Items1`
    FOREIGN KEY (`ItemId`)
    REFERENCES `BookStore`.`Items` (`PKId`)
    ON DELETE NO ACTION
    ON UPDATE NO ACTION)
ENGINE = InnoDB;


-- -----------------------------------------------------
-- Table `BookStore`.`Categories`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`Categories` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`Categories` (
  `PKId` INT NOT NULL AUTO_INCREMENT,
  `ParentId` VARCHAR(45) NULL DEFAULT NULL,
  `Description` VARCHAR(45) NULL DEFAULT NULL,
  `IsLeaf` TINYINT(1) NULL,
  PRIMARY KEY (`PKId`))
ENGINE = InnoDB;


-- -----------------------------------------------------
-- Table `BookStore`.`ItemCategory`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`ItemCategory` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`ItemCategory` (
  `ModifyDate` DATETIME NULL,
  `ItemId` INT NOT NULL,
  `CateryId` INT NOT NULL,
  INDEX `fk_ItemCategory_Items1_idx` (`ItemId` ASC),
  INDEX `fk_ItemCategory_Categories1_idx` (`CateryId` ASC),
  CONSTRAINT `fk_ItemCategory_Items1`
    FOREIGN KEY (`ItemId`)
    REFERENCES `BookStore`.`Items` (`PKId`)
    ON DELETE NO ACTION
    ON UPDATE NO ACTION,
  CONSTRAINT `fk_ItemCategory_Categories1`
    FOREIGN KEY (`CateryId`)
    REFERENCES `BookStore`.`Categories` (`PKId`)
    ON DELETE NO ACTION
    ON UPDATE NO ACTION)
ENGINE = InnoDB;


-- -----------------------------------------------------
-- Table `BookStore`.`Clickstream_log`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `BookStore`.`Clickstream_log` ;

CREATE TABLE IF NOT EXISTS `BookStore`.`Clickstream_log` (
  `ipAddress` VARCHAR(45) NULL DEFAULT NULL,
  `uniqueId` INT NULL,
  `url` VARCHAR(45) NULL DEFAULT NULL,
  `SessionId` INT NOT NULL,
  `SessionTimes` INT NULL,
  `areaAddress` VARCHAR(45) NULL DEFAULT NULL,
  `localAddress` VARCHAR(45) NULL DEFAULT NULL,
  `browserType` VARCHAR(45) NULL DEFAULT NULL,
  `operationSys` VARCHAR(45) NULL DEFAULT NULL,
  `referUrl` VARCHAR(45) NULL DEFAULT NULL,
  `receiveTime` VARCHAR(45) NULL DEFAULT NULL,
  `userId` VARCHAR(45) NULL DEFAULT NULL,
  `csvp` VARCHAR(45) NULL DEFAULT NULL,
  PRIMARY KEY (`SessionId`))
ENGINE = InnoDB;

4 巧用存储过程快速填充数据库

数据库有了，如果想快速的填充数据库，可利用存储过程

4.1 相关实例存储过程代码

--- add procdeure by titer1 ,and add random date (-5,0) (0,5) (90,95)

CREATE  PROCEDURE `insert_Orders_For_alphaTest`(IN num int)
begin
declare i int;
set i=0;
while ido
insert into Orders (PKId,CustomerId,ShipToAddressId,OrderDate,ExpirationDate,ModifyDate) values (rand()*1000,rand()*10,rand()*1000,curdate() - interval floor( rand()*5) day,curdate() + interval floor( rand()*5 + 90 ) day,curdate() + interval floor( rand()*5) day);
set i=i+1;
end while;
end$$

代码中，外围是个循环控制，传入参数是随机生成记录的条数，其中最核心的代码是：

insert into Orders (PKId,CustomerId,ShipToAddressId,OrderDate,ExpirationDate,ModifyDate) values (rand()*1000,rand()*10,rand()*1000,curdate() - interval floor( rand()*5) day,curdate() + interval floor( rand()*5 + 90 ) day,curdate() + interval floor( rand()*5) day);

本例以填充Order为例，我将为所有整型的字段和日期字段填充内容，分别利用rand()和时间函数来填充对应的项目。关于日期函数的填充，我当前想到使用curdate()，但本人认为效果不一定最好，如果读者朋友有更好的建议，请留言。

4.2 运行效果

敲击命令 ，生成101条随机记录
call insert_Orders_For_alphaTest(101);

结果图示：

上面这章图详细的说明在windows访问数据的过程

上面这章图详细的说明在centos访问windows主机上同一个数据库数据的过程

5 小结

通过数据库建模最大程度的还原书中数据库，为后续真机数据导入等做好铺垫。

不足之处有：
- 填充的数据没有考虑实际运行的场景
- 填充多个相关关联的表，本文中的存储过程函数就还需要大规模改进。

希望开卷有益，谢谢！