1 <?php
2 /**
3 * 抓取“维库电子市场”供应商主程序
4 * author Lee.
5 * Last modify $Date: 2012-2-3 9:30:21 $
6 * 注：本程序按照编码 GB2312 执行，因为“维库电子市场”网站是GB2312编码，数据库也得保持一致
7 */
8 class weiku {
9 private $key; // 型号
10 private $pageNum; // 页码
11
12 /**
13 * 入口程序
14 */
15 public function go($key) {
16 $this->key = $key;
17 $this->pageNum = $this->getPageNum();
18 $this->getInfo();
19 }
20
21 /**
22 * 获取供应商 url 链接数组
23 * @return ArrayObject
24 */
25 private function getInfo() {
26 if ($this->pageNum==1) { # 处理只有一页的情况
27 $arr = $this->shopAddContact($this->shopUrlMatchReArr($this->getContent()));
28 $this->isAddSuccess($arr);
29 } elseif ($this->pageNum>1) { # 多页
30 for ($i=1; $i<=$this->pageNum; $i++) {
31 $arr = $this->shopAddContact($this->shopUrlMatchReArr($this->getContent($i)));
32 $this->isAddSuccess($arr);
33 }
34 }
35 }
36
37 /**
38 * 打印是否添加成功
39 * @param ArrayObject $arr
40 * @return string
41 */
42 private function isAddSuccess($arr) {
43 foreach ($arr as $k=>$v) {
44 if ($this->execAdd($this->getInfoByShopUrl($v))) {
45 echo 'Add Success!!';
46 } else {
47 echo 'Add Faild!!';
48 }
49 }
50 }
51
52 /**
53 * 执行添加到数据库
54 * @param ArrayObject $infoArr
55 * @return Number 受影响的行数
56 */
57 private function execAdd($infoArr) {
58 $mysqli = $this->getDb();
59 if (!empty($infoArr['company'])) {
60 if (!$this->isExists($mysqli, $infoArr)) {
61 $num = $mysqli->query("INSERT INTO weiku(company,person,phone,fax,mobile,qq,msn,email,address,shopUrl) VALUES ('{$infoArr['company']}','{$infoArr['person']}','{$infoArr['phone']}','{$infoArr['fax']}','{$infoArr['mobile']}','{$infoArr['qq']}','{$infoArr['msn']}','{$infoArr['email']}','{$infoArr['address']}','{$infoArr['shopUrl']}')");
62 return $num;
63 } else {
64 return false; # 表示数据已经存在
65 }
66 } else {
67 return false;
68 }
69 }
70
71 /**
72 * 连接数据库
73 */
74 private function getDb() {
75 $mysqli = new mysqli('localhost', 'root', '1715544', 'weiku');
76 $mysqli->query('SET NAMES GB2312');
77 return $mysqli;
78 }
79
80 /**
81 * 检查公司是否已经存在
82 * @param Resource $mysqli
83 * @param ArrayObject $infoArr
84 * @return bool
85 */
86 private function isExists($mysqli, $infoArr) {
87 $mysqli->query("SELECT company FROM weiku WHERE company = '{$infoArr['company']}'");
88 if ($mysqli->affected_rows) {
89 return true;
90 } else {
91 return false;
92 }
93 }
94
95 /**
96 * 抓取信息
97 * @param $url
98 * @return ArrayObject
99 */
100 private function getInfoByShopUrl($url) {
101 $re = $this->getUrlInfo($url);
102 preg_match_all('/<b>公司名称：<\/b><span>(.*)<\/span>/Usi', $re, $companyArr);
103 preg_match_all('/<b>联系人：<\/b><span>(.*)<\/span>/Usi', $re, $personArr);
104 preg_match_all('/<b>电话：<\/b><span>(.*)<\/span>/Usi', $re, $phoneArr);
105 preg_match_all('/<b>传真：<\/b><span>(.*)<\/span>/Usi', $re, $faxArr);
106 preg_match_all('/<b>手机：<\/b><span>(.*)<\/span>/Usi', $re, $mobileArr);
107 preg_match_all('/<b>QQ：<\/b><span>(.*)<\/span>/Usi', $re, $qqArr);
108 preg_match_all('/<b>MSN：<\/b><span>(.*)<\/span>/Usi', $re, $msnArr);
109 preg_match_all('/<b>E-Mail：<\/b><span>(.*)<\/span>/Usi', $re, $emailArr);
110 preg_match_all('/<b>公司地址：<\/b><span>(.*)<\/span>/Usi', $re, $addressArr);
111 $infoArr = array(
112 'company'=>$this->stripATags($companyArr[1][0]),
113 'person'=>trim($personArr[1][0]),
114 'phone'=>trim($phoneArr[1][0]),
115 'fax'=>trim($faxArr[1][0]),
116 'mobile'=>trim($mobileArr[1][0]),
117 'qq'=>$this->formatQqMsn($qqArr[1][0]),
118 'msn'=>$this->formatQqMsn($msnArr[1][0], 'MSN'),
119 'email'=>$this->stripATags($emailArr[1][0]),
120 'address'=>trim($addressArr[1][0]),
121 'shopUrl'=>$url
122 );
123 return $infoArr;
124 }
125
126 /**
127 * 根据页面获取供应商 url 数组
128 * @param string $re
129 * @return ArrayObject
130 */
131 private function shopUrlMatchReArr($re) {
132 $re = preg_replace('/<img.* [\/]>/', '', $re);
133 $re = preg_replace('/<img.*>/', '', $re);
134 $re = preg_replace('/<a href=\".+\" target=\"\_blank\">[A-Z]<\/a>/', '', $re);
135 $re = preg_replace('/<a href=\".+\" target=\"\_blank\">[0-9]<\/a>/', '', $re);
136 $re = preg_replace('/<a href=\".+\" target=\"\_blank\">.*<\/a>/', '', $re);
137 $re = preg_replace('/<a href="javascript.+">.*<\/a>/', '', $re);
138 $re = preg_replace('/<a href.+>营业执照<\/a>/', '', $re);
139 $re = preg_replace('/<a href.+>该企业更多资质>><\/a>/', '', $re);
140 $re = preg_replace('/<a href.+>点此反馈<\/a>/', '', $re);
141 $re = preg_replace('/<a href.+>首页<\/a>/', '', $re);
142 $re = preg_replace('/<a href.+>IC<\/a>/', '', $re);
143 $re = preg_replace('/<a href.+>简洁<\/a>/', '', $re);
144 $re = preg_replace('/<a href.+>信用<\/a>/', '', $re);
145 $re = preg_replace('/<a href.+>.*更多报价信息>><\/a>/', '', $re);
146 $re = preg_replace('/<a href=\".*\" target=\"\_blank\" rel=\"nofollow\">.*<\/a>/', '', $re);
147 $re = preg_replace('/<div class="kingbanan mb8">.*/', '', $re);
148 preg_match_all('/<a href=\"(.+)\".*>.+<\/a>/Usi', $re, $arr);
149 $arr = $this->formatUrlArr(array_unique($arr[1]));
150 return $arr;
151 }
152
153 /**
154 * 格式化数组
155 * @param Array $arr
156 * @return ArrayObject
157 */
158 private function formatUrlArr($arr) {
159 $newArr = array();
160 foreach ($arr as $key=>$value) {
161 if ($this->isExistsHttp($value)) {
162 $newArr[$key] = $value;
163 }
164 }
165 return $newArr;
166 }
167
168 /**
169 * 格式化 QQ
170 * @param string $str
171 * @return string
172 */
173 private function formatQqMsn($str, $e='QQ') {
174 if (empty($str)) return '';
175 preg_match_all('/alt="'.$e.'\:(.+)"/Usi', $str, $arr);
176 if (count($arr[1])==1) return $arr[1][0];
177 $newStr = null;
178 foreach ($arr[1] as $value) {
179 $newStr .= $value . ' ';
180 }
181 return rtrim($newStr, ' ');
182 }
183
184 /**
185 * 供应商店铺链接添加 contact.html
186 * @param array $arr
187 * @return string
188 */
189 private function shopAddContact($arr) {
190 foreach ($arr as $k=>$v) {
191 $arr[$k] = $v . '/contact.html';
192 }
193 return $arr;
194 }
195
196 /**
197 * 去掉网址的 A 标签
198 * @param string $site
199 * @return string
200 */
201 private function stripATags($site) {
202 $site = preg_replace('/<a.+>(.+)<\/a>/', '\1', $site);
203 return $site;
204 }
205
206 /**
207 * 检查 url 是否有 http
208 * @param string $url
209 * @return bool
210 */
211 private function isExistsHttp($url) {
212 if (stristr($url, 'http://')) {
213 return true;
214 } else {
215 return false;
216 }
217 }
218
219 /**
220 * 获取页面内容
221 * @param Number $page
222 * @return string
223 */
224 private function getContent($page=1) {
225 $re = file_get_contents($this->getUrl($this->key, $page));
226 return $re;
227 }
228
229 /**
230 * 获取页码
231 * @return Number
232 */
233 private function getPageNum() {
234 $i = 1;
235 while (true) {
236 $re = $this->getContent($i);
237 # 处理单页避免处理死循环
238 if (!strstr($re, '下一页')) {
239 break;
240 } else {
241 # 多页，计算出页码
242 if (stristr($re, '<span>下一页</span></li>')) break;
243 $i++;
244 }
245 }
246 return $i;
247 }
248
249 /**
250 * 获取 URL 链接
251 * @param string $str
252 * @param int $page 页码
253 * @return string
254 */
255 private function getUrl($str, $page=1) {
256 return "http://www.dzsc.com/ic/sell_search.html?keyword={$str}&ic_sel=supplygoods&Submit=%26%23160%3B&page={$page}";
257 }
258
259 /**
260 * 获取页面内容
261 * @param string $url
262 * @return string
263 */
264 private function getUrlInfo($url) {
265 $re = file_get_contents($url);
266 return $re;
267 }
268 }
269
270 /*
271 程序运行思路：根据“华强电子网”的IC搜索功能，输入型号进行搜索，然后抓取供应商信息
272
273 数据库结构
274 CREATE TABLE `weiku` (
275 `id` mediumint(8) unsigned NOT NULL auto_increment COMMENT 'ID',
276 `company` varchar(300) default NULL COMMENT '公司名称',
277 `person` varchar(200) default NULL COMMENT '联系人',
278 `phone` varchar(300) default NULL COMMENT '电话',
279 `fax` varchar(300) default NULL COMMENT '传真',
280 `mobile` varchar(300) default NULL COMMENT '手机',
281 `qq` varchar(200) default NULL COMMENT 'QQ',
282 `msn` varchar(200) default NULL COMMENT 'MSN',
283 `email` varchar(300) default NULL COMMENT '邮箱',
284 `address` varchar(500) default NULL COMMENT '公司地址',
285 `shopUrl` varchar(200) default NULL COMMENT '维库网店铺地址',
286 PRIMARY KEY (`id`)
287 ) ENGINE=InnoDB DEFAULT CHARSET=gb2312
288 */
289
290 $k = new weiku();
291 $arr = array_unique(array('MAX3232', 'AML8613', 'MT6225A', 'OM8373PS/N3/A', 'PT7313', 'MAX8212ESA', 'TL431', 'S3C2440', 'TMS320F2812PGFA', 'PCM1704', 'AN6717', 'CA3162E', 'CA3161E', 'LM393N', 'DS18B20', 'SHT10', 'AML8613', 'AN6717', 'LM393N', 'CA3161E', 'CA3162E', 'PCM1704', 'STK392-040', 'K1667', 'MAX232', 'STM32F103', 'LM358'));
292 foreach ($arr as $v) {
293 $k->go($v);
294 }
295 ?>
