day25正则表达式，匹配，切割，替换。获取。网页爬虫

/*

正则表达式，匹配，切割，替换。获取。网页爬虫
*/


/*
正则表达式：符合一定规则的表达式
	作用：用于专门操作字符串
	特点：用一些特定的符号来表示一些代码操作。
			所以学习正则表达式，就是学习特殊符号的操作。
	好处：简化对字符串的复杂操作。
	弊端：符号越多，正则越长，阅读性差。
*/

/*
对QQ号码进行校验
要求：5~15位，0不能开头，只能是数字。
*/
public class ChackQQ {
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		String qq = "987464786767645645646";
		checkQQ(qq);
	}
	public static void checkQQ(String str){
		int len = str.length();
		if(len>=5 && len<=15)
		{
			if(!str.startsWith("0"))
			{
				char[] arr = str.toCharArray();
				boolean flag = false;
				for(int x=0;x='0' && arr[x]<='9'))
					{
						flag = true;
						break;
					}
				}
				if(flag){
					System.out.println("非法字");
				}else{
					System.out.println("qq:"+str);
				}
			}
			else{
				System.out.println("不是0开头");
			}
		}
		else{
			System.out.println("长度不对");
		}
	}
	public static void checkQQ_2(String str){
		try{
		long l = Long.parseLong(str);
		}catch(Exception e){
			System.out.println("不对");
		}
	}
}
/*
第一种写法，我们看到这样写比较麻烦。

第二种写法，用long l = Long.ParseLong(QQ号码);如果异常，就错误。

这二种方法都比较麻烦。使用String类组合完成需求，代码复杂。
下面我们就用正则来写。
String方法matchs(正则)。
String regex = "[1-9][0-9]{4,14}";第一位1到9，第二位开始0-9，出现4到14次。

public static void QQCheck(String qq){
		String regex = "[1-9][0-9]{4,14}"; //定义正则
		boolean flag = qq.matches(regex);
		if(flag){
			System.out.println("qq:"+qq);
		}
		else{
			System.out.println("QQ号码错误");
		}
	}
*/

/*
正则表达式
：具体操作功能
	1.匹配：String的 matches()方法
		[abc]这个字符串的第一个字符是abc,而且只能有一个字符。
		[^abc]第一个不是abc就可以了。
		[a-z]这个字符在a-z范围内就可以了。
		[a-zA-Z] a 到 z 或 A 到 Z，两头的字母包括在内（范围） 
							[]只会匹配一位字符。

	预定义字符类 ，在java中，\d是一个整体。
		. 任何字符（与行结束符可能匹配也可能不匹配） 
		\d 数字：[0-9] 
				要写成String regex = "[a-zA-Z]\\d";
		\D 非数字： [^0-9] 
		\s 空白字符：[ \t\n\x0B\f\r] 
		\S 非空白字符：[^\s] 
		\w 单词字符：[a-zA-Z_0-9] //邮箱名一般用这个。  
		\W 非单词字符：[^\w] 

	Greedy 数量词 
		X?		X，一次或一次也没有 
		X*		X，零次或多次 
		X+		 X，一次或多次 
		X{n}	 X，恰好 n 次 
		X{n,}	X，至少 n 次 
		X{n,m}	X，至少 n 次，但是不超过 m 次 
解说：
String regex = "[1-9][0-9]{4,14}";
//			意思是:第一位1到9，从第二位,0-9出现4到14次。
*/

/*
练习：匹配手机号。11位数字
		手机号段：13XXX，15XXX，18XXX
		String regex = "1[358][0-9]{9}";
*/
/*
2.切割：String 类的split(String regex);
				参数是regex。复杂切法
		1].String regex = " +";//多个空格。空格出现一次或多次
		
		2].注意: . 代表正则里的任意字符。
		真要拿点去切。String regex = "\\.";

		3]。二个\\定义成正则："\\\\"

		4]。按照叠字切。"erkktyqquizzo"
		叠词，后一个和前一个一致。第一位可以是任意，第二位得是第一位再次出现。
		这时要用到正则里的组概念，封装成组:(.)再捕捉组\1,写到字符串里"\\1"
		String regex  = "(.)\\1";

		假如字符串是这样呢？"erkktyqquizzzzzzo"出现一次或多次。"(.)\\1+"
		为了规则的结果被重用，可以将结果封装成组，用()完成，组的出现都有编号，
		从1开始，想要使用已有的组通过\n形式来获取。n就是组的编号。


		((())()):有几组看左括号，第几组还是看左括号。
	组和捕获 
		捕获组可以通过从左到右计算其开括号来编号。例如，在表达式 ((A)(B(C))) 中，存在四个这样的组： 

		1     ((A)(B(C))) 
		2     \A 
		3     (B(C)) 
		4     (C) 

3.替换：
	String 的方法replaceAll()，
		replaceAll()函数参数：String str = str.replaceAll(reg,newStr);

		例题：将一堆字符串中的数字替换成#号.如手机号
		字符串.replaceAll("\\d{5,}","#");这句话意思是数字出现5或以上，替换成#
		
		例题;将重叠字母替换成单个字母。("(.)\\1+","$1");美元符代表前面组里出现的字符。

	
4.获取：将字符串中符合规则的子串取出。
	操作步骤：
	1.将正则表达式封装成对象。Pattern p = Pattern.compile(reg);
	2.让正则对象和要操作的字符串相关联。Matcher m = p.matcher(string);
	3.关联后，获取正则匹配引擎。Matcher m 
	4.通过引擎获取内容。m.find();m.group();	
	注意事项：matches()和find()是一个匹配器，二个方法一起用，注意索引位置会偏移。
*/

class getDemo
{
	public static void main(String[] args){
		getDemo();
	}

	public static void getDemo(){
		String str = "ming tan jiu yao fang jia le,da jia";
		String regex = "\\b[a-z]{3}\\b";//\\b代表边界符

		Pattern p  =  Pattern.compile(regex);//将正则封装成对象

		Matcher m = p.matcher(str);//和字符串关联并拿到匹配器对象。
		//System.out.println(m.find());//将规则作用到字符串上，并进行符合规则的子串查找。
		//System.out.println(m.group());//用于获取匹配后的结果。
		while(m.find()){
			System.out.println(m.group());//类似迭代器。
			//System.out.println(m.start()+"..."+m.end());可以拿到匹配后的头头尾角标。
		}
	}
}
/*
需求：将下列字符串转成：我要学编程
String str = "我我...我我...我要..要要..要要...学学学....学学....编编编....编程.....程程程..程..程";
到底用四种功能中的哪一个呢？还是几个？
思路方式：1.如果只想知道该字符是否是对是错，匹配matches()
		2.想要将已有的字符串变成另一个字符串，替换replaceAll()
		3.想要按照自定的方式将字符串变成多个字符串。切割split(),获取规则以外的子串
		4.想要拿到符合需求的字符子串，获取，获取符合规则的子串。
		获取，1.将规则regex封装成对象pattern.compile(reg),2.获取匹配器，p.matcher(str),3.通过匹配器操作。
*/

	public static void test_1(){//我要学编程
		String str = "我我...我我...我要..要要..要要...学学学....学学....编编编....编程.....程程程..程..程";
		String regex = "\\.+";
		/*
		String[] arr = str.split(regex);
		StringBuilder sb  = new StringBuilder();
		for(String s :arr){
			sb.append(s);
		}
		System.out.println(sb);
		*/
		//以上可以替换成代码
		String sb = str.replaceAll(regex,"");//。可以替换成空格。

		String regex1 = "(.)\\1+";
		String sss = sb.toString().replaceAll(regex1, "$1");
		System.out.println(sss);
	}

/*练习二
	192.68.1.254 102.49.49.23.013 10.10.10.10 2.2.2.2 8.109.90.30
	将IP地址进行地址段顺序的排序。

	还按照字符串自然顺序，只要让它们每一段都是3位就好。
	1.按照每一段需要的最多的0进行补齐，那么每一段就会至少保证有3位。
	2.将每一段只保留3位，这样，所有的IP地址都是每一段3位。
*/
	public static void test_2()
	{
		//192.68.1.254 102.49.49.23.013 10.10.10.10 2.2.2.2 8.109.90.30
		//将IP地址进行地址段顺序的排序。
		String ip = "192.68.1.254 102.49.49.23.013 10.10.10.10 2.2.2.2 8.109.90.30";
		ip = ip.replaceAll("(\\d+)", "00$1");//先在前加二个0
		ip = ip.replaceAll("0*(\\d{3})", "$1");//保留后三位
		//System.out.println(ip);
		String[] arr = ip.split(" +");
		Set set = new TreeSet();
		for(String s:arr){
			set.add(s);//添加并排序
		}
		for(String ss:set){
			System.out.println(ss.replaceAll("0*(\\d+)", "$1"));//打印并去掉前面的0
		}
	}

	/*
	练习：对邮箱地址进行校验。英文和数字_,6位-->12位
	*/
	public static void checkMail(){
		String mail = "[email protected]";
		String reg = "[a-zA-Z0-9_]{6,12}@[a-zA-Z0-9]+(\\.[a-zA-Z]+){1,3}";//比较精确的匹配
		//String reg = "\\w+@\\w+(\\.\\w+)+";//相对不精确的匹配
		//mail.indexOf("@")!=-1;搞笑的匹配。
		boolean b = mail.matches(reg);
		System.out.println(b);
	}

/*
网页爬虫：(蜘蛛)如：向邮箱里发东西。
获取指定文档中的邮件地址
使用获取功能。Pattern Mather
*/
import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class GetMailDemo {

	/**
	 * @param args
	 * @throws Exception 
	 */
	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
		getMails_2();
	}
	public static void getMails_2() throws Exception//从网页上获取
	{
		URL url = new URL("http://127.0.0.1:8080/myweb/mail.html");//这里不用写二个//.
		URLConnection conn = url.openConnection();
		BufferedReader bufr = new BufferedReader(
				new InputStreamReader(conn.getInputStream()));
		
		String mailReg = "\\w+@\\w+(\\.\\w+)+";
		Pattern p = Pattern.compile(mailReg);
				
		String line = null;
		while((line = bufr.readLine())!=null){
			//System.out.println(line);
			Matcher m = p.matcher(line);
			while(m.find()){
				System.out.println(m.group());
			}
		}
	}
	public static void getMails() throws Exception//获取一个文件中的邮箱
	{
		BufferedReader bufr = new BufferedReader(
				new FileReader("mail.txt"));
		
		String mailReg = "\\w+@\\w+(\\.\\w+)+";
		Pattern p = Pattern.compile(mailReg);
				
		String line = null;
		while((line = bufr.readLine())!=null){
			//System.out.println(line);
			Matcher m = p.matcher(line);
			while(m.find()){
				System.out.println(m.group());
			}
		}
	}
}