爬小说

问题:

看小说有很多广告，使用迅雷下载，如果文件名称没有规律的话，下载效率很低,因为猜不到文件名规律。于是就想每一章都有下一章，因此可以根据"下一章" 找到 href 然后下载下一章，如果"下一章"已经下载则说明循环了，要停止。下载完以后，需要生成新的小说文件，可以根据小说的开始位置的特点和结束位置特点进行获取文件内容，并且生成目录。这样一本小说就加工出来了。
下面是爬小说的部分，使用了 curl 下载 vs2019 c++ 实现。

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
using namespace std;
#pragma comment(lib,"shlwapi.lib")
vector	g_vecFiles;
//获得路径的文件名
static wstring getfilename(wstring& path)
{
	wstring result;
	wchar_t* p = (wchar_t*)path.data();
	wchar_t* pos = NULL;
	for (;;)
	{
		wchar_t c = *p;
		if (c == L'/')
		{
			pos = p + 1;
		}
		if (c == 0)
		{
			result = *(pos) ? pos : L"";
			break;
		}
		p++;
	}
	return result;
}
//下载url指向的文件
static wstring	ObtainHtmlFile(wstring& url)
{
	wchar_t	cmdline[512];
	wstring filename = getfilename(url);
	wsprintf(cmdline, L"curl -G -o d:\\temp\\%s %s", filename.c_str(), url.c_str());
	STARTUPINFO info = { sizeof(info) };
	PROCESS_INFORMATION pi;
	BOOL b = CreateProcess(NULL, cmdline, NULL, NULL, FALSE, 0, NULL, NULL, &info, &pi);
	if (b)
	{
		WaitForSingleObject(pi.hThread, INFINITE);
		CloseHandle(pi.hThread);
		CloseHandle(pi.hProcess);
		return wstring(L"d:\\temp\\") + filename;
	}
	return L"";
}
//获得文件内容
static string ObtainFileContent(wstring& file)
{
	string result;
	FILE* fp = _wfopen(file.c_str(), L"rb");
	if (fp)
	{
		fseek(fp, 0, SEEK_END);
		int len = ftell(fp);
		fseek(fp, 0, SEEK_SET);
		result.resize(len, 0);
		fread((char*)result.data(), 1, len, fp);
		fclose(fp);
	}
	return result;
}
//获得下一章
static wstring ObtainNextChapter(string& content)
{
	wstring result;
	const char* index_str = ">下一章";
	int index = content.find(index_str);
	if (index != -1)
	{
		const char* next_find_str = "href=\"";
		index = content.rfind(next_find_str, index);
		index += strlen(next_find_str);
		int index1 = content.find("\"", index);
		string url;
		url.insert(url.begin(), content.begin() + index, content.begin() + index1);
		USES_CONVERSION;
		result = A2W(url.c_str());
	}
	return result;
}
int _tmain(int argc, TCHAR* argv)
{
	wstring url;
	url = L"https://www.biqushu.com/book_74884/26144503.html";
	while (1) {
		//查找是否结束
		for (wstring x : g_vecFiles)
		{
			if (url == x)
			{
				//成环了
				goto over;
			}
			else if (url.empty())
			{
				goto over;
			}
		}
		g_vecFiles.push_back(url);
		//获得文件
		int times = 5;
		while (times > 0)
		{
			wstring str = ObtainHtmlFile(url);
			if (PathFileExists(str.c_str()))
			{
				//解析文件获得文件的下一章
				string content = ObtainFileContent(str);
				url = ObtainNextChapter(content);
				break;
			}
			else
			{
				times--;
				continue;
			}
		}

	}
over:
	for (auto x : g_vecFiles)
	{
		USES_CONVERSION;
		cout << W2A(x.c_str()) << endl;
	}

	return 0;
}

文件生成到了 d:\temp 目录下。程序很短，也很简单，不过多说明了。HTML 是 GBK ，因此使用 单字符解析，如果是UTF-8 格式需要转码，然后再进行查找.