一次网页数据抓取采集保存我的电子商务业务

最近我注意到许多电子商务指南都关注相同的技巧：

• 增加你的社交活动
• 投资chatbots
• 为您的店铺创造出精彩的AI
• 构建一个AR应用程序

虽然这些都是很棒的提示，但我在这里只给你一个刮伤黑客的信息，这可以帮助我的公司不再关机。（如果您没有使用网络抓取您的在线业务，请查看此博客）。

image: https://cdn.business2community.com/wp-content/uploads/2018/03/Scraping_Lesson-6.jpg

  来源： https： //upload.wikimedia.org/wikipedia/commons/c/ca/Scraping_Lesson.jpg

这一切是如何开始的

我的背景是市场营销，我是一个经验丰富的SEO，PPC和联盟营销人员，所以自然而然地，我对于推动流量并将其转化为销售理解了一两件事。

在电子商务商店创造另一个收入来源的同时，让我的日常工作成为市场营销副总裁感觉很对。

我有一位程序员朋友，他同意用定价优化逻辑为我编写一个刮板。逻辑可以简化为两个基本规则。第一条规则是，无论何时发现竞争对手降低其价格，我都会收到通知，以便我可以决定是降低价格还是闲置。第二条规则是每当竞争对手缺货时，我会收到通知，以便决定是否提高我的价格。

经过几个月的艰苦营销工作，我看到我的商店流量增加，后来转化为转化率的增加。生活是美好的，钱来了，我唯一的任务是执行再营销活动，并保持我的SEO整洁。

然而，这场派对并没有持续很长时间，几周过去了，令我惊讶的是，我看到我的转换率下降，最终我的开支超过了我的收入。

我试图寻找问题的根源。在减少开始之前，我没有改变我的商店页面或营销活动，并且我的流量保持稳定。

找到原因

排除商店和市场营销活动后，我检查了我的定价和刮板。

我将转换率下降的日期与竞争对手网站的缓存版本进行了比较，我发现我的竞争对手显着降低了我销售的产品的价格。出于某种原因，我在转换率下降前几天停止接收通知。

难怪我失去了销售业绩 - 我店的目标受众是最不忠诚和价格最敏感的年龄段：21-29岁。根据MarketTrack的研究，如果他们在其他地方找到更好的价格，85％的人将更换商店，86％的人将更换品牌。

我的刮是怎么回事？

为你推荐

网络直播，3月29日：如何关闭企业交易：销售黑客的故事

我刮得太快了吗？太过分了？我使用了常见的做法来确保我的竞争对手不被识别为机器人，并且在我的手术的头几个月里它运行良好。

当我研究这个问题时，我发现目标公司确实试图保护自己不被刮伤。例如，一家名为Shiledsquare的公司通过识别由于不正常活动引起的刮刀，帮助电子商务企业。

由于企业通常通过带有特定公开上市IP范围的付费数据中心来抓取其他业务，因此该公司可以轻松识别和阻止商业数据中心拥有的可疑IP。这意味着我可能被阻止，因为其他人使用我使用的同一个IP范围来糟糕地使用同一个站点......然而，我付出了代价。

寻找解决方案

在这一点上，我意识到我需要一个适合我现有的基础架构的解决方案，一个可靠且永远不会被阻止的解决方案。

幸运的是，我发现了住宅知识产权。住宅IP是由互联网服务提供商公司提供给私人用户的IP。住宅知识产权与数据中心知识产权之间的区别在于他们被识别的机会，并因此被阻止。

显然，新一代的业务代理网络由P2P消费者组成。这些消费者同意允许通过他们的IP路由一些请求，同时他们的设备闲置，连接到无线和充电。作为允许这些请求的回报，他们以免费使用应用程序和无广告应用程序的形式获得好处。

显然，新一代的业务代理网络由P2P消费者组成。这些消费者同意允许通过他们的IP路由一些商业请求，同时他们的设备闲置，连接到WiFi和充电。作为允许这些请求的回报，他们以免费使用应用程序和无广告应用程序的形式获得好处。

应用程序开发人员通常希望使用这种易货贸易来增长并通过广告或付费订阅通过应用程序获利，通常会降低参与度。

这使得阻止刮板几乎不可能，因为目标网站无意阻止常规消费者访问他们的网站。

我找到了一家名为Luminati 的公司，他建立了一个庞大的住宅IP池，并且我迅速更换了我的刮板基础设施，继续使用他们的住宅IP进行刮擦。

价格警报立即回来了，再加上正确的价格调整，我的转换率再次回升，并且我很快再次盈利。

结论

刮刮有它的两面。一方面，它是完全自动化的，一旦工作，你就可以进入自动驾驶模式。另一方面，您正在抓取的网站将尝试阻止您，您必须避免这种情况，以确保您始终获得可靠的数据，这正是住宅IP允许我做的事情。

提供网站数据采集抓取服务，QQ：1183877282，www.hnxpu.com