safegraph

如何使用 Amazon EMR 在 Amazon EKS 上构建可靠、高效、用户友好的 Spark 平台

这是SafeGraph技术主管经理NanZhu与亚马逊云科技高级解决方案架构师DaveThibault共同撰写的特约文章。
亚马逊云开发者·2023-09-02 10:56

safegraph数据预处理（三）：将csv文件按指定字段不同的值进行拆分

importpandasaspdimporttime#fileLocation='D:/2020-06-08-weekly-patterns.csv'#fileLocation='D:/baidu_netdisk/safegraph
xslwyz·2021-02-01 05:12

safegraph数据预处理（二）：将指定文件夹内的.csv文件合并

importpandasaspdimportosfile_dir='D:/baidu_netdisk/safegraph/weeklyPlacesPatterns/patterns_backfill/2020
xslwyz·2021-02-01 04:38

safegraph数据预处理（一）：解压给定目录内所有.gz类型的压缩文件

importpandasimportosimportgzipfile_dir='D:/baidu_netdisk/safegraph/weeklyPlacesPatterns/patterns_backfill
xslwyz·2021-02-01 03:12

safegraph数据清洗-2020-06-08-weekly-patterns.csv

旧版本数据，已弃用，新数据将超大CSV分割成数个小于1G的小文件，平均每个文件80万条数据以2020-06-08-weekly-patterns.csv为例：文件大小4.37GB，内容时间段20200608-20200615。共25个字段，mysql上统计是3819825条数据，pandas上统计是3819697条数据，WPS打开只能看到1048576条数据。正常环境下使用python的panda
xslwyz·2021-01-31 19:30

SaaS公司走向伟大，数据合作是必经之路吗？

在该问题下最权威、最具创造性的回答由SafeGraph的创始人兼CEO奥伦·霍夫曼（AurenHoffman）撰写，本译文内容大部分来自于他撰写的答复。
牛透社·2018-06-06 00:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他