【问题解决】load_dataset报错An error occurred while generating the dataset

问题描述:
使用load_dataset读取在HuggingFace上的数据集,代码如下

from datasets import load_dataset
dataset = load_dataset(path="openclimatefix/goes-mrms")

用pip install datasets直接装了库,然后一运行就报错了
在_generate_examples函数里的,sat_data = xarray.open_dataset(filepath, engine=“zarr”, chunks=‘auto’)这一行,An error occurred while generating the dataset
在网上查了一下发现没有帖子问这个问题的(第一次用,确实小白)

问题解决:
我自己去HuggingFace上那个地址看了,发现load_dataset会调用"openclimatefix/goes-mrms"这个我找的地址下面上传的py文件,报错的意思就是这个py文件里的代码运行有报错
其实就是py文件中的xarray.open_dataset(filepath, engine=“zarr”, chunks=‘auto’)这一行代码报错

接下来就是自己测试一下xarray.open_dataset这一行报什么错
在py文件中,找到这个filepath对应的地址
_URL = “gs://public-datasets-eumetsat-solar-forecasting/satellite/EUMETSAT/SEVIRI_RSS/v3/eumetsat_seviri_hrv_uk.zarr”

我就自己写了个py文件,代码如下

import xarray
_URL = "gs://public-datasets-eumetsat-solar-forecasting/satellite/EUMETSAT/SEVIRI_RSS/v3/eumetsat_seviri_hrv_uk.zarr"
dataset = xarray.open_dataset(
    _URL, 
    engine="zarr", 
    chunks="auto",  # Load the data as a Dask array.
)
print(dataset)

运行发现果然报错,基本都是什么什么库没装上,或者版本错误,总之就是这回报什么错就去网上查一下为什么,就能找到对应的解决方案
所有库都装好之后,再次运行,不报错了

此时回到原本调用 load_dataset(path=“openclimatefix/goes-mrms”)的地方,再次运行,就成功了

问题分析:
报这种不明确的错误,往往是因为内部有错却不能直接报出来,需要进一步查看内部的调用

你可能感兴趣的:(python,huggingface,数据集,pytorch)