IT俱乐部 Python python使用pandas从minio读取excel文件方式

python使用pandas从minio读取excel文件方式

安装依赖

要使用Pandas从MinIO读取Excel文件,你需要先使用MinIO Python SDK从MinIO存储桶中下载文件,然后使用Pandas读取该文件。

安装必要的库:

1
pip install pandas minio -i https://pypi.tuna.tsinghua.edu.cn/simple

python 3 的方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
import pandas as pd
from minio import Minio
from io import BytesIO
 
# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin"# 访问密钥
    secret_key="admin"# 秘钥
    secure=False                   # 如果是https连接,设为True
)
 
bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径
 
def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(BytesIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None
 
# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

python 2 的方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
import pandas as pd
from minio import Minio
from StringIO import StringIO
 
# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin"# 访问密钥
    secret_key="admin"# 秘钥
    secure=False                   # 如果是https连接,设为True
)
 
bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径
 
def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(StringIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None
 
# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持IT俱乐部。

本文收集自网络,不代表IT俱乐部立场,转载请注明出处。https://www.2it.club/code/python/14774.html
上一篇
下一篇
联系我们

联系我们

在线咨询: QQ交谈

邮箱: 1120393934@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部