安装依赖
要使用Pandas从MinIO读取Excel文件,你需要先使用MinIO Python SDK从MinIO存储桶中下载文件,然后使用Pandas读取该文件。
安装必要的库:
1 | pip install pandas minio - i https: / / pypi.tuna.tsinghua.edu.cn / simple |
python 3 的方式
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | import pandas as pd from minio import Minio from io import BytesIO # MinIO 连接配置 # MinIO 连接配置 minio_client = Minio( "localhost:9000" , # MinIO服务器地址 access_key = "admin" , # 访问密钥 secret_key = "admin" , # 秘钥 secure = False # 如果是https连接,设为True ) bucket_name = "test-read" # 存储桶名称 file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径 def read_csv_from_minio(minio_client,bucket_name, file_path): """ 从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame :param bucket_name: 存储桶名称 :param file_path: MinIO 中的文件路径 :return: pandas DataFrame """ try : # 从 MinIO 下载文件内容 response = minio_client.get_object(bucket_name, file_path) # 使用 BytesIO 包装文件内容,以便 pandas 读取 # binary_data = response.read() # 将数据读取为字节 df = pd.read_excel(BytesIO(response.data), sheet_name = 1 ) return df except Exception as e: print (f "读取文件失败,错误信息: {e}" ) return None # 调用函数并查看数据框 df = read_csv_from_minio(bucket_name, file_path) if df is not None : print (df.head()) |
python 2 的方式
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | import pandas as pd from minio import Minio from StringIO import StringIO # MinIO 连接配置 # MinIO 连接配置 minio_client = Minio( "localhost:9000" , # MinIO服务器地址 access_key = "admin" , # 访问密钥 secret_key = "admin" , # 秘钥 secure = False # 如果是https连接,设为True ) bucket_name = "test-read" # 存储桶名称 file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径 def read_csv_from_minio(minio_client,bucket_name, file_path): """ 从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame :param bucket_name: 存储桶名称 :param file_path: MinIO 中的文件路径 :return: pandas DataFrame """ try : # 从 MinIO 下载文件内容 response = minio_client.get_object(bucket_name, file_path) # 使用 BytesIO 包装文件内容,以便 pandas 读取 # binary_data = response.read() # 将数据读取为字节 df = pd.read_excel(StringIO(response.data), sheet_name = 1 ) return df except Exception as e: print (f "读取文件失败,错误信息: {e}" ) return None # 调用函数并查看数据框 df = read_csv_from_minio(bucket_name, file_path) if df is not None : print (df.head()) |
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持IT俱乐部。