• 2025-11-26
高效处理与合并海量Arrow文件:优化rechunk性能策略

本文针对处理大量Arrow文件时,rechunk=True导致合并操作耗时过长的问题,提供了一系列优化策略。核心思路包括避免不必要的全数据解析,通过文件级直接合并实现快速整合,以及利用Polars等数......

11