原文：
www.kdnuggets.com/pandas-vs-polars-a-comparative-analysis-of-python-dataframe-libraries
作者提供的图片
Pandas 长期以来一直是处理数据的首选库。然而，我相当确定你们中的大多数人可能已经体验过在 Pandas 处理大型 DataFrame 时坐上几个小时的痛苦。
1. 谷歌网络安全证书 - 快速进入网络安全职业生涯。
2. 谷歌数据分析专业证书 - 提升您的数据分析技能
3. 谷歌 IT 支持专业证书 - 支持您的组织的 IT 工作
对于那些关注 Python 最新发展的用户，很难忽视 Polars 的热度，这是一款专门开发用于处理大型数据集的强大数据框库。
所以今天我将尝试深入探讨这两个数据框库之间的关键技术差异，审视它们各自的优势和局限性。
首先，为什么大家都这么执着于比较 Pandas 和 Polars 库呢？
与专为大型数据集设计的其他库（如 Spark 或 Ray）不同，Polars 是专门为单机使用而设计的，这使得它与 pandas 的比较非常频繁。
然而，Polars 和 pandas 在数据处理方法及其理想使用场景上存在显著差异。
Polars 出色性能的秘密在于四个主要原因：
与基于 Python 库如 NumPy 的 Pandas 形成鲜明对比，Polars 是使用 Rust 构建的。这个以快速性能著称的低级语言，可以编译成机器代码，而不需要使用解释器。
作者提供的图片
这样的基础为 Polars 提供了显著的优势，特别是在处理 Python 难以应对的数据类型时。
Pandas 遵循急切执行模型，按编码顺序处理操作，而 Polars 提供急切执行和惰性执行选项。
Polars 在其惰性执行中使用了查询优化器，以高效地规划并可能重新组织操作顺序，从而消除任何不必要的步骤。
这与 Pandas 可能在应用过滤器之前处理整个 DataFrame 相对。
例如，在计算某些类别的列均值时，Polars 会首先应用过滤器，然后进行分组操作，从而优化处理效率。
根据 Polars 用户指南，其主要目标是：
“提供一个 lightning-fast 的 DataFrame 库，利用你机器上所有可用的核心。”
Rust 设计的另一个好处是其对安全并发的支持，确保可预测和高效的并行处理。此功能使 Polars 能够充分利用机器的多个核心进行复杂操作。
作者提供的图片
因此，Polars 显著优于 Pandas，后者仅限于单核操作。
Polars 拥有高度灵活的 API，几乎可以使用其方法执行所有所需任务。相比之下，在 pandas 中执行复杂任务通常需要使用 apply 方法及其 apply 方法中的 lambda 表达式。
然而，这种方法有一个缺点：它逐行处理 DataFrame，每次执行操作时都是顺序进行的。
相反，Polars 利用固有方法在列级别上执行操作，利用一种被称为 SIMD（单指令、多数据）的不同并行性类型。
Polars 是否优于 Pandas？它在未来是否可能取代 Pandas？
一如既往，这主要取决于具体的使用案例。
Polars 相对于 Pandas 的主要优势在于其速度，特别是在处理大型数据集时。对于处理大量数据的任务，强烈建议探索 Polars。
虽然 Polars 在数据转换效率方面表现出色，但在数据探索和集成到机器学习管道等领域仍不及 Pandas。
Polars 与大多数 Python 数据可视化和机器学习库（如 scikit-learn 和 PyTorch）的不兼容性限制了其在这些领域的适用性。
关于在这些软件包中集成 Python 数据帧交换协议以支持多样化数据帧库的讨论仍在进行中。
这一发展可能简化目前依赖于 Pandas 的数据科学和机器学习过程，但这是一个相对较新的概念，实施需要时间。
Pandas 和 Polars 各有其独特的优势和局限性。Pandas 仍然是数据探索和机器学习集成的首选库，而 Polars 在大规模数据转换方面表现突出。
理解每个库的功能和最佳应用方式是有效应对不断发展的 Python 数据框架环境的关键。
拥有这些见解后，你可能迫不及待地想亲自尝试 Polars 了！
作为数据科学家和 Python 爱好者，拥抱这两种工具可以提升我们的工作流程，使我们能够在数据驱动的工作中利用两者的最佳特性。
随着这些库的持续发展，我们可以期待在 Python 中处理数据的方式会变得更加精细和高效。
Josep Ferrer**** 是一位来自巴塞罗那的分析工程师。他在物理工程方面毕业，目前在数据科学领域专注于人类流动性。他还兼职从事数据科学和技术方面的内容创作。Josep 涉及人工智能的各个方面，涵盖了这一领域的持续爆炸性发展。