Python 适合数据分析，但有一事不解

不是说专业的数据分析都要上 SPARK 吗？ pandas 都只是玩具。
那 python 不是就没用了？ spark 不就得上 java 或者另一个叫啥的语言
Python 适合数据分析，但有一事不解

15 回复

巧了最近也在看 Spark，不如看看官方文档？-> https://spark.apache.org/docs/latest/quick-start.html


我无法理解你的问题。

兄弟，玩什么不重要，重要的是你玩的怎么样

https://spark.apache.org/docs/latest/api/python/index.html

最新版 2.4.0 Spark Streaming 也可用 python。

看你数据量，市面上几千条数据也拿来分析的~有必要 spark 么，

这个就看实际的需求环境了

spark 也有 Python 版的 pyspark

pyspark，另外也取决于数据量

是时候拿出这个文章了了 Don’t use Hadoop - your data isn’t that big https://www.chrisstucchio.com/blog/2013/hadoop_hatred.html

当然，老外也有可能没见识，不知道我天朝的大数据

python 适合数据分析的原因是，很多非计算机领域的大牛，例如数学家，他们用 python 比较顺手，所以有大量的 lib 可以用

另一个叫啥的语言：scala。因为 spark 是由 scala 编写的，用 scala 支持更多的 api。不过熟悉 python 的用 pyspark 也可以了。

pandas 难道不专业？数据量少用 pandas，数据量大用 dask，数据量很大用 spark。

pyspark+numpy 是常用做法。

有时间纠结工具，不如先找一个上手试试

python 数据分析有优势的是大数据 /ML 这些离工程领域近的生态圈强，单纯说数据分析语法上没有 matlab/r/julia 这些适合,用 python 经常感觉脑子里要想一想语法 namespace 之类的,不像那些语言思维那么流畅。

spark 要多大量级的数据？

回到顶部