spark能跑Python么?
spark是能够跑Python顺序的。python编写好的算法,或许扩大库的,比方sklearn均可以正在spark上跑。间接应用spark的mllib也是能够的,年夜局部算法都有。
Spark 是一个通用引擎,可用它来实现各类百般的运算,包罗 SQL 查问、文本解决、机械学习等。
本次试验是搭有spark环境的linux下跑的,spark版本为1.6.1,相称于正在正在spark内陆执行,spark文件放正在/opt/moudles/spark-1.6.1/(代码中会看到)
编写python测试顺序
#test.py文件 # -*- coding:utf-8 -*- import os import sys #设置装备摆设环境变量并导入pyspark os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1' sys.path.append("/opt/moudles/spark-1.6.1/python") sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip") from pyspark import SparkContext, SparkConf appName ="spark_1" #使用顺序称号 master= "spark://hadoop01:7077"#hadoop01为主节点hostname,请换成本人的主节点主机称号 conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) data = [1, 2, 3, 4, 5] distData = sc.parallelize(data) res = distData.reduce(lambda a, b: a + b) print("===========================================") print (res) print("===========================================")
执行python顺序
执行以下饬令
python test.py
执行与后果辨别以下图所示:
以上就是spark能跑Python么的具体内容,更多请存眷资源魔其它相干文章!
标签: Python python教程 python编程 python使用问题 spark
版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。
抱歉,评论功能暂时关闭!