Настройка среды

Вопрос задан: 9 месяцев назад Последняя активность: 9 месяцев назад
up 0 down

Я использую Google Colaboratory, чтобы узнать о Pyspark по какой-то причине при запуске создать среду я получаю сообщение об ошибке это, кажется, происходит при переходе от одного ноутбука на другой.

сообщение об ошибке:     IndexError Traceback (самый последний вызов     прошлой)      в()       4       5 импорт findspark      ----> 6 findspark.init()       7 из pyspark импортного SparkContext       8 СБН = SparkContext.getOrCreate()

 /usr/local/lib/python3.6/dist-packages/findspark.py in init(spark_home, 
 python_path, edit_rc, edit_profile)
133     # add pyspark to sys.path
134     spark_python = os.path.join(spark_home, 'python')
 --> 135     py4j = glob(os.path.join(spark_python, 'lib', 'py4j-*.zip')) 
[0]
136     sys.path[:0] = [spark_python, py4j]
137 

IndexError: list index out of range

Код, предоставляемый Google для создания окр

 import os
 os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
 os.environ["SPARK_HOME"] = "/content/spark-2.3.1-bin-hadoop2.7"

 import findspark
 findspark.init()
 from pyspark import SparkContext
 sc = SparkContext.getOrCreate()

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate() 
spark

1 ответ

Возможно, для Вашего проекта будут необходимы бесплатные векторные карты. На нашем сайте представлены карты для всех стран.

Реклама

up 1 down

Вам необходимо установить искру перед запуском сниппет выше. Вот скорректированный рецепт, который работает для меня с новым Colab бэкэндом:

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q http://apache.osuosl.org/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
!tar xf spark-2.3.2-bin-hadoop2.7.tgz
!pip install -q findspark

import os
import findspark
findspark.init('/content/spark-2.3.2-bin-hadoop2.7/')
from pyspark import SparkContext
sc = SparkContext.getOrCreate()

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate() 
spark