SparkアプリケーションでPostgresqlからデータをフェッチしようとしていますが、Dockerイメージにpostgresqlドライバーをインストールする方法がわかりません。また、以下に説明するように、postgresqlをapt-get installコマンドとしてインストールしようとしました（Dockerfile）。
Dockerfile：
FROM python:3
ENV SPARK_VERSION 2.3.2
ENV SPARK_HADOOP_PROFILE 2.7
ENV SPARK_SRC_URL https://www.apache.org/dist/spark/spark-$SPARK_VERSION/spark-${SPARK_VERSION}-
bin-hadoop${SPARK_HADOOP_PROFILE}.tgz
ENV SPARK_HOME=/opt/spark
ENV PATH $PATH:$SPARK_HOME/bin
RUN wget ${SPARK_SRC_URL}
RUN tar -xzf spark-${SPARK_VERSION}-bin-hadoop${SPARK_HADOOP_PROFILE}.tgz
RUN mv spark-${SPARK_VERSION}-bin-hadoop${SPARK_HADOOP_PROFILE} /opt/spark
RUN rm -f spark-${SPARK_VERSION}-bin-hadoop${SPARK_HADOOP_PROFILE}.tgz
RUN apt-get update && \
apt-get install -y openjdk-8-jdk-headless \
postgresql && \
rm -rf /var/lib/apt/lists/*
ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/
COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt
COPY my_script.py ./
CMD [ "python", "./my_script.py" ]
Requirements.txt：pyspark == 2.3.2 numpy
my_script.py：
from pyspark import SparkContext
from pyspark import SparkConf
#spark conf
conf1 = SparkConf()
conf1.setMaster("local[*]")
conf1.setAppName('hamza')
print(conf1)
sc = SparkContext(conf = conf1)
print('hahahha')
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
print(sqlContext)
from pyspark.sql import DataFrameReader
url = 'postgresql://IP:PORT/INSTANCE'
properties = {'user': 'user', 'password': 'pass'}
df = DataFrameReader(sqlContext).jdbc(
url='jdbc:%s' % url, table=query, properties=properties
)
このエラーの取得：
Traceback (most recent call last):
File "./my_script.py", line 26, in <module>
, properties=properties
File "/usr/local/lib/python3.7/site-packages/pyspark/sql/readwriter.py", line 527, in jdbc
return self._df(self._jreader.jdbc(url, table, jprop))
File "/usr/local/lib/python3.7/site-packages/py4j/java_gateway.py", line 1257, in __call__
answer, self.gateway_client, self.target_id, self.name)
File "/usr/local/lib/python3.7/site-packages/pyspark/sql/utils.py", line 63, in deco
return f(*a, **kw)
File "/usr/local/lib/python3.7/site-packages/py4j/protocol.py", line 328, in get_return_value
format(target_id, ".", name), value)
py4j.protocol.Py4JJavaError: An error occurred while calling o28.jdbc.
: java.sql.SQLException: No suitable driver
at java.sql.DriverManager.getDriver(DriverManager.java:315)
このドライバーのセットアップ方法を教えてくださいありがとうございます
これはDocker物事を行う方法ではありません。Dockerアプローチでは、すべてのサービスを1つのコンテナー内に配置するのではなく、サービスを複数に分割します。各コンテナーには、データベース、アプリケーションなどの1つのメインプロセスが必要です。
また、個別のコンテナを使用する場合は、必要なものをすべてインストールする必要はありDockerfileません。必要なデータベースタイプを備えたすぐに使用できるコンテナを選択するだけです。ちなみに、python:3Dockerイメージを使用している場合、メンテナはインストールされているサービスのセットやOSの種類さえも変更しないことをどのように知っていますか？'Python`サービスのみを提供し、他のすべてが定義されていないため、簡単に実行できます。
だから、私がお勧めするのは：
Dockerfiles）postgresデータベースに標準イメージを使用します-すべてのサービスとドライバーはすでにオンボードされていますdocker-compose両方のコンテナを起動し、1つのネットワークでそれらをリンクするために（または何でも）使用します。この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加