Kubernetes 실행기로 공기 흐름을 설정하려고하는데 스케줄러 컨테이너 시작시 잠시 중단되고 다음과 같이 https 시간 초과 오류가 발생합니다. 메시지의 IP 주소가 정확하고 내부 용기는 내가 실행할 수 있습니다 curl kubernetes:443또는 curl 10.96.0.1:443또는 nc -zv 10.96.0.1 443내가 거기에 방화벽이 없거나 액세스를 차단하므로 가정 있도록.
로컬 kubernetes와 aws EKS를 사용하고 있지만 동일한 오류가 발생하면 다른 클러스터에서 ip가 변경되는 것을 볼 수 있습니다.
해결책을 찾기 위해 Google을 보았지만 비슷한 경우는 보지 못했습니다.
│ File "/usr/local/lib/python3.6/site-packages/airflow/contrib/executors/kubernetes_executor.py", line 335, in run │
│ self.worker_uuid, self.kube_config) │
│ File "/usr/local/lib/python3.6/site-packages/airflow/contrib/executors/kubernetes_executor.py", line 359, in _run │
│ **kwargs): │
│ File "/usr/local/lib/python3.6/site-packages/kubernetes/watch/watch.py", line 144, in stream │
│ for line in iter_resp_lines(resp): │
│ File "/usr/local/lib/python3.6/site-packages/kubernetes/watch/watch.py", line 48, in iter_resp_lines │
│ for seg in resp.read_chunked(decode_content=False): │
│ File "/usr/local/lib/python3.6/site-packages/urllib3/response.py", line 781, in read_chunked │
│ self._original_response.close() │
│ File "/usr/local/lib/python3.6/contextlib.py", line 99, in __exit__ │
│ self.gen.throw(type, value, traceback) │
│ File "/usr/local/lib/python3.6/site-packages/urllib3/response.py", line 430, in _error_catcher │
│ raise ReadTimeoutError(self._pool, None, "Read timed out.") │
│ urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='10.96.0.1', port=443): Read timed out.
업데이트 : 내 문제를 찾았지만 아직 해결책이 없습니다. https://github.com/kubernetes-client/python/issues/990
ENV 변수를 통해 값을 설정하는 옵션이 있습니다. charts / airflow.yaml 파일에서 다음과 같이 변수를 설정하면 문제가 해결됩니다.
AIRFLOW__KUBERNETES__KUBE_CLIENT_REQUEST_ARGS: {"_request_timeout" : [50, 50]}
airflow.yaml 전체 코드
airflow:
image:
repository: airflow-docker-local
tag: 1
executor: Kubernetes
service:
type: LoadBalancer
config:
AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://postgres:airflow@airflow-postgresql:5432/airflow
AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://postgres:airflow@airflow-postgresql:5432/airflow
AIRFLOW__CELERY__BROKER_URL: redis://:airflow@airflow-redis-master:6379/0
AIRFLOW__CORE__REMOTE_LOGGING: True
AIRFLOW__CORE__REMOTE_LOG_CONN_ID: my_s3_connection
AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER: s3://xxx-airflow/logs
AIRFLOW__WEBSERVER__LOG_FETCH_TIMEOUT_SEC: 25
AIRFLOW__CORE__LOAD_EXAMPLES: True
AIRFLOW__WEBSERVER__EXPOSE_CONFIG: True
AIRFLOW__CORE__FERNET_KEY: -xyz=
AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY: airflow-docker-local
AIRFLOW__KUBERNETES__WORKER_CONTAINER_TAG: 1
AIRFLOW__KUBERNETES__WORKER_CONTAINER_IMAGE_PULL_POLICY: Never
AIRFLOW__KUBERNETES__WORKER_SERVICE_ACCOUNT_NAME: airflow
AIRFLOW__KUBERNETES__DAGS_VOLUME_CLAIM: airflow
AIRFLOW__KUBERNETES__NAMESPACE: airflow
AIRFLOW__KUBERNETES__KUBE_CLIENT_REQUEST_ARGS: {"_request_timeout" : [50, 50]}
persistence:
enabled: true
existingClaim: ''
workers:
enabled: true
postgresql:
enabled: true
redis:
enabled: true
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다