Airflow 1.10にアップグレードした後、Webサーバーからログを読み取ることができなくなりました。ただし、Airflowはログを正しく生成し、ディスクに保存しています。
タスクインスタンスの詳細から、リストされているものlog_filepathが間違っていることがわかります。タスクインスタンスの詳細によると、log_filepathこれはたとえば次のとおり/home/ubuntu/airflow/logs/frontend_pricedata/recommendations/2018-09-11T15:10:47.296212+00:00.logです。ただし、正しいファイルパスは次のとおりです。/home/ubuntu/airflow/logs/frontend_pricedata/recommendations/2018-09-11T15:10:47/1.log
log_filepathを変更する方法はありますか？設定で私は見つけることができました：log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ execution_date.strftime("%%Y-%%m-%%dT%%H:%%M") }}/{{ try_number }}.logこれは正しいようです。
はい、構成キーのlog_filepathを変更する方法がありbase_log_folderます。しかし、あなたのファイルパスが正しいか、設定ファイルとセットをチェックtask_log_readerしますtask。Airflow 1.9では、値はfile.taskです。
例えば：
# Log format
log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s
simple_log_format = %%(asctime)s %%(levelname)s - %%(message)s
log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
log_processor_filename_template = {{ filename }}.log
task_log_reader = task
構成を検証するためのプルリクエストがあります。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加