두 가지 유형의 로그가 있습니다.
1) 세션 로그 : SESSION_ID, USER_ID, START_DATE_TIME, END_DATE_TIME
2) 이벤트 로그 : SESSION_ID, DATE_TIME, X, Y, Z
이벤트 로그 만 저장하면되지만 SESSION_ID를 해당 USER_ID로 바꾸려고합니다. HDFS에 데이터를 저장하려면 어떤 기술 (예 : Flume?)을 사용해야합니까?
감사!
예 Flume을 사용하여 로그 파일을 HDFS로 이동할 수 있습니다.
SESSION_ID를 USER_ID로 바꾸려면 다음을 수행 할 수 있습니다.
셸 스크립트를 사용하여이 작업을 수행하고 '수정 된 이벤트 로그 파일'을 생성합니다. 이것이 Flume이 선택하는 것입니다. 이것은 가장 간단한 접근 방식입니다.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다