TTL을 사용하여 한 Cassandra 테이블에서 다른 테이블로 데이터 복사

debugcn 에 게시 Dev

Prashant Bhardwaj

파티션 키에서 하나의 열을 제거하여 테이블 중 하나의 파티션 키를 변경합니다. 이 테이블의 모든 레코드에는 TTL도 있습니다. 이제 TTL을 사용하여 해당 테이블의 데이터를 보존하려고합니다. 어떻게 할 수 있습니까?

원하는 스키마로 새 테이블을 만든 다음 이전 테이블에서 새 테이블로 데이터를 복사 할 수 있습니다. 그러나이 과정에서 TTL이 느슨해집니다.

추가 정보-이 Cassandra 테이블은 Kafka에서 이벤트를 읽는 Apache Storm 애플리케이션으로 채워집니다. Kafka 메시지를 다시 수화 할 수 있지만 Kafka에는 처리하고 싶지 않은 원치 않는 메시지가 있습니다.

참고-TTL은 절대 변경되지 않는 날짜 열 값을 기준으로 결정됩니다. 이 때문에 TTL은 항상 모든 열에서 동일합니다.

알렉스 오트

특정 구현으로 이동하기 전에 TTL이 행의 모든 셀뿐만 아니라 개별 셀에도 존재할 수 있음을 이해하는 것이 중요합니다. 그리고 INSERT 또는 UPDATE 작업을 수행 할 때 쿼리에 지정된 모든 열에 대해 하나의 TTL 값만 적용 할 수 있으므로 TTL이 다른 열이 2 개있는 경우 각각에 대해 2 개의 쿼리를 수행해야합니다. 다른 TTL이있는 열.

툴링과 관련하여 여기에 2 가지 더 많거나 적은 바로 사용 가능한 옵션이 있습니다.

DSBulk를 사용하십시오 . 이 접근 방식은 이 블로그 게시물 의 예제 30.1에 자세히 설명되어 있습니다. 기본적으로 열 값과 TTL을 추출하는 쿼리를 사용하여 데이터를 디스크에 언로드 한 다음 별도의 TTL이있는 모든 열에 대해 일괄 처리를 생성하여 데이터를로드해야합니다. 예에서 :

dsbulk unload -h localhost -query \
  "SELECT id, petal_length, WRITETIME(petal_length) AS w_petal_length, TTL(petal_length) AS l_petal_length, .... FROM dsbulkblog.iris_with_id" \
  -url /tmp/dsbulkblog/migrate
dsbulk load -h localhost -query \
  "BEGIN BATCH INSERT INTO dsbulkblog.iris_with_id(id, petal_length) VALUES (:id, :petal_length) USING TIMESTAMP :w_petal_length AND TTL :l_petal_length; ... APPLY BATCH;" \
  -url /tmp/dsbulkblog/migrate --batch.mode DISABLED

Spark Cassandra Connector 사용 -TTL 및 WriteTime으로 데이터 읽기 및 쓰기를 지원합니다. 그러나이를 수행하는 코드를 개발하고 컬렉션, 정적 열 등과 같은 작업을 올바르게 처리해야합니다 (또는 SPARKC-596이 구현 될 때까지 기다려야 함 ).

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정2021-04-2

몇 마디 만하겠습니다

0리뷰

로그인참여 후 검토

Related 관련 기사

기사

TTL을 사용하여 한 Cassandra 테이블에서 다른 테이블로 데이터 복사

TTL을 사용하여 한 Cassandra 테이블에서 다른 테이블로 데이터 복사

Java를 사용하여 Cassandra의 한 테이블에서 다른 테이블로 데이터 복사

pgadmin을 사용하여 한 테이블에서 동일한 데이터베이스의 다른 테이블로 데이터 행 복사

where 절을 사용하여 한 테이블에서 다른 테이블로 데이터 전송 mysql

한 hbase 테이블에서 다른 테이블로 데이터 복사

한 테이블에서 다른 테이블로 데이터 복사

한 테이블에서 열을 알 수없는 다른 새 테이블로 데이터 복사

카산드라에서 한 테이블을 다른 테이블로 복사

조인 조건을 사용하여 SQLite의 한 테이블에서 다른 테이블로 데이터를 복사 할 수 있습니까?

한 테이블에서 다른 테이블로 열 복사

특정 데이터 행을 기반으로 한 데이터 테이블에서 다른 데이터 테이블로 특정 행을 복사하는 방법

postgreSQL에서 트리거를 사용하여 한 테이블에서 다른 테이블로 데이터 이동

한 테이블에서 다른 테이블로 데이터를 복사 할 때 매개 변수 또는 열 값을 사용하는 것이 더 낫습니까?

확인란을 복사하지 않고 한 테이블에서 다른 테이블로 행 복사

SQLAlchemy ORM을 사용하여 하위 쿼리로 삽입을 수행하는 방법 (한 테이블에서 다른 테이블로 데이터 이동)

다른 테이블을 입력으로 사용하여 테이블에서 데이터 블록 삭제

MySQL은 한 테이블에서 다른 필드의 다른 테이블로 데이터를 복사합니다.

jquery를 사용하여 한 tbody 테이블에서 다른 tbody 테이블로 복제 또는 복사

한 테이블에서 값을 찾고 join / awk를 사용하여 다른 테이블로 출력

커밋 간격을 사용하여 한 테이블에서 다른 테이블로 삽입

mysql에서 다른 테이블을 사용하여 한 줄씩 테이블을 업데이트하는 방법

한 데이터 테이블의 값을 Mvc의 다른 데이터 테이블에 복사

한 SQL 테이블에서 다른 SQL 테이블로 여러 열 복사

한 테이블에서 다른 테이블로 데이터를 복사하려면 어떻게합니까?

한 테이블에서 다른 테이블로 데이터 복사를위한 쿼리 실행

한 데이터베이스에서 다른 데이터베이스로 테이블 데이터 복사

PL / SQL을 사용하여 테이블에서 다른 테이블로 데이터 삽입

MYSQL, varchar 단위로 한 테이블에서 다른 테이블로 데이터 복사

SQL을 사용하여 한 테이블에서 다른 테이블로 누락 된 재무 시계열 데이터 채우기

SQL에서 한 테이블에서 다른 테이블로 행 복사