Pytorch, 순차 출력을 바이너리로 변환하는 표준 레이어?
jeffery_the_wind
순차 데이터를 입력으로 사용하는 새로운 Pytorch 모델을 작업 중이며 단일 값만 출력해야합니다. 그런 다음 이진 교차 엔트로피 함수를 사용하여 1 또는 0의 확률로 평가합니다.
좀 더 구체적으로 말하자면, 내 시퀀스가 1000 개의 시간 단계이고 2 차원 사인파와 같이 2 차원으로 만 구성되어 있으므로 데이터 모양은 1000 x 2가됩니다.
온라인에 많은 콘텐츠가있는 RNN을 사용하기 전에 이와 같은 작업을 수행했습니다. RNN의 반복적 인 구조로 인해이를 수행하기 위해 시퀀스를 처리 한 후 RNN의 최종 출력 만 살펴 봅니다. 이런 식으로 최종 단계 출력은 2 차원이되고 선형 레이어를 적용하여 2-> 1 차원을 변환 할 수 있습니다.
내 문제:
지금 시도하고있는 것은 순환 네트워크를 사용하는 것이 아니라주의를 기울이는 인코더 (변압기)를 사용하는 것입니다. 따라서 인코더의 출력은 여전히 1000 스텝이고 내 임베디드 차원이 무엇이든 8과 같이 말합니다. 순차 인코더의 출력은 1000 x 8입니다. 그래서 제 문제는이 출력을 단일 출력으로 변환해야한다는 것입니다. 이진 교차 엔트로피 함수를 적용 할 수있는 값입니다. 나는 이것을하는 명백한 방법을 찾지 못하고 있습니다.
아이디어 :
전통적으로 이러한 종류의 순차 모델을 사용하면 인코더가 디코더에 공급되고 디코더는 가변 길이 시퀀스를 출력 할 수 있습니다 (이는 언어 번역 문제에 사용됨). 내 문제는 다른 시퀀스를 출력하지 않고 단일 값만 출력한다는 점에서 다릅니다. 이것이 작동하는 방식으로 디코더를 변환해야할까요? 디코더는 일반적으로 대상 값과 인코더의 출력을 입력으로 사용합니다. 디코더의 출력은이 목표 값과 동일한 모양을 갖습니다. 아이디어는 전통적인 디코더를 사용하고 1 길이 목표를 제공하는 것입니다. 그런 다음 1 길이 출력을 얻고이를 원하는 출력으로 변환하기 위해 전통적인 선형 레이어를 사용할 수 있습니다. 그러나 이것은 실제로 시퀀스를 출력하는 데 관심이 없지만 하나의 값에 불과하기 때문에 완전히 논리적이지 않은 것 같습니다.
어쨌든 커뮤니티에서 더 많은 아이디어를 찾고 있습니다. 감사!
hkchengrex
나는이 논문 이 당신이 원하는 것을 한다고 생각한다 :) (아마도 이것을하는 첫번째 논문은 아니지만 최근에 읽은 논문이다)
- 시퀀스에 추가 토큰을 추가하십시오. 토큰에는 학습 가능한 임베딩이있을 수 있습니다.
- 변압기 후에 다른 위치에서 출력을 버리거나 계산하지 마십시오. 첫 번째 위치에서 출력 만 가져와 필요한 대상으로 변환합니다.
논문에서 가져온 이미지 :
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
에서 수정
관련 기사
Related 관련 기사
- 1
pacman 입력에 주석없이 파일을 전달하도록 표준 출력을 올바르게 리디렉션하는 방법
- 2
표준 입력을 차단하면 자바 프로세스 걸릴 출구에 더 많은이 350ms합니다
- 3
dsPIC33 HEX 파일을 바이너리로 변환하는 방법?
- 4
이미지 목록을 Pytorch Tensor로 변환하는 방법
- 5
주어진 정수를 커스텀 바이너리 표현으로 변환하는 알고리즘
- 6
Odoo 12. 바이너리 파일을 Zip으로 변환하는 방법?
- 7
Pytorch : VGG 모델을 순차적 모델로 변환하지만 다른 출력을 얻음
- 8
TF Dense 레이어를 PyTorch로 변환하는 방법은 무엇입니까?
- 9
Unix 셸에서 16 진수 문자열을 기계 엔디안 순서로 표준 출력 바이트로 변환하는 방법
- 10
pacman 입력에 주석없이 파일을 전달하도록 표준 출력을 올바르게 리디렉션하는 방법
- 11
바이너리 표현의 데이터를 포함하는 텍스트 파일 (0 만)을 파이썬의 .bin 파일로 변환
- 12
입력을 16 진수와 바이너리로 변환
- 13
파이프가 표준 출력을 선택하지 않음
- 14
프로그램의 출력을 리디렉션하고 여전히 표준 출력으로 이동하는 방법이 있습니까?
- 15
바이너리 데이터와 함께 표준 입력 및 출력을 사용하는 것이 안전합니까?
- 16
출력을 stdout으로 리디렉션하고 바이너리로 파이프
- 17
내 바이너리가 역순으로 출력됩니다.
- 18
Pylab 출력이 표준 출력을 지연시킵니다.
- 19
함수 정의의 순서가 출력 바이너리를 변경하는 이유는 무엇입니까?
- 20
C ++ "putchar"를 사용하여 바이너리로 단어 출력
- 21
C ++ 바이너리 데이터를 포함하는 std :: string을 char *로 변환
- 22
C ++ 바이너리 데이터를 포함하는 std :: string을 char *로 변환
- 23
알파벳을 바이너리로 변환하는 방법?
- 24
xargs 및 piping을 사용하여 여러 단어를 허용하지 않는 표준 출력을 원시 데이터로 변환
- 25
내림차순으로 C # Winforms 차트 x 축 레이블을 표시하는 방법
- 26
html 파일을 바이너리로 식별하는 차이점
- 27
pexpect는 아이의 표준 출력을 어떻게 분석합니까?
- 28
리디렉션을 덮어 쓰는 posix 표준으로 인해 예기치 않은 출력이 발생 함
- 29
Decimal을 바이너리로 변환
몇 마디 만하겠습니다