로지스틱 회귀에서 순위 데이터 사용

나는 이러한 개념을 배우기 위해 고군분투하고 있으므로 이것에 최대 현상금을 걸 것입니다! 로지스틱 회귀에서 일부 순위 데이터를 사용하려고합니다. 저는 기계 학습을 사용하여 웹 페이지가 "좋은"것인지 아닌지에 대한 간단한 분류기를 만들고 싶습니다. 이것은 단지 학습 연습 일 뿐이므로 좋은 결과를 기대하지는 않습니다. "프로세스"와 코딩 기술을 배우고 싶어합니다.

다음과 같이 내 데이터를 .csv에 넣었습니다.

URL WebsiteText AlexaRank GooglePageRank

내 테스트 CSV에는 다음이 있습니다.

URL WebsiteText AlexaRank GooglePageRank Label

레이블은 "좋음"(1) 또는 "나쁨"(0)을 나타내는 이진 분류입니다.

현재 웹 사이트 텍스트 만 사용하여 LR을 실행하고 있습니다. TF-IDF를 실행합니다.

도움이 필요한 두 가지 질문이 있습니다. 이 질문에 대해 최대의 현상금을 걸고 최선의 답변에 수여 할 것입니다.이 질문은 저와 다른 사람들이 배울 수 있도록 좋은 도움이 필요하기 때문입니다.

• AlexaRank에 대한 순위 데이터를 정규화하려면 어떻게해야합니까? 나는 10,000 개의 웹 페이지를 가지고 있는데, 이것에 대한 Alexa 등급은 전부입니다. 그러나 그들은 순위가 없습니다 1-10,000. 그들은 그렇게하면서, 전체 인터넷 밖으로 순위가 http://www.google.com선정 될 수도 #1, http://www.notasite.com순위가 될 수 있습니다 #83904803289480. 내 데이터에서 가능한 최상의 결과를 얻기 위해 Scikit learn에서 이것을 어떻게 정규화합니까?

• 이 방식으로 로지스틱 회귀를 실행하고 있습니다. 나는 이것을 잘못했다고 거의 확신합니다. 웹 사이트 텍스트에서 TF-IDF를 수행 한 다음 다른 두 개의 관련 열을 추가하고 로지스틱 회귀를 맞추려고합니다. 누군가가 내가 LR에서 올바르게 사용하고 싶은 세 개의 열을 사용하고 있는지 신속하게 확인할 수 있다면 감사하겠습니다. 나 자신을 개선 할 수있는 방법에 대한 모든 피드백도 여기에서 감사하겠습니다.

  loadData = lambda f: np.genfromtxt(open(f,'r'), delimiter=' ')
  
  print "loading data.."
  traindata = list(np.array(p.read_table('train.tsv'))[:,2])#Reading WebsiteText column for TF-IDF.
  testdata = list(np.array(p.read_table('test.tsv'))[:,2])
  y = np.array(p.read_table('train.tsv'))[:,-1] #reading label
  
  tfv = TfidfVectorizer(min_df=3,  max_features=None, strip_accents='unicode', analyzer='word',
  
  token_pattern=r'\w{1,}', ngram_range=(1, 2), use_idf=1, smooth_idf=1,sublinear_tf=1)
  
  rd = lm.LogisticRegression(penalty='l2', dual=True, tol=0.0001, C=1, fit_intercept=True,    intercept_scaling=1.0, class_weight=None, random_state=None)
  
  X_all = traindata + testdata
  lentrain = len(traindata)
  
  print "fitting pipeline"
  tfv.fit(X_all)
  print "transforming data"
  X_all = tfv.transform(X_all)
  X = X_all[:lentrain]
  X_test = X_all[lentrain:]
  
  print "20 Fold CV Score: ", np.mean(cross_validation.cross_val_score(rd, X, y, cv=20, scoring='roc_auc'))
  
  #Add Two Integer Columns
  AlexaAndGoogleTrainData = list(np.array(p.read_table('train.tsv'))[2:,3])#Not sure if I am doing this correctly. Expecting it to contain AlexaRank and GooglePageRank columns.
  AlexaAndGoogleTestData = list(np.array(p.read_table('test.tsv'))[2:,3])
  AllAlexaAndGoogleInfo = AlexaAndGoogleTestData + AlexaAndGoogleTrainData
  
  #Add two columns to X.
  X = np.append(X, AllAlexaAndGoogleInfo, 1) #Think I have done this incorrectly.
  
  print "training on full data"
  rd.fit(X,y)
  pred = rd.predict_proba(X_test)[:,1]
  testfile = p.read_csv('test.tsv', sep="\t", na_values=['?'], index_col=1)
  pred_df = p.DataFrame(pred, index=testfile.index, columns=['label'])
  pred_df.to_csv('benchmark.csv')
      print "submission file created.."`
  

모든 의견을 보내 주셔서 감사합니다. 추가 정보가 필요하면 게시 해주세요!