Twitterテキストのクリーニングを最適化する方法は？

debugcn 投稿 Dev

llgruff

テキストクリーニング機能を書き直して効率を上げるにはどうすればよいですか？

import com.ibm.icu.text.Normalizer2

// A whitespace character: [ \t\n\x0B\f\r]
private val whiteSpaceRegex = "\\p{Space}"
// Any except letter (subtraction)
private val exceptLetterRegex = "[^\\p{L}]"

val normalize = (str: String) => Normalizer2.getNFKCCasefoldInstance.normalize(str)

val cleanse = (str: String) => normalize(str) // 1
  .toLowerCase // 2
  .split(whiteSpaceRegex) // 3
  .filterNot( // 4
    p => p.startsWith("@") || p.startsWith("/") || p.startsWith("http") || p.startsWith("www")
  ).mkString(" ") // 5
  .replaceAll("-", "") // 6
  .replaceAll(exceptLetterRegex, " ") // 7
  .replaceAll("\\s{2,}", " ") // 8
  .trim // 9

文字列の文字を正規化する
文字列を小文字に変更します
文字列を空白でArray [String]に分割します
Twitter固有の単語を除外する：リンク、ニックネーム
もう一度文字列を作成します
ハイフンで単語を接着する（例：元妻から元妻へ）
文字を除くすべてをスペースに置き換えます
複数のスペースを単一のスペースに置き換えます
最初と最後のスペースを削除します

テスト：

val strMultiLine =
  """RT @digger: Что-то пиддес52 :|
и так скучать( HERE_HTTP_T_DOT_CO_LINK что,я +100500 surf cвихнусь так D:"""

val res1 = "rt чтото пиддес и так скучать что я surf cвихнусь так d"

cleanse(strMultiLine) must equal(res1)

val strWithLineBreak =
  "Говорит: \"\"Кто то в углу сидит))) и погибает от голода!!! мы,хотя уже сидим из-за\"\" :DD …"

val res2 = "говорит кто то в углу сидит и погибает от голода мы хотя уже сидим изза dd"

cleanse(strWithLineBreak) must equal(res2)

HERE_HTTP_T_DOT_CO_LINK —Stackoverflowからテキストからリンクを削除するように求められました

WiktorStribiżew

多くの機能強化の余地はあまりないようです。リンクやメンションを削除する最初の部分と、文字以外の削除を1つの正規表現に縮小することをお勧めしますが、事前にハイフンを削除する必要があります。

val cleanse2 = (str: String) => normalize(str)                  // Normalize
      .replace("-","")                                          // Remove -
      .replaceAll("""(?<!\S)(?:[@/]|http|www)\S*|\P{L}""", " ") // Remove entities
      .replaceAll("""\s{2,}""", " ")                            // Shrink whitespaces
      .trim                                                     // Trim the result
      .toLowerCase                                              // To lower case

正規表現のデモを参照してください。

(?<!\S)(?:[@/]|http|www)\S*|\P{L}パターンマッチ