Java的自定义令牌生成器

kunal18

我正在开发一个需要处理包含电子邮件的文本文件的应用程序。我需要文本中的所有标记,以下是标记的定义:

  1. 字母数字
  2. 区分大小写(保留大小写)
  3. '!' 和“ $”应被视为组成字符。例如:FREE!!$50是令牌
  4. '。' 如果点号和点号之间出现逗号,则将其视为逗号。例如:

    192.168.1.1,$ 24,500

    是令牌。

等等..

请向我建议一些针对Java的开源令牌生成器,这些定制器很容易定制以满足我的需求。仅使用StringTokenizer和regex就足够了吗?我还必须执行停止操作,这就是为什么我一直在寻找一个开源令牌生成器,它还将执行一些额外的操作,例如停止,阻止。

icyrock.com

前面的一些评论:

StringTokenizer是一个遗留类,出于兼容性原因而保留,尽管在新代码中不鼓励使用它。建议任何寻求此功能的人改用String的split方法或java.util.regex软件包。

至于正则表达式,这实际上取决于您的要求。鉴于以上所述,这可能会起作用:

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Mkt {
  public static void main(String[] args) {
    Pattern p = Pattern.compile("([$\\d.,]+)|([\\w\\d!$]+)");
    String str = "--- FREE!! $50 192.168.1.1 $24,500";
    System.out.println("input: " + str);

    Matcher m = p.matcher(str);
    while(m.find()) {
      System.out.println("token: " + m.group());
    }
  }
}

这是一个示例运行:

$ javac Mkt.java && java Mkt
input: --- FREE!! $50 192.168.1.1 $24,500
token: FREE!!
token: $50
token: 192.168.1.1
token: $24,500

现在,您可能需要调整正则表达式,例如:

  • 您举了$24,500一个例子。这应该工作$24,500abc还是$24,500EUR
  • 您提到的内容192.168.1.1应包括在内。它是否也应包含192,168.1,1(已给出.,要包含在内)?

我想还有其他事情要考虑。

希望这有助于您入门。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

自定义令牌生成器上的索引崩溃

来自分类Dev

如何在Lucene / Solr中正确实现我的自定义令牌生成器?

来自分类Dev

阻止自定义生成器生成测试

来自分类Dev

使用Spacy中的自定义令牌生成器对字符串进行无令牌标记

来自分类Dev

除了默认的rails生成器之外,还添加自定义生成器

来自分类Dev

MappingException:无法使用自定义ID生成器解释ID生成器策略

来自分类Dev

从相同类型的自定义生成器调用默认FsCheck生成器

来自分类Dev

使用NHibernate的自定义Linq生成器(AddDays)

来自分类Dev

如何设计自定义产品生成器

来自分类Dev

自定义yeoman生成器的npm测试失败

来自分类Dev

自定义查询生成器Laravel

来自分类Dev

添加自定义代码生成器

来自分类Dev

Rails 3中的自定义表单生成器

来自分类Dev

使用VSCode调试自定义Yeoman生成器

来自分类Dev

查询生成器自定义 on 子句

来自分类Dev

Orbeon 表单生成器自定义

来自分类Dev

id 的 JPA Hibernate 自定义序列生成器

来自分类Dev

创建自定义任意生成器以测试ScalaTest ScalaCheck中的Java代码

来自分类Dev

Scikit学习CountVectorizer:自定义预处理器,令牌生成器和分析器

来自分类Dev

Rails 4,带有生成器“找不到生成器”的自定义宝石

来自分类Dev

如何在Rails中使用生成器生成自定义表单

来自分类Dev

用于文件过滤器的自定义生成器

来自分类Dev

如何为自定义yeoman生成器文件设置目标路径?

来自分类Dev

在界面生成器中添加的自定义UIView不会加载xib

来自分类Dev

Spark和Python使用自定义文件格式/生成器作为RDD的输入

来自分类Dev

Gen样本的尺寸值是否使用自定义生成器?

来自分类Dev

连接上的关系图生成器自定义属性

来自分类Dev

自定义html生成器中的逻辑流缺陷

来自分类Dev

Laravel查询生成器,在调用count()时使用自定义选择

Related 相关文章

  1. 1

    自定义令牌生成器上的索引崩溃

  2. 2

    如何在Lucene / Solr中正确实现我的自定义令牌生成器?

  3. 3

    阻止自定义生成器生成测试

  4. 4

    使用Spacy中的自定义令牌生成器对字符串进行无令牌标记

  5. 5

    除了默认的rails生成器之外,还添加自定义生成器

  6. 6

    MappingException:无法使用自定义ID生成器解释ID生成器策略

  7. 7

    从相同类型的自定义生成器调用默认FsCheck生成器

  8. 8

    使用NHibernate的自定义Linq生成器(AddDays)

  9. 9

    如何设计自定义产品生成器

  10. 10

    自定义yeoman生成器的npm测试失败

  11. 11

    自定义查询生成器Laravel

  12. 12

    添加自定义代码生成器

  13. 13

    Rails 3中的自定义表单生成器

  14. 14

    使用VSCode调试自定义Yeoman生成器

  15. 15

    查询生成器自定义 on 子句

  16. 16

    Orbeon 表单生成器自定义

  17. 17

    id 的 JPA Hibernate 自定义序列生成器

  18. 18

    创建自定义任意生成器以测试ScalaTest ScalaCheck中的Java代码

  19. 19

    Scikit学习CountVectorizer:自定义预处理器,令牌生成器和分析器

  20. 20

    Rails 4,带有生成器“找不到生成器”的自定义宝石

  21. 21

    如何在Rails中使用生成器生成自定义表单

  22. 22

    用于文件过滤器的自定义生成器

  23. 23

    如何为自定义yeoman生成器文件设置目标路径?

  24. 24

    在界面生成器中添加的自定义UIView不会加载xib

  25. 25

    Spark和Python使用自定义文件格式/生成器作为RDD的输入

  26. 26

    Gen样本的尺寸值是否使用自定义生成器?

  27. 27

    连接上的关系图生成器自定义属性

  28. 28

    自定义html生成器中的逻辑流缺陷

  29. 29

    Laravel查询生成器,在调用count()时使用自定义选择

热门标签

归档