我每秒从ac文件记录3k事件的最佳选择是什么?以下是我想到的选择。无法确定哪种故障点少,可靠性高,延迟少的鲁棒解决方案。
使用消息传递服务器在事件发生时进行中继
使用syslog进行日志记录
使用Unix管道
使用流利的日志记录代理程序,它将事件发送到分析服务器
在本地编写日志文件,然后定期旋转,使用rsync之类的文件将其旋转到分析服务器
尝试syslog。没有理由使其过于复杂。使用syslog-ng,您可以通过UDP进行本地日志记录,然后设置本地syslogd以通过TCP将所有内容转发到中央syslog服务器。您可能需要在中央syslog服务器上没有fsync的情况下运行以跟上该负载(但首先进行测试),但是可以通过将所有内容转发到两台单独的计算机来减轻这种情况。这为您提供了本地的异步性能和足够的可靠性,几乎不会丢失任何事件。
我做过的另一种选择是将事件记录到Redis,Riak或其他nosql数据存储中(我通常不建议将它们用于任何复杂的事情,但是事件记录就在他们的胡同中)。设置镜像以实现冗余,并且它们应该能够每秒处理超过3k个事件。
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다