深圳网络营销优化google优化师
目录
资源下载（8.9.1）
ES安装、注册、使用
Kibana安装、注册、使用
Logstash安装、注册、使用
Filebeat安装、使用（如果只有一个数据流，则不需要使用filebeat，直接上logstash即可）
资源下载（8.9.1）
ES下载 Kibana下载 Logstash下载 FileBeat下载 NSSM下载（用来注册系统服务）
ES安装、注册、使用
跳转到bin目录，执行下面的代码将es注册为系统服务
elasticsearch-service.bat install执行成功后，可以在系统服务中查看到相应的服务，直接【启动】服务即可（可以根据需要设置自启）
服务启动成功后访问https://127.0.0.1:9200（注意协议是https，如果想要使用http协议，可以修改【config\elasticsearch.yml】，将xpack.security.http.ssl:enable设置为【false】然后重启）
第一次访问需要用户名、密码，默认的用户名是【elastic】，可以通过下面的命令重置密码（切换到bin目录下执行）
elasticsearch-reset-password --username elastic -iKibana安装、注册、使用
kibana需要从elasticsearch中读取数据，所以在启动时需要连接elasticsearch，可以通过【kibana\config\kibana.yml】中的【elasticsearch.hosts】来指定elasticsearch地址（由于elasticsearch开启了身份验证，所以连接时需要提供用户名、密码或者token，上面提到过elasticsearch默认用户是elastic，但是elastic是超级管理员，不允许直接连接，所以这里可以新建一个用户供kibana使用或者使用token的方式），下面提供的是生成token的命令（切换到【elasticsearch\bin】下执行，namespace、service、token_name自行替换）
elasticsearch-service-tokens create <namespace>/<service> <token_name>下载NSSM，然后将nssm.exe（结合操作系统位数选择相应的exe）复制到【kibana\bin】目录下，然后在bin目录下执行
nssm install kibana 
执行成功后，可以在系统服务中查看到相应的服务，直接【启动】服务即可（可以根据需要设置自启）
服务启动成功后访问http://127.0.0.1:5601（用户名、密码与elasticsearch用户名、密码一致）
kibana.yml# 中文显示
i18n.locale: "zh-CN"Logstash安装、注册、使用
logstash主要用input、filter、output三个模块，其中input负责数据录入、output负责数据输出、filter负责数据处理
#log-example.confinput {# 从filebeats读取数据# beats {# host => xxxx# port => 5044# ssl => false# }# 从指定位置的文件读取数据file {# 注意这里文件分隔符不能使用'\'path => ['D:/logs/project1/*.log', 'D:/logs/project2/*.log']start_position => 'beginning'type => 'logs'# 将多行日志转换为一条记录（比如异常栈）codec => multiline {charset => 'GB2312'pattern => '^\d{4}'negate => truewhat => 'previous'}}
}filter {grok {# 解析输入记录转换为json格式并为每个字段命名match => {"message" => "%{TIMESTAMP_ISO8601:timestamp} %{DATA:level} %{DATA:thread} %{DATA:class} %{DATA:ip} %{DATA:username} %{GREEDYDATA:msg}"}}date {match => ['timestamp', 'yyyy-MM-dd HH:mm:ss.SSS']# 使用grok中解析出来的timestamp替换@timestamptarget => '@timestamp'# 删除grok中解析出来的timestamp字段remove_field => ['timestamp']}}output {# 输出到ESelasticsearch {hosts => ["http://xxxx:9200"]index => "log-%{+YYYY.MM.dd}"user => "xxx"password => "xxx"}# debug模式下启用，可以将数据输出到控制台stdout {codec => json}
}
将nssm.exe（结合操作系统位数选择相应的exe）复制到【logstash\bin】目录下，然后在bin目录下执行（注意Arguments需要指定配置文件，比如上面给出来的log-example.conf）
nssm install logstash 
执行成功后，可以在系统服务中查看到相应的服务，直接【启动】服务即可（可以根据需要设置自启）
Filebeat安装、使用（如果只有一个数据流，则不需要使用filebeat，直接上logstash即可）
话不多说，直接提供一个filebeat.yml模板
# ============================== Filebeat inputs ===============================filebeat.inputs:
- type: log# Unique ID among all inputs, an ID is required.id: logenabled: truetail_file: trueencoding: GB2312# 将多行日志转换为一条记录（比如异常栈）multiline.pattern: '^\d{4}'multiline.negate: truemultiline.match: afterpaths:- D:\logs\project1\*.log- D:\logs\project2\*.log# ============================== Filebeat modules ==============================filebeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: false# ================================== Outputs ===================================# ------------------------------ Logstash Output -------------------------------
output.logstash:# The Logstash hostsenabled: truehosts: ["xxxx:5044"]# ================================= Processors =================================
processors:- add_host_metadata:when.not.contains.tags: forwarded- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~- add_fields:target: '@metadata'fields:source: 'log'- drop_fields:fields: ['agent', 'ecs', 'host', 'mac', 'hostname', 'architecture', 'os', 'input', '@timestamp', 'log']