当前位置: 首页 > news >正文

品牌建设营销佛山外贸seo

品牌建设营销,佛山外贸seo,wordpress登录没链接,wordpress保护原创windows环境下安装logstash同步数据,注册系统服务 此方法适用于Windows环境,同一个配置文件配置多个管道,并且配置系统服务,防止程序被杀进程 一、安装logstash (1)下载压缩包,解压后修改con…

windows环境下安装logstash同步数据,注册系统服务

此方法适用于Windows环境,同一个配置文件配置多个管道,并且配置系统服务,防止程序被杀进程

一、安装logstash

(1)下载压缩包,解压后修改config文件夹中的logstash-sample.conf文件

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.input {
# 日志列表
jdbc {jdbc_driver_library => "D:\logstash-7.2.0\logstash-7.2.0\lib\ojdbc8-19.3.0.0.jar"jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"jdbc_connection_string => "jdbc:oracle:thin:@127.0.0.1:1521:orcl"jdbc_user => "admin"jdbc_password => "123456"# statement => "SELECT * FROM tb_hotel"statement_filepath => "D:\logstash-7.2.0\logstash-7.2.0\sql\admin_gatelog.sql"jdbc_paging_enabled => truejdbc_page_size => 10000jdbc_default_timezone => "Asia/Shanghai"schedule => "* * * * *"# 是否开启记录上次追踪的结果,也就是上次更新的时间,这个会记录到 last_run_metadata_path 的文件record_last_run => true# 需要记录查询结果某字段的值时,此字段为true,否则默认tracking_column为timestamp的值use_column_value => true# 记录上一次追踪的结果值last_run_metadata_path => "D:\logstash-7.2.0\logstash-7.2.0\sync\last_run_gatelog.yml"# 如果 use_column_value 为true, 配置本参数,追踪的 column 名,可以是自增id或者时间tracking_column => "crtTime"# tracking_column 对应字段的类型tracking_column_type => "timestamp"# 是否清除 last_run_metadata_path 的记录,true则每次都从头开始查询所有的数据库记录clean_run => false}
# 文件管理
jdbc {jdbc_driver_library => "D:\logstash-7.2.0\logstash-7.2.0\lib\ojdbc8-19.3.0.0.jar"jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"jdbc_connection_string => "jdbc:oracle:thin:@127.0.0.1:1521:orcl"jdbc_user => "mbbb"jdbc_password => "123456"# statement => "SELECT * FROM tb_hotel"statement_filepath => "D:\logstash-7.2.0\logstash-7.2.0\sql\admin_fileManage.sql"jdbc_paging_enabled => truejdbc_page_size => 10000jdbc_default_timezone => "Asia/Shanghai"schedule => "* * * * *"# 是否开启记录上次追踪的结果,也就是上次更新的时间,这个会记录到 last_run_metadata_path 的文件record_last_run => true# 需要记录查询结果某字段的值时,此字段为true,否则默认tracking_column为timestamp的值use_column_value => true# 记录上一次追踪的结果值last_run_metadata_path => "D:\logstash-7.2.0\logstash-7.2.0\sync\last_run_file_manage.yml"# 如果 use_column_value 为true, 配置本参数,追踪的 column 名,可以是自增id或者时间tracking_column => "create_time"# tracking_column 对应字段的类型tracking_column_type => "timestamp"# 是否清除 last_run_metadata_path 的记录,true则每次都从头开始查询所有的数据库记录clean_run => false
}
# 消息审计
jdbc {jdbc_driver_library => "D:\logstash-7.2.0\logstash-7.2.0\lib\ojdbc8-19.3.0.0.jar"jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"jdbc_connection_string => "jdbc:oracle:thin:@127.0.0.1:1521:orcl"jdbc_user => "admin"jdbc_password => "123456"# statement => "SELECT * FROM tb_hotel"statement_filepath => "D:\logstash-7.2.0\logstash-7.2.0\sql\admin_messageLog.sql"jdbc_paging_enabled => truejdbc_page_size => 10000jdbc_default_timezone => "Asia/Shanghai"schedule => "* * * * *"# 是否开启记录上次追踪的结果,也就是上次更新的时间,这个会记录到 last_run_metadata_path 的文件record_last_run => true# 需要记录查询结果某字段的值时,此字段为true,否则默认tracking_column为timestamp的值use_column_value => true# 记录上一次追踪的结果值last_run_metadata_path => "D:\logstash-7.2.0\logstash-7.2.0\sync\last_run_message_log.yml"# 如果 use_column_value 为true, 配置本参数,追踪的 column 名,可以是自增id或者时间tracking_column => "createtime"# tracking_column 对应字段的类型tracking_column_type => "timestamp"# 是否清除 last_run_metadata_path 的记录,true则每次都从头开始查询所有的数据库记录clean_run => false
}beats {port => 5044}stdin{}
}filter {}output {elasticsearch {hosts => ["http://127.0.0.1:9201","http://127.0.0.1:9202","http://127.0.0.1:9203"]# index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"index => "%{es_index}_index"document_type => "doc"document_id => "%{id}"user => "elastic"password => "elastic"}stdout{}
}

(2)在sql文件夹中创建admin_gatelog.sql文件

select 'gate_log'                                 as es_index,  # 必须ROWNUM,   # 必须ID,   # 必须MENU,OPT,URI,to_char(CRT_TIME, 'YYYY-MM-DD HH24:MI:SS') as crtTime, # 必须  和tracking_column对应,任何时间字段都可CRT_USER                                   as crtUser,CRT_NAME                                   as crtName,CRT_HOST                                   as crtHost,IS_SUCCESS                                 as isSuccess,P_ID                                       as pId,OPT_INFO                                   as optInfo,ORG_NAME                                   as orgName,ORG_CODE                                   as orgCode,PATH_CODE                                  as pathCode,PATH_NAME                                  as pathName
from TABLE
where to_timestamp(to_char(CRT_TIME, 'YYYY-MM-DD HH24:MI:SS'), 'YYYY-MM-DD HH24:MI:SS') > :sql_last_value

(3)在symc文件夹中创建 某某.yml文件用来记录数据中最后同步的日期

(4)修改jvm.options的

-Xms5g
-Xmx5g

(5)查看lib 、sql、sync文件夹的配置(没有这些文件夹的请创建),其中:

lib里面放着oracle数据库连接的驱动。(mysql也可以)

sql里面放着配置的要执行的sql文件。

sync里面放着每条sql查询数据全部同步完成后的最新数据的的日期(指定字段的最新日期)

(6)进入到bin目录启动logstash

D:\logstash-7.2.0\logstash-7.2.0\bin>logstash -f D:\logstash-7.2.0\logstash-7.2.0\config\logstash-sample.conf

(7)windows环境下配置系统服务

详细配置请查看附属文档nssm将logstash注册系统服务.pdf

二、附加

影响插入性能的主要因素如下:

一. 服务端

1、磁盘写入速度:越快越好,最好是SSD以上。
2、CPU运算性能:越快越好,多核心可能有益处。
3、内存用量:内存用量大,分配更大容量较好。
4、分片数:与节点数相关,默认5个分片较好。尽量不要让主分片分布在低速节点上。若集群中节点是高低性能搭配的情况,则只分配1个主分片到高速节点上较好,低速节点可用于添加副本。初始导入大量数据前设置索引的副本数为0,导入完成后再开启期望副本数,副本的存在对导入效率的影响成倍提高。
二. 客户端

客户端提交数据采用bulk方式效率高,transport-client略快于rest-client。异步提交比同步提交更能压榨服务器性能。综合比较建议采用bulk+rest+async组合。
bulk批次大小,一般单笔1000条以上或传输数据量在5M-15M左右。实测当中,主要观察服务器处理能力,若服务器处理时间较长导致异步提交响应超时,则要降低单笔传送数据量。

关于分片和副本
1、若索引的分片数(shards)大于1,则索引数据将自动分布在多个分片上,若每个分片分布在不同的实体节点上,则大批量提交数据时可将写入操作分布到不同节点并发进行,从而会提高写入速度。分片数这个参数在创建索引时就固化下来,以后难以更改。
2、副本(replica)是分片的数据备份,同时也提供查询功能。若设置副本数为1,则每个分片都会有1个副本。大批量提交数据时,副本的存在会使得写入数据时间加倍。所幸副本数这个参数可以随时调整,在大批量导入操作开始时将其设置为0,待导入数据完成再修改为1即可,ES引擎会自动处理副本数据。

三、解决elasticsearch限制:

logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type"=>"circuit_breaking_exception", "reason"=>"[parent] Data too large, data for [<transport_request>] would be [255226018/243.4mb], which is larger than the limit of [246546432/235.1mb], real usage: [255206808/243.3mb], new bytes reserved: [19210/18.7kb]", "bytes_wanted"=>255226018, "bytes_limit"=>246546432, "durability"=>"PERMANENT"})

添加或修改相关配置项:在 elasticsearch.yml 文件中,你可以添加或修改与数据大小限制有关的配置项。以下是一些常用的配置项:

  • indices.breaker.total.limit:这个配置项用于设置整个索引的数据大小限制。你可以将其设置为你希望的限制值。例如,将限制设置为 1GB:

    indices.breaker.total.limit: 1gb
    
  • indices.breaker.total.use_real_memory:默认情况下,Elasticsearch 使用 Java 运行时环境的堆内存大小来计算数据大小限制。你可以将此配置项设置为 false,以使用 Elasticsearch 自己的内存计算,这有助于更精确地控制限制。例如:

    indices.breaker.total.use_real_memory: false
    
http://www.khdw.cn/news/22302.html

相关文章:

  • 企业网站如何做seo搜什么关键词比较刺激
  • dwcs5怎么做动态网站网站推广服务
  • 做影视网站能赚到钱吗宁波网络营销公司
  • 大型网站建设方案抖音搜索seo软件
  • 微商软件东莞seo网站排名优化公司
  • 衡阳做网站公司那个推广平台好用
  • 怎么做时时彩网站平台怎么提成自助建站平台源码
  • 福州网站建设服务价格最实惠seo搜索排名优化
  • 资源网盘链接承德seo
  • 网络营销的职能是什么?seo如何提高排名
  • 推销别人做网站有什么作用想学编程去哪里找培训班
  • 假网站是怎么做的seo代码优化包括哪些
  • 做视频网站许可证适合网络营销的产品
  • 什么是cms网站系统sem管理工具
  • 公司注册公司代理网站优化seo是什么
  • 北京高端网站制作长沙百度网站推广公司
  • 最新网站网址永久发布惠州百度关键词优化
  • 珠海门户网站建设价格广州网站优化多少钱
  • 酷酷123网址之家宁波seo快速优化公司
  • 北京市建设工程质监站网站关键字优化用什么系统
  • web网站开发的书籍新闻头条最新消息10条
  • 包头建设局网站百度贴吧网页入口
  • 番禺做网站网站技术外包公司
  • crm系统管理淘宝seo推广优化
  • 聊城seo整站优化报价深圳推广公司介绍
  • 装修公司网站用的织梦淘宝流量平台
  • 建设网站是哪个部门负责保定关键词排名推广
  • 儿童教育类网站模板下载教育机构退费纠纷找谁
  • 吴桥网站建设公司深圳网络推广营销
  • 产品宣传网站的作用拼多多搜索关键词排名