实时数据驱动的应用运维.ppt
《实时数据驱动的应用运维.ppt》由会员分享,可在线阅读,更多相关《实时数据驱动的应用运维.ppt(41页珍藏版)》请在三一文库上搜索。
1、实时数据驱动的应用运维,饶琛琳,我是?,给 CloudEx, C, RenRen, Sina 重启服务器; 精通 echo/say/puts/console.log(“Hello World”); 写过网站运维技术与实践; 翻过Puppet 实战手册。,运维是?,开发是?,“When I see . developers all I see is risk” Chuck Rossi, Facebook 才不是,为什么做不好运维,数据不一致,为什么做不好运维,数据不一致 数据不及时,为什么做不好运维,数据不一致 数据不及时 数据不清晰,怎么做好运维,数据不一致 = Configuration M
2、anagement 数据不及时 = Metric Monitor/Dashboard 数据不清晰 = Log Process/Analysis/Search,“Monitoring is the aggregation of health and performance data, events, and relationships delivered via an interface that provides an holistic view of a systems state to better understand and address failure scenarios.” Ry
3、an Frantz Etsy,数据怎么来,不记你不打算用的日志; 次数是最感兴趣的; 在第一条的前提下尽可能收集所有日志; 没有7*24值班人员的话,IDS也就用不着实时。 Laws of Marcus J. Ranum,大数据怎么来,不记你不打算用的日志; 次数是最感兴趣的; 在第一条的前提下尽可能收集所有日志; 没有7*24值班人员的话,IDS也就用不着实时。 Laws of Marcus J. Ranum,大数据是?,Volume(越来越大) Velocity(越来越快) Variety(越来越复杂) Laney 2001.02,有多快?,有多复杂?,应该啥样?,应该啥样?,最后是这样,
4、最后是这样,!zabbix 的 screen 字段截图,最后是这样,这背后,Rsyslog * 50 Logstash * 10 ES masternode * 3 ES datanode * 28 = 单日 70 亿条,4TB 索引 Zabbix * 3 = 500k 监控项,60s 间隔 以及 在 400+ Nginx/PHP 机器上通过 Rsyslog 直接调用的 process2zbx 脚本,这背后,Elasticsearch 简介,基于 Lucene 构建的,提供 RESTful 接口的,分布式,实时全文搜索引擎。http:/www.elastic.co 架构层面: cluster
5、node indices shard (primary/replica) segment 数据层面: index type document field (_source/_all/analyzer) Master 只是维护 cluster state,数据交互可以直接发给任意节点,Kibana 简介,基于 Angular.JS 框架写的 Elasticsearch 数据展示前端。 开发者是重构狂: V1 - PHP V2 - Ruby V3 - Angular.js/jQuery.flot.js V4beta - Angular.js/D3.js + JRuby V4 - Angular.j
6、s/D3.js + Node.JS 重复一次:count 是最重要的。,推荐阅读,24,Elasticsearch 聚合示例,curl 127.0.0.1:9200/_all/_search?pretty=1 -d “query“ : “match_all“ : , “aggs“ : “range1“ : “range“ : “field“ : “resp_ms“, “ranges“ : “to“ : 100 , “from“ : 101, “to“ : 500 , “from“ : 500 ,ES 自定义脚本,config/scripts/regex.groovy 如下: matcher =
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 实时 数据 驱动 应用
链接地址:https://www.31doc.com/p-3665018.html