使用微信扫一扫分享到朋友圈
使用微信扫一扫进入小程序分享活动
Elastic 中国开发者大会 2018(Elastic Developers China 2018)是由 Elastic 官方在中国举办的第二次开发者大会,主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。
Elastic Stack 作为目前世界上最流行的数据搜索与实时分析引擎套件,其产品累计下载次数已超过三亿五千万次,全球很多著名的公司都在使用,如:Facebook,eBay,IBM,Microsoft,Uber,Cisco 等等。在国内也是广受欢迎,例如联想,华为,百度,携程,滴滴,京东等等。各行各业从一线互联网公司到传统的行业都能找到使用 Elasticsearch 的身影。Elastic 的开源技术正越来越受到众多开发者的青睐,已然成为大数据领域分析工具的最佳选择。
而 Elastic 中国开发者大会作为中国国内唯一一个专门讨论 Elastic 开源技术的大会,是中国最权威和最具实力干货的技术大会,其专业性和内容的质量一直以来在业内都是有口皆碑。大会最早发起于 2013 年初一个很小的线下聚会,之后每年迅速成长,上一届在北京的大会参会者接近 500 人,往年大会的演讲嘉宾有来自 Elastic 官方、百度、腾讯、阿里巴巴、360、微博、美团、58、苏宁等众多公司的技术专家,带来过众多精彩的分享,与会听众大多为大数据领域相关的架构师、技术经理与一线开发工程师和运维工程师。
我们本着非盈利目的来举办大会,今年的大会日期定在 11 月10日,第一次将地点选在深圳这个充满活力的城市,举办 Elastic 开发者大会的目的是为中国广大的 Elastic 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。我们期待您的到来。
主会场[有线上直播]
Opening
Elastic 亚太区副总裁致开场发言,介绍 Elastic 最新进展和趋势。
Elastic Product Updates & Roadmap
Elastic Stack 产品的最新特性与项目里程牌介绍。
Logging, Metrics, and APM: The Operations Trifecta
从日志、指标到 APM,运维分析的三连击。
如在 IDE 中一样搜索代码库:预先了解即将推出的 Elastic Code Search
GitHub 固然很好,但若尝试用其来搜索代码,则未必如此;
代码搜索为何重要;
Web 上的代码智能、语义化;
将代码智能与 APM 和日志加以整合。
Community Hero
Elastic 社区杰出贡献者颁奖。
Being Elastic: The Who, The Where, The How
致力于分布式产品的公司出品的……由分布式团队开发的……分布式系统。欢迎加入此次讨论并深入了解 Elastic 公司。我们是谁。我们在哪里。我们的工作方式。是什么让 Elastic 如此灵活?身为一名 Elastician,我们具有哪些品质?我们真正关注哪些内容?为了开创更美好的未来,我们的伟大抱负声明是什么?
华为云搜索 Elasticsearch 实践
华为云上的 Elasticsearch 搜索实践。
孟母三迁,东南亚打车软件 Grab 的 POI 搜索平台迁移史
Grab 最近几年一跃成为东南亚第一打车手机软件,其中的 POI 搜索业务后端部分功能通过 Elasticsearch 进行实现。在业务量迅速膨胀的一年中,ES 集群从 AWS EC2 到 AWS Elasticsearch Service 再到 Elastic Cloud Enterprise 实现了 Elasticsearch 版的孟母三迁。最终落户Elastic Cloud Enterprise 每天处理上亿 POI 搜索请求。过程中体验各个平台方案的酸甜苦辣,经历日日夜夜的实战压测,感受数十次数据迁移的酸爽。这几大国外常用的平台方案,他们的实战细节,今天将一一分享。
Elasticsearch 和 Kibana 在游戏运维中的应用
作为暴雪游戏在中国的运营团队,以提高游戏运维质量为目的,实际使用 ELK 工具的几个案例分享。内容会在暴雪美国分享的基础上,偏重于从中国团队游戏运维角度对工具的使用和结合实际案例。
分享中会提及服务游戏名字,系统架构,数据规模,ES 工具的相关功能,提纲如下:
1. 系统概况,系统架构,数据流简介
2. 案例1 :使用 Elastic 和 Kibana工具在游戏生产环境中实时监控,开发告警,报表提高服务质量
3. 案例2:根据玩家反馈,使用 Kibana 回溯用户问题
4. 案例3:用数据帮助决策,实施云计算战略
基于 Kibana 的二次开发扩展实践
我们可能是可能是东半球对 Kibana 扩展最多的团队,这次分享主要介绍为了适配业务场景对 Kibana 进行的一些二次开发和扩展,以及平台化做的一些工作,并会介绍 Kibana 开发扩展过程中的一些经验。
Running infrastructure at Elastic with Elastic
Michael 是 Elastic 基础架构团队的一名软件工程师。基础架构团队负责构建和运行方方面面的内容,从而帮助软件公司推出优秀的软件。该团队在日常工作过程中会尽可能多地采用 Elastic 产品,因为这样我们就可以尽早获得反馈并测试新功能。在此次演讲过程中,Michael 会带领大家完整浏览我们的 Stack 产品,也会与大家分享我们如何借助自身产品来完成工作。
Elastic Stack 在 APM 与 AIOps 领域的深度应用实践
云智慧是国内 APM 与 AIOps 领域的领军企业。在这两个领域中,云智慧推出了许多重量级、企业级产品,并在航空、零售、地产、兵团等诸多行业领域中落地实践。这些企业级产品和解决方案中,Elastic Stack 占据了非常大的比例,包括架构演化、数据收集、分析转储、实时搜索、智能识别等多方面的深度应用实践。此次分享就以上几个方面的深度应用实践展开,分享成功落地经验。
Tea/Break
茶歇
Elasticsearch 在转转公司的千亿规模深度应用实践
转转公司是 Elasticsearch 的深度用户,我们的搜索,推荐等相关功能都跑在 Elasticsearch 上,在使用过程中我们积累的大量的实践经验,分享出来给业界同行参考。在本文中我们会重点讲述以下内容:
1.转转业务场景;
2.Elasticsearch 在转转公司的使用情况;
3.Elasticsearch 在转转公司的应用实践;
4.Elasticsearch 应用架构升级以及未来规划;
基于 Elasticsearch 的网络攻击场景建模和威胁分析
主要介绍如何使用ES工具栈实现网络攻击场景的建模和威胁分析,分两部分分享:
1. 如何利用ES相关工具收集网络攻击场景建模所需要的相关数据?
packetbeat收集网络流量,filebeat、osquery以及logstash收集终端日志的方法,elasticsearch做数据索引,以及kibana能提供的攻击数据可视化功能。
2. 如何利用收集的数据做网络攻击场景建模和威胁分析。
1) 介绍当前SIEM(Security Information and Event Management 安全信息与事件管理)系统对于攻击场景建模的一般要求;
2) 结合实例介绍利用网络流量、终端数据、结合传统的网络防御设备做攻击场景建模的方案,以及如何利用攻击场景模型做网络攻击的发现。
Elasticsearch 在腾讯的实践
ES在腾讯有非常大量的应用,本次分享主要包含:
1. ES在腾讯的发展和现状。
2. 腾讯使用ES遇到的挑战:ES在腾讯的使用场景严苛,超大集群、高并发写入、海量存储。
3. 腾讯对ES的优化:我们在集群可靠性、性能、成本方面的优化实践。
Getting Logs and Metric from Kubernetes with Beats
会在本次演讲中演示如何使用 Beats 来监测诸如 Kubernetes 等动态环境。还会通过现场演示让大家了解所有产品如何协同工作以便从 Kubernetes 上运行的不同服务中收集数据,将其传输到 Elasticsearch,并在 Kibana 中实现可视化。
Elastic 助力联想新零售
联想新零售业务的转型给 BT/IT 对零售线下业务的支持带来了新的挑战。如何更好的提升店面形象、服务效率、成本控制和业绩反馈,Elastic Stack 在其中起到了哪些作用呢?
基于 Elasticsearch 的 AI 异常检测和画像系统
基于安全策略和特征匹配的传统信息安全模式已经过时,网络安全正成为一个大数据分析建模的问题。在此分享基于Elasticsearch 作为核心计算和存储引擎,实现针对海量流量和日志数据,通过自动化的AI异常分析模型(已发表 IEEE 文章和专利),及时发现用户、系统和设备存在的可疑行为,从而发现潜在的残余安全风险。同时通过对可疑行为的画像和关联,帮助运维人员实现快速的追踪溯源。此系统已在多家大型企业单位使用:大型央企部委、省级公安、省级运营商等。
Tea/Break
茶歇
顺丰在安全领域的实践与探索
探索如何利用 Elasticsearch 对企业内部人员异常行为的分析,如何高效,快速,准确的发现内部可疑人员,并对其异常行为进行追溯、取证。
大型券商的 ELK 日志运维实践
大型券商的海量日志管理背景,日志巡检、日志监控和基于日志的业务监控。
采集,处理,分析,展示的实时处理流程架构。
Elasticsearch 在蚂蚁金服的实践经验
本次演讲主要分享蚂蚁金服在基于 Elasticsearch 构建金融级搜索服务时有关架构设计、高可用方案、租户隔离、监控报警、自动化运维调优等方面的一些思考和实践。
Tracking Cyber Security With Elastic Stack
基于 Elastic Stack 的网络安全威胁追踪与分析,带 Demo 演示。
ELK 日誌系統分享
走过 Splunk、CA、Cacti、Zabbix...等工具的应用,产品并不是不好用,只是总觉得少了一点什么? 那就是"整合性",用户无法灵活的调用报表及日志,透过 ELK 及 Beats,我们整合了网路封包、Netflow、Snmp、MongoDB、PostgreSQL、MySQL、系统日志及开放端口等数据及日志的收集,并且 Kibana 提供报表设计及呈现功能,满足用户对不同数据源整合的需求,但这也不是万灵丹,复杂的运算报表应用是不易达成的,在分享部份应用心得给大家。
Elastic Stack 在日志实践中的全链路监控实践
我们在使用 Beats、Logstash、Kafka、ES (我们可以把日志在这些组件中的流转称为链路)做日志收集的时候,经常遇到如下问题:
* 日志突然没有了,是 filebeat 异常中止了还是实际没有日志生成?还是 kafka 、logstash 除了问题?
* 日志进入 es 的延迟很高,是 filebeat 读取慢还是 kafka 消费慢?
* 当前收集了哪些机器的哪些日志?其上的 filebeat 运行状况如何?版本是多少?吞吐如何?性能是否有问题?
相信你在实践中也会遇到这类问题,那么本次主题就尝试通过引入全链路监控的方案来帮助你快速定位并解决问题以及对当前的收集信息有一个直观的概览。
Tea/Break
茶歇
Elasticsearch 在 ebay 的应用及平台化管理在 ebay 的演进
Elasticsearch 目前在 ebay 内部被广泛使用。为了更好的管理 eBay 全球生产环境中的100多个集群,结合不同应用的实际需求,eBay 推出了 Pronto 平台,包含容量规划,集群监控,索引全生命周期管理等一系列工具。Pronto 平台在进化过程中除了实现集群多租,满足不同数据等级的安全合规,还结合 ebay 的内部技术,实现了异常检测等一系列功能。
B站的搜索自动化实践
B站是一个以用户内容为主的二次元社区,每天有大量的数据需要审核人员处理,如稿件、弹幕、评论等,对审核人员来说实时性要求较高。目前已经接入公司大小十几个独立业务的搜索业务,涉及运营、web端、移动端的搜索业务。我们的搜索自动化实践,让更多的业务,快速接入和迭代。
基于 Elasticsearch 的爱奇艺用户画像系统
达芬奇系统是基于爱奇艺全站用户行为数据、用户特征大数据中心-脸谱的通用人群画像分析平台。画像为全公司各业务线提供极速、精准、定制化的画像分析服务. 达芬奇系统使用 Elasticsearch 作为基础引擎提供用户画像分析服务,提供多种检索条件供使用者进行人群圈定,快速地分析所圈定人群的画像特征。
闪电演讲,参会者可提前和现场报名,限时5分钟,主题不限。
Opening
Elastic Product Updates & Roadmap
Logging, Metrics, and APM: The Operations Trifecta
如在 IDE 中一样搜索代码库:预先了解即将推出的 Elastic Code Search
Community Hero
Being Elastic: The Who, The Where, The How
华为云搜索 Elasticsearch 实践
孟母三迁,东南亚打车软件 Grab 的 POI 搜索平台迁移史
Elasticsearch 和 Kibana 在游戏运维中的应用
基于 Kibana 的二次开发扩展实践
Running infrastructure at Elastic with Elastic
Elastic Stack 在 APM 与 AIOps 领域的深度应用实践
Tea/Break
Elasticsearch 在转转公司的千亿规模深度应用实践
基于 Elasticsearch 的网络攻击场景建模和威胁分析
Elasticsearch 在腾讯的实践
Getting Logs and Metric from Kubernetes with Beats
Elastic 助力联想新零售
基于 Elasticsearch 的 AI 异常检测和画像系统
Tea/Break
顺丰在安全领域的实践与探索
大型券商的 ELK 日志运维实践
Elasticsearch 在蚂蚁金服的实践经验
Tracking Cyber Security With Elastic Stack
ELK 日誌系統分享
Elastic Stack 在日志实践中的全链路监控实践
Tea/Break
Elasticsearch 在 ebay 的应用及平台化管理在 ebay 的演进
B站的搜索自动化实践
基于 Elasticsearch 的爱奇艺用户画像系统