千赢qy88 vip-查询亿级数据毫秒级返回!Elasticsearch 是如何做到的?

搜索是现代软件必备的一项基础功能,而 Elasticsearch 就是一款功能强大的开源分布式搜索与数据分析引擎。它可以从海量数据中快速找到相关信息,在同领域内几乎没有竞争对手——近两年 DBRanking 的数据库评测中,ES 在搜索引擎领域始终位列第一。

当你在 GitHub 上搜索时,Elasticsearch 可以实现代码级的搜索与高亮显示 ;当你在网上购物时,ES 可为你推荐喜欢的商品;当你下班打车回家时,ES 可以通过定位附近的乘客和司机,帮助平台优化调度。

Elasticsearch 还被广泛运用于大数据近实时分析,包括日志分析、指标监控、信息安全等多个领域。

作为目前最流行的开源搜索引擎,ES 在全球的下载量已超过 3.5 亿次,腾讯、滴滴、今日头条、饿了么、360 安全、小米,vivo 等国内诸多知名公司都在使用 Elasticsearch。

Elasticsearch非常容易上手,具有开箱即用的特性,你可以在极短的时间内设置好开发环境,然后快速上手使用,继而在成百上千台服务器上实现 PB 级的数据处理。

虽然上手快,但要做到深入理解并高效使用,可就没那么简单了,比如:

1.为什么我的数据查不到,明明是有的啊!

2.什么鬼?为什么这几条数据出现在搜索结果的前几位?

3.生产环境我需要多少台机器,索引的分片数怎么样设置才是合理的?

4.应该关注哪些指标,才能保证集群健康高效地运行?

5.对于日志型应用,如何设置 Hot & Warm Architecture 节约成本,怎样管理和优化基于时间序列的索引数据,才能提高集群的整体性能?

6.为什么我的集群脑裂了?数据损坏后,怎样才能恢复?

分享给你一张Elasticsearch 核心知识图谱,只有对每一个知识点仔细梳理并深入理解,才能解决工作中的实际问题。

这张图谱出自阮一鸣,他之前在 Elastic 中国开发者大会上做过分享,讲得非常不错。

前段时间,阮一鸣和极客时间合作,推出了一门视频课《Elasticsearch 核心技术与实战》,在课程中,他用理论与实践相结合的方式、深入浅出地讲解了 Elasticsearch,只要你坚持学习,就可以掌握 ES 的基本概念和服务搭建,了解其运行机制和常用技巧,并通过上手实战理解 ES 在实际项目中的应用。

原价 129,限时拼团 99

仅限 200 人

△扫码试看或订阅

阮一鸣说,这门课覆盖了 Elastic 认证考试的全部考点,想参加考试的朋友可以将这门课作为参考教材,这也算是「学习技能之外的 bonus」了。

关于阮一鸣

阮一鸣,eBay Pronto 平台技术负责人。Pronto 平台管理了 eBay 内部上百个 Elasticsearch 集群,数据规模超过了 4000 个节点。这些集群在 ebay 的生产环境中,支撑了包括订单搜索,商品推荐,日志管理,风险控制,IT 运维,安全监控等不同领域的服务。

作为一名互联网行业的老兵,他从业近 20 年了,在大数据、云计算和性能优化方面积累了丰富的经验。同时,他还是一名连续创业者,创办过手机游戏公司、个性化音乐推荐与分享平台 8box。

他是如何讲解 Elasticsearch 的?

如果你对 Elasticsearch 有些了解,就会发现 ES 的产品迭代速度非常快,很多老的 API 都已经被废弃不再使用,搜索到的参数配置也大多发生了变化。

市面上的书籍和教程都是基于 5.x 甚至是 2.x 版本。而在课程中,阮一鸣使用Elasticsearch 最新的 7.1 版本进行教学。

所有 ES 最新版本的特性,在课程里都会有全面和直观地展现,比如:用机器学习进行异常检测;用 Canvas 展示数据;用索引的生命周期管理工具对索引进行优化等等。

这个课大概分为 5 个部分:

1. 初识 Elasticsearch

Elasticsearch 核心概念、工作机制与应用场景;本地开发环境搭建;倒排索引的原理与 ES 中 Analysis 的具体细节;Mapping 设置和一些基本的 Search & Aggregation API。

2. 深入了解 Elasticsearch

理解 Elasticsearch 分布式架构的原理;相关性算分的原理;数据建模的最佳实践;深入搜索及聚合功能以提高搜索结果的相关度。

3. 管理 Elasticsearch 集群

集群的水平扩展、参数配置、性能优化、故障诊断。

4. 利用 ELK 做大数据分析

结合使用场景和数据,探索 Logstash、Kibana 的各项功能。

5. 应用实战工作坊

设计了电影搜索和 Stack Overflow 用户调查问卷数据分析两个实战项目,通过上手实践,你可以巩固所学的知识点,并运用到实际项目中。

原价 129,限时拼团 99

仅限 200 人

△扫码试看或订阅

最后,再给大家推荐三门极客时间的好课。

消息队列是每个后端人绕不开的话题,专栏从源码入手,解析了 MQ 的设计与实现。讲师李玥,在京东带领团队重构了自研的消息队列产品,实现了超过 2000 个节点的超大规模集群部署,抗住了“11.11”和“618”两次大促,超过万亿流量洪峰的考验。在专栏中,他会将这些实践技巧倾囊相授。

原价 99,限时拼团 79

仅限 200 人

△扫码试读或订阅

极客时间口碑之王,自己看了几遍,还推荐给朋友了,实实在在地帮我解决了很多问题。性能优化是软件系统中最有挑战的工作,也是每个工程师都需要掌握的核心技能,专栏大概 60 讲,讲了 Linux 性能的基本指标、工具,以及相应的观测、分析和调优方法,用实际案例贯穿了从应用程序到操作系统的各个组件。毫不夸张地说,里面随便一个「套路篇」都值一个亿。

原价 99,限时拼团 79

仅限 200 人

△扫码试读或订阅

最近几年 Kubernetes 一跃成为容器王者,推荐 Kubernetes 项目维护者张磊的这个专栏,张磊从开发者和使用者的真实逻辑出发,帮你理解 Kubernetes 的核心特性,甚至从 Docker 诞生背景讲起,把设计原则和容器编排理念讲的明明白白。化繁为简,深入浅出。如果你觉得 Kubernetes 学习起来晦涩难懂,那你一定要好好学学这个专栏。

原价 99,限时拼团 79

仅限 200 人

△扫码试读或订阅

更多精彩报道,尽在https://link-bus.com