本节主要讲述一下nginx中实现的murmurhash算法。murmurhash算法具有高运算性能、低碰撞率的特征。由Austin Appleby创建于2008年,现已应用到Hadoop、libstdc++、nginx、libmemcached等开源系统。2011年Appleby被Google雇佣,随后Google推出其变种的CityHash算法。

Read More

前面我们对于kafka的介绍主要还是偏向于使用操作层面,这里作为kafka进阶的第一篇,我们讲述一下kafka若干方面的设计原理。

Read More

openresty中甚至没有为我们提供一个方便计算hash的函数,这里我们介绍一下如何通过调用nginx内部的ngx_murmur_hash2()来实现此功能。

Read More

2-3树是最简单的B-树(Balanced tree)结构,其每个非叶子节点都有2个3个子女,而且所有叶子都在同一层上。虽然2-3树在实际应用中不多,但是理解2-3树对理解红黑树具有很大的帮助。

Read More

kafka集群可配置参数有很多,大部分都可以采用默认,很多时候我们可能并不需要关心。在这里我们主要讲述一下那些常用的参数配置。

Read More

Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于Zookeeper协调的分布式消息系统,现已捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

Read More

OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

Read More

Kafka是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka支持Java及多种其他语言客户端,可与Hadoop、Storm、Spark等其他大数据工具结合使用。

Read More