kafka数据迁移(转)
本文重点介绍kafka的两类常见数据迁移方式:
本文重点介绍kafka的两类常见数据迁移方式:
本节主要讲述一下nginx中实现的murmurhash算法。murmurhash算法具有高运算性能、低碰撞率的特征。由Austin Appleby创建于2008年,现已应用到Hadoop、libstdc++、nginx、libmemcached等开源系统。2011年Appleby被Google雇佣,随后Google推出其变种的CityHash算法。
本章我们主要会介绍如下方面的内容:
前面我们对于kafka的介绍主要还是偏向于使用操作层面,这里作为kafka进阶的第一篇,我们讲述一下kafka若干方面的设计原理。
openresty中甚至没有为我们提供一个方便计算hash的函数,这里我们介绍一下如何通过调用nginx内部的ngx_murmur_hash2()来实现此功能。
2-3树
是最简单的B-树
(Balanced tree)结构,其每个非叶子节点都有2个
或3个
子女,而且所有叶子都在同一层上。虽然2-3树
在实际应用中不多,但是理解2-3树
对理解红黑树
具有很大的帮助。
本节主要讲述一下nginx module的实现。
本节主要讲述一下nginx module的实现。
本节我们主要讲述一下nginx中md5的相关实现。
本节我们主要讲述一下nginx中md5相关操作:
kafka集群可配置参数有很多,大部分都可以采用默认,很多时候我们可能并不需要关心。在这里我们主要讲述一下那些常用的参数配置。
本文介绍一下如何在openresty中实现redis的发布与订阅。
本文主要介绍一下如下两个方面的内容:
本章我们介绍一下OpenResty Lua模块的指令,并对其中一些指令的用法进行说明。
本文简要记录一下MariaDB的安装及简单使用。具体的安装环境如下:
Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于Zookeeper协调的分布式消息系统,现已捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。
本文简要记录一下redis-cluster的安装及简单使用。具体的安装环境如下:
Kafka是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka支持Java及多种其他语言客户端,可与Hadoop、Storm、Spark等其他大数据工具结合使用。