博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
8.Redis 3.0.0 Cluster Redis集群的创建
阅读量:4047 次
发布时间:2019-05-25

本文共 9762 字,大约阅读时间需要 32 分钟。

一.安装

可以参考我另外的博客文章,系统推荐64位系统。

CentOS系统 仍然需要先安装tcl,才能安装Redis;如果需要创建集群,需要ruby的环境,因为执行的是ruby的脚本

 

一.安装tcl 8.6.1

su - root  tar xvzf tcl8.6.1-src.tar.gz  cd tcl8.6.1/unix/  ./configure  make  make install

 

二.安装ruby 2.2.1

CentOS 7相关依赖

yum install -y gcc openssl-devel libyaml-devel libffi-devel readline-devel zlib-devel gdbm-devel ncurses-devel

 其他参考https://github.com/sstephenson/ruby-build/wiki#build-failure-of-fiddle-with-ruby-220

 

tar -xvzf ruby-2.2.1.tar.gzcd ruby-2.2.1./configure -prefix=/usr/local/ruby  makemake install  cp ruby /usr/local/bin

 

 三.安装rubygems 2.4.6

tar -xvzf rubygems-2.4.6.tgzcd rubygems-2.4.6ruby setup.rbcp bin/gem /usr/local/bin

 

四.安装 gem-redis 3.2.1

gem install -l ./redis-3.2.1.gem

 

五.安装redis 3.0.0

tar -xvzf redis-3.0.0.tar.gzcd redis-3.0.0make# 将命令放到 /usr/local/bin/make install # 集群维护命令放到 /usr/local/bin/cd srccp redis-trib.rb /usr/local/bin

 

 

六.配置redis

可以像中一样采用多个完整的配置文件,也可以采用下面这种配置分离的方法,把通用配置提取出来,并通过include,在每个配置文件中包含

 

1.通用配置

cd redis-3.0.0mkdir /etc/rediscp redis.conf /etc/redis/redis-common.confvi /etc/redis/redis-common.conf

 修改为类似下面这样

################################ GENERAL  ###################################### 是否作为守护进程运行 daemonize yes # 如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pid# pidfile /var/run/redis.pid# Redis默认监听端口# port 6379tcp-backlog 511# 客户端闲置多少秒后,断开连接timeout 0tcp-keepalive 0# 日志记录等级,有4个可选值,debug,verbose,notice,warningloglevel notice# 指定日志输出的文件名,可设为/dev/null屏蔽日志# logfile ""# 可用数据库数,默认值为16,默认数据库为0databases 16################################ SNAPSHOTTING 快照 ################################# 保存数据到disk的策略 # 900 秒有 1 条改变保存到disksave 900 1# 300 秒有 10 条改变保存到disksave 300 10# 60 秒有 10000 条改变保存到disksave 60 10000stop-writes-on-bgsave-error yes# 当dump .rdb数据库的时候是否压缩数据对象rdbcompression yesrdbchecksum yes# 本地数据库文件名,默认值为dump.rdb # dbfilename dump.rdb# 本地数据库存放路径,默认值为 ./ # dir ./################################# REPLICATION Redis的复制配置 ################################## 当本机为从服务时,设置主服务的IP及端口# slaveof 
# 当本机为从服务时,设置主服务的连接密码# masterauth
# 当从库同主机失去连接或者复制正在进行,从机库有两种运行方式# 1) 如果slave-serve-stale-data设置为yes(默认设置),从库会继续相应客户端的请求# 2) 如果slave-serve-stale-data是指为no,出去INFO和SLAVOF命令之外的任何请求都会返回一个错误"SYNC with master in progress"slave-serve-stale-data yesslave-read-only yesrepl-diskless-sync norepl-diskless-sync-delay 5# 从库会按照一个时间间隔向主库发送PINGs.可以通过repl-ping-slave-period设置这个时间间隔,默认是10秒repl-ping-slave-period 10# repl-timeout 设置主库批量数据传输时间或者ping回复时间间隔,默认值是60秒# 一定要确保repl-timeout大于repl-ping-slave-periodrepl-timeout 60# 采用无延迟同步 默认norepl-disable-tcp-nodelay yesslave-priority 100################################## SECURITY 安全 #################################### 设置客户端连接后进行任何其他指定前需要使用的密码。# 警告:因为redis速度相当快,所以在一台比较好的服务器下,一个外部的用户可以在一秒钟进行150K次的密码尝试,这意味着你需要指定非常非常强大的密码来防止暴力破解# requirepass foobared# 命令重命名.# 在一个共享环境下可以重命名相对危险的命令。比如把CONFIG重名为一个不容易猜测的字符。# 举例:# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52# 如果想删除一个命令,直接把它重命名为一个空字符""即可,如下:# rename-command CONFIG ""################################### LIMITS 约束##################################### 最大可用内存 maxmemory
536870912,即512Mmaxmemory 536870912# 当内存达到最大值的时候Redis会选择删除哪些数据?有五种方式可供选择## volatile-lru -> 利用LRU算法移除设置过过期时间的key (LRU:最近使用 Least Recently Used )# allkeys-lru -> 利用LRU算法移除任何key# volatile-random -> 移除设置过过期时间的随机key# allkeys->random -> remove a random key, any key# volatile-ttl -> 移除即将过期的key(minor TTL)# noeviction -> 不移除任何可以,只是返回一个写错误maxmemory-policy allkeys-lru# LRU 和 minimal TTL 算法都不是精准的算法,但是相对精确的算法(为了节省内存),随意你可以选择样本大小进行检测。# Redis默认的灰选择3个样本进行检测,你可以通过maxmemory-samples进行设置maxmemory-samples 3############################## APPEND ONLY MODE ################################ 启用aof持久化方式# 因为redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认值为no appendonly yes# 更新日志文件名,默认值为appendonly.aof # appendfilename "appendonly.aof"# 收到写命令立即写入磁盘,最慢,保证完全的持久化# appendfsync always# 每秒写入一次appendfsync everysec# 完全依赖OS,性能最好,持久化没保证 # appendfsync no# 部署在同一机器的redis实例,把auto-aof-rewrite打开,因为cluster环境下内存占用基本一致#关闭在aof rewrite的时候对新的写操作进行fsyncno-appendfsync-on-rewrite yes# Automatic rewrite of the append only file.# AOF 自动重写# 当AOF文件增长到一定大小的时候Redis能够调用 BGREWRITEAOF 对日志文件进行重写## 它是这样工作的:Redis会记住上次进行些日志后文件的大小(如果从开机以来还没进行过重写,那日子大小在开机的时候确定)## 基础大小会同现在的大小进行比较。如果现在的大小比基础大小大制定的百分比,重写功能将启动# 同时需要指定一个最小大小用于AOF重写,这个用于阻止即使文件很小但是增长幅度很大也去重写AOF文件的情况# 设置 percentage 为0就关闭这个特性auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mbaof-load-truncated yes################################ LUA SCRIPTING ###############################lua-time-limit 5000################################ REDIS CLUSTER 集群 ################################ 打开redis集群cluster-enabled yes# cluster配置文件(启动自动生成)# cluster-config-file nodes-6379.conf# 节点互连超时的阀值# cluster-node-timeout 15000# # cluster-slave-validity-factor 10# # cluster-migration-barrier 1# 集群兼容部分失败# cluster-require-full-coverage yes################################## SLOW LOG #################################### Redis Slow Log 记录超过特定执行时间的命令。执行时间不包括I/O计算比如连接客户端,返回结果等,只是命令执行时间## 可以通过两个参数设置slow log:一个是告诉Redis执行超过多少时间被记录的参数slowlog-log-slower-than(微妙),# 另一个是slow log 的长度。当一个新命令被记录的时候最早的命令将被从队列中移除 # 下面的时间以微妙微单位,因此1000000代表一分钟。# 注意制定一个负数将关闭慢日志,而设置为0将强制每个命令都会记录slowlog-log-slower-than 10000# 对日志长度没有限制,只是要注意它会消耗内存# 可以通过 SLOWLOG RESET 回收被慢日志消耗的内存slowlog-max-len 128################################ LATENCY MONITOR ##############################latency-monitor-threshold 0############################# EVENT NOTIFICATION ##############################notify-keyspace-events ""############################### ADVANCED CONFIG ################################ 当hash中包含超过指定元素个数并且最大的元素没有超过临界时,# hash将以一种特殊的编码方式(大大减少内存使用)来存储,这里可以设置这两个临界值# Redis Hash对应Value内部实际就是一个HashMap,实际这里会有2种不同实现,# 这个Hash的成员比较少时Redis为了节省内存会采用类似一维数组的方式来紧凑存储,而不会采用真正的HashMap结构,对应的value redisObject的encoding为zipmap,# 当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。hash-max-ziplist-entries 512hash-max-ziplist-value 64# list数据类型多少节点以下会采用去指针的紧凑存储格式。# list数据类型节点值大小小于多少字节会采用紧凑存储格式。list-max-ziplist-entries 512list-max-ziplist-value 64# set数据类型内部数据如果全部是数值型,且包含多少节点以下会采用紧凑格式存储。set-max-intset-entries 512# zsort数据类型多少节点以下会采用去指针的紧凑存储格式。# zsort数据类型节点值大小小于多少字节会采用紧凑存储格式。zset-max-ziplist-entries 128zset-max-ziplist-value 64hll-sparse-max-bytes 3000# Redis将在每100毫秒时使用1毫秒的CPU时间来对redis的hash表进行重新hash,可以降低内存的使用## 当你的使用场景中,有非常严格的实时性需要,不能够接受Redis时不时的对请求有2毫秒的延迟的话,把这项配置为no。## 如果没有这么严格的实时性要求,可以设置为yes,以便能够尽可能快的释放内存activerehashing yesclient-output-buffer-limit normal 0 0 0client-output-buffer-limit slave 256mb 64mb 60client-output-buffer-limit pubsub 32mb 8mb 60hz 10aof-rewrite-incremental-fsync yes

 

2.节点配置

注意:

1.确保本地数据库存放路径存在,也就是下面配置中“dir /var/redis/6379”指向的目录必须存在;

2.数据库存放路径“dir”,下面存放着dbfilename 配置的 .rdb 文件,appendfilename 配置的 .aof文件,cluster-config-file 配置的 .conf文件

 

################################## INCLUDES ####################################包含通用配置  include /etc/redis/redis-common.conf  ################################ GENERAL  ###################################### 如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pidpidfile /var/run/redis_6379.pid# Redis默认监听端口port 6379# 指定日志输出的文件名,可设为/dev/null屏蔽日志logfile /var/log/redis_6379.log################################ SNAPSHOTTING 快照 ################################# 本地数据库文件名,默认值为dump.rdb dbfilename dump6379.rdb# 本地数据库存放路径,默认值为 ./ dir /var/redis/6379################################# REPLICATION Redis的复制配置 ################################## 当本机为从服务时,设置主服务的IP及端口# slaveof 
# 当本机为从服务时,设置主服务的连接密码# masterauth
############################## APPEND ONLY MODE ################################ 更新日志文件名,默认值为appendonly.aof appendfilename "appendonly6379.aof"################################ REDIS CLUSTER 集群 ################################ cluster配置文件(启动自动生成)cluster-config-file nodes-6379.conf

 

3.复制并创建6个服务器

集群应该是奇数,并且官网推荐每个节点都有从节点,所以根据6379.conf,再建立5个分别是6380.conf / 6381.conf / 7379.conf / 7380.conf /7381.conf

建立数据库文件存,另外如果启动失败可以查看logfile( /var/log/redis_6379.log)指定路径

 

mkdir /var/rediscd /var/redismkdir 6379 6380 6381 7379 7380 7381
 

七.建立集群

http://redis.readthedocs.org/en/latest/topic/cluster-tutorial.html#id2

1.启动6个项目,此时没有设置主仆

redis-server /etc/redis/6380.confredis-server /etc/redis/6381.confredis-server /etc/redis/6382.confredis-server /etc/redis/7380.confredis-server /etc/redis/7381.confredis-server /etc/redis/7382.conf

 

2.查看占用端口或登陆确定项目启动

# 登陆redis-cli -h 127.0.0.1 -p 6380# 查看端口占用  sudo netstat -tlnp|grep 7382

 

3.创建集群

    redis-3.0.0/src/redis-trib.rb

    必须用本机IP,不可以使用127.0.0.1这种ip

 

./redis-trib.rb create --replicas 1 192.168.158.128:6380 192.168.158.128:6381 192.168.158.128:6382 192.168.158.128:7380 192.168.158.128:7381 192.168.158.128:7382

 命令的意义如下:

    给定 redis-trib.rb 程序的命令是 create , 这表示我们希望创建一个新的集群。
    选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
    之后跟着的其他参数则是实例的地址列表, 我们希望程序使用这些地址所指示的实例来创建新集群。
简单来说, 以上命令的意思就是让 redis-trib 程序创建一个包含三个主节点和三个从节点的集群。

 

4.检测集群状态

#redis-trib.rb的check子命令构建  #ip:port可以是集群的任意节点  ./redis-trib.rb check 127.0.0.1:6380
 

 

成功信息

 

>>> Performing Cluster Check (using node 192.168.158.128:6380)M: 7c03c2056f944c04a00d8c952fa7c9f9697bda9a 192.168.158.128:6380   slots:0-5460 (5461 slots) masterM: d4712ee1c8a5e65dad62cb7f5e0e8cec1f619b88 192.168.158.128:6381   slots:5461-10922 (5462 slots) masterM: 9ebbbe1f1850eccb454321761a390e7709f2bc93 192.168.158.128:6382   slots:10923-16383 (5461 slots) masterM: df513d7e7e34e7d4b8e758a68bfd414a7a544e13 192.168.158.128:7380   slots: (0 slots) master   replicates 7c03c2056f944c04a00d8c952fa7c9f9697bda9aM: 5387ed11543a65409f405037f51d7713ac337f4e 192.168.158.128:7381   slots: (0 slots) master   replicates d4712ee1c8a5e65dad62cb7f5e0e8cec1f619b88M: 820ba6c63d4ae325a2b73a9a4f131cb1d9f0906f 192.168.158.128:7382   slots: (0 slots) master   replicates 9ebbbe1f1850eccb454321761a390e7709f2bc93[OK] All nodes agree about slots configuration.>>> Check for open slots...>>> Check slots coverage...[OK] All 16384 slots covered.
 

集群的维护 参考

 

 

 

 

转载地址:http://oqyci.baihongyu.com/

你可能感兴趣的文章
cppcheck c++静态代码检查
查看>>
在C++中使用Lua
查看>>
一些socket的编程经验
查看>>
socket编程中select的使用
查看>>
GitHub 万星推荐:黑客成长技术清单
查看>>
可以在线C++编译的工具站点
查看>>
关于无人驾驶的过去、现在以及未来,看这篇文章就够了!
查看>>
所谓的进步和提升,就是完成认知升级
查看>>
为什么读了很多书,却学不到什么东西?
查看>>
长文干货:如何轻松应对工作中最棘手的13种场景?
查看>>
如何用好碎片化时间,让思维更有效率?
查看>>
No.147 - LeetCode1108
查看>>
No.174 - LeetCode1305 - 合并两个搜索树
查看>>
No.175 - LeetCode1306
查看>>
No.176 - LeetCode1309
查看>>
No.182 - LeetCode1325 - C指针的魅力
查看>>
mysql:sql alter database修改数据库字符集
查看>>
mysql:sql truncate (清除表数据)
查看>>
yuv to rgb 转换失败呀。天呀。谁来帮帮我呀。
查看>>
yuv420 format
查看>>