数据库（Nosql）redis
redis一、Redis介绍
1、Nosql简介
数据超过300w 建立索引，缓存来解决数据库压力分库分表：分部署单元集群,按业务需求来分库分表数据库：读、写MySAM:表锁、高并发出现问题Innodb:行锁redis每秒读11万次，写8万次、缓存记录级、是一种细粒度缓存，性能高cap定理和base大数据3v：海量、多样、实时大数据3高：高并发、高可扩、高性能2013年的斯诺登事件去IOE:2013年棱镜门事件思科、IBM、google、高通、英特尔、苹果、甲骨文、微软并称为美国的“八大金刚图片：分布式文件系统：FastDFS - 淘宝：TFS - Google:GFS - Hadoop:HDFS - 阿里云：OSS商品得描述、评论: -文档数据库：MongDB商品得基本信息: -关系型数据库:mysql oracle推荐文章：《阿里云得这群疯子》商品搜索：solrelasticsearch- 阿里云：iserach 多隆、王坚商品得秒杀信息：- 内存型数据库- redismemcahe tair商品交易：- 三方应用统一数据服务平台(Mapping DSL)：承接后端各类数据库，作为唯一数据代理层，提供统一的数据服务，使得各数据源对上层透明，简化数据结构。提供跨异构数据源的模型数据映射。UDSL:采用统一的查询/更新API 统一了不同数据源的查询方式Nosql存储类型：键值对存储、文档存储、图形存储、列存储键值对- 新浪：redis- 美团：redis+Tair- 阿里、百度：redis+memcache文档- MongDB:是一个基于分布式文件存储的数据库，C++编写，主要用来处理大量的文件，是一个介于关系型数据库和非关系型数据库中间的产品， MongDB是非关系型数据库中功能最丰富，最像关系型数据库的。列存储(列存储在写入效率、保证数据完整性上都不如行存储，它的优势是在读取过程，不会产生冗余数据，这对数据完整性要求不高的大数据处理领域,列式存储的话，比如你比较关注的都是某几列的内容，或者有频繁聚集需要的，通过聚集之后进行数据分析的表)- Hbase- 分布式文件系统- Cassandra图片（存储关系，例如朋友圈、广告推荐）- Neo4jinfoGridGraph
2、redis概述
Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI (https://baike.baidu.com/item/C语言)编写、支持网络、可基于内存亦可持久化的日志型、Key-Value[数据库](https://baike.baidu.com/item/数据库/103728)，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由(https://baike.baidu.com/item/Pivotal)赞助redis是一个key-value[存储系统](https://baike.baidu.com/item/存储系统)string(字符串)list([链表](https://baike.baidu.com/item/链表))set(集合)zset(sorted set --有序集合)hash（哈希类型）操作都是原子性的,redis支持各种不同方式的排序,为了保证效率，数据都是缓存在内存中,redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助内存存储、持久化（rdb、aof）、内存中断电丢失高速缓存发布订阅系统地图信息分析计数器、计时器（浏览量）官网：https://redis.io中文网：http://www.redis.cn
3、redis部署
Linux安装步骤1、下载安装 https://redis.io/download最新版本- redis-6.2.1.tar- 解压- mkdir /u01- mv /home/redis-5.0.8.tar.gz/u01- tar -zvxf redis-5.0.8.tar.gz2、安装基础环境yum install -y gcc-c++make make install gcc -v#查看下版本redis 默认安装路径/usr/local/bin在/usr/local/bin目录下mkdir redis_configcd/u01/redis-5.0.8cp/u01/redis-5.0.8/redis.conf /u01/redis-5.0.8/redis.conf.bak#备份原始配置文件mv/u01/redis-5.0.8/redis.conf /usr/local/bin/redis_config/3、修改redis.conf配置文件，使其后台启动vimredis.conf4、启动redis服务redis-server redis_config/redis.conf5、客户端连接测试redis-cli--helpredis-cli-p 6379-h localhost6、关闭redis服务
4、redis-benchmark性能测试
测试：100个并发连接，100000请求redis-benchmark-h localhost-p 6379-c 100-n100000
5、redis基础知识
默认使用第0个可以使用select 进行切换数据库查看数据库大小 dbsize清空数据库flushdb清空全局数据库flushallkeys * 查看所有KEYexists name 判断key是否存在，1:代表存在，0:代表不存在move movename1 从1库移除nameexpire 设置KEY过期时间ttl key 查看key是否过期setkeyvalue设置keygetkey 获取keytype name 查看key类型具体命令学习：http://www.redis.cnredis是单线程的：redis是基于内存操作，CPU不是redis的性能瓶颈redis的瓶颈是根据机器的内存和网络带宽。QPS每秒查询率(Query Per Second) TPS吞吐量redis单线程为什么还很快？误区：1、高性能的服务器一定是多线程的2、多线程（CPU上下文切换）一定比单线程效率高3、CPU>内存>磁盘核心：redis是将所有数据放在内存中的，所以使用单线程效率是最高的多线程上下文切换耗时长，对于内存来说，多次读写都是在一个CPU上的。
6、redis的5大数据类型和3种特殊数据类型
字符串：string计数器、粉丝数、对象缓存存储列表：list集合：sets散列：hashes有序集合：sorted sets地理空间：geospatial超日志:hyperloglog位图:bitmaps官方介绍：Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, and message broker. Redis provides data structures such as strings, hashes, lists, sets, sorted sets with range queries, bitmaps, hyperloglogs, geospatial indexes, and streams. Redis has built-in replication, Lua scripting, LRU eviction, transactions, and different levels of on-disk persistence, and provides high availability via Redis Sentinel and automatic partitioning with Redis ClusterRedis是一种开放源代码（BSD许可）的内存中数据结构存储，用作数据库，缓存和消息代理。Redis提供数据结构，例如字符串，哈希，列表，集合，带范围查询的排序集合，位图，超日志，地理空间索引和流。Redis具有内置的复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel和Redis Cluster自动分区提供了高可用性。6.1、string设计的命令
1setex key seconds value设置过期时间setnx key value 不存在设置，分布式锁中会经常用到msetkeyvaluekey valuemgetkeykeymsetnxkey1valuekey4value 验证了原子性6.2、list设计的命令
栈、队列lpushkeyvalue rpushkeyvalue lrange keystartstoplpop key rpop keylindex key indexllenkey 列表长度lrem key count value 移除################################################ltrim key start stop截取指定长度...................6.3、set设计的命令
########################################sadd keymember 添加smemberskey 查看sismember key member 判断集合里的成员是否存在#########################################scardkey 查看成员个数srem key member移除set集合指定成员srandmemberkey 随机抽取spop key随机移除成员##########################################smovesourcedestinationmember将指定的成员从一个集合移动到另一个集合sdiff key1key2 差集sinter key1 key2 交集sunion key1 key2 并集##########################################6.4、hash设计的命令
Map集合，key-maphset key field value hget keyfield hmset keyfield1value1field2value2hmget keyfield1field2hgetallkey hdelkeyfield#################################hlen key hkeys key获取fieldhvals key获取valuehash 适合存储对象，尤其是用户信息，经常变动的信息6.5、zset设计的命令
薪水举例zadd salary 1 longzadd salary 2 wangzadd salary 3 jinzrangebyscore salary -inf +infzrangebyscore salary -inf +inf withscoreszrangebyscore salary -inf 2 withscoreszrem salary longzcard salary案例：工资表排序、排行榜应用等6.6、geospatial设计的命令
附近的人、打车的距离、定位geoadd china:city 116.40 39.90 beijinggeoadd china:city 121.47 31.23 shanghaigeopos china:city beijing获取经纬度geodist china:city beijing shanghai km获取北京和上海之间的距离########################################附近的人GEORADIUS china:city 116 39 1100 km 以北京的经纬度为中心，以1100为半径开始搜索georadiusbymember china:city beijing 1100 kmGEOHASH china:city beijing将二维的经纬度转换为一堆字符串zrange china:citybeijingzrange china:city0 -16.7、hyperloglog设计的命令
超日志 做基数统计的算法网页的UV（一个人访问多次，也算一次）优点:占用内存固定，2^64不同元素的技术，只需要12kb内存6.8、bitmaps设计的命令
位存储统计疫情感染人数0 0 0 0 0 0 0 0 ........ 代表中国所有人数1 1 1 1 1 1 1 1 ........ 代表感染人数就可以统计差值###########################################统计登录、活跃与不活跃、打卡操作二进制位进行记录，就0和1两个状态 012 34代表周一到周五 0 代表没打卡 1 代表打卡 统计打卡天数： bitcount sign使用数据结构来解决问题，更科学
7、redis基本的事务操作
redis事务本质：一组命令的集合，在事务执行过程中，按顺序执行一次性顺序性排他性redis单条命令保证原子性，但是事务不保证原子性，事务没有隔离级别的概念############################################- 开启事务MULTI - 命令入队- 执行事务可以实现乐观锁事务执行完就结束，想用继续开启DISCARD 取消事务#############################################
8、redis乐观锁
乐观锁：认为不会出问题，不上锁悲观锁：认为随时有问题，啥时都上锁下面事务在未提交之前，无干预，没有其他线程修改money,所以可以执行成功测试多线程修改值，使用watch监视，可以当作redis的乐观锁在exec之前，另一个线程修改money，导致事务执行失败>执行失败怎么解决>>先取消执行失败的监视unwatch>>开启监视watch money >>开启事务 multi>>操作>>执行>>在看结果
9、redis配置文件详解
快照：持久化用到，在规定时间内，执行多少次操作，则会持久化.rdb/.aofbind 127.0.0.1#网络配置protected-mode yes #保护模式port 6379 #端口设置daemonize yes#守护进程开启如果900S内，有1个Key进行了改变，就进行持久化操作save 900 1save 300 10save 60 10000##########################stop-writes-on-bgsave-error yes#持久化如果出错，是否继续进行rdbcompression yes#是否压缩rdb文件，需要消耗一定的CPU资源rdbchecksum yes#保存rdb文件的时候，是否进行错误校验dir ./ #rdb文件保存的目录dbfilename dump.rdb#rdb备份的文件名maxclients 10000 #最大客户端连接maxmemory <bytes> #最大内存maxmemory-policy noeviction #内存达到上限如何处理Redis提供了「6种的淘汰策略」，其中默认的是noeviction，这6种淘汰策略如下：1.noeviction(「默认策略」)：若是内存的大小达到阀值的时候，所有申请内存的指令都会报错。2.allkeys-lru：所有key都是使用「LRU算法」进行淘汰。3.volatile-lru：所有「设置了过期时间的key使用LRU算法」进行淘汰。4.allkeys-random：所有的key使用「随机淘汰」的方式进行淘汰。5.volatile-random：所有「设置了过期时间的key使用随机淘汰」的方式进行淘汰。6.volatile-ttl：所有设置了过期时间的key「根据过期时间进行淘汰，越早过期就越快被淘汰」。########################################appendonly no#默认不开启aof模式，默认使用rdb方式持久化，在大部分情况下，rdb就够用。appendfilename "appendonly.aof" #持久化文件的名字# appendfsync always# 每次修改都会SYNC，消耗性能appendfsync everysec# 每秒执行一次sync，可能会丢失这1s的数据# appendfsync no #不执行sync,速度最快
10、redis持久化
RDB在指定时间内将内存中的数据写入磁盘，也就是snapshot,恢复时就是将快照文件直接读到内存里，redis会单独创建fork一个子进程进行持久化，先将数据写入到一个临时文件中，待持久化过程结束了，在用这个临时文件替换上次持久化好的文件，整个过程中，主进程是不进行任何IO操作的，确保了性能，如果对于大规模数据恢复，且对数据完整性不敏感，rdb比aof高效，缺点是最后一次持久化的数据可能丢失###############################################触发机制：- save的规则满足情况下，会自动触发RDB规则- 执行Fushall命令，也会触发rdb规则- 退出redis，也会触发生成rdb文件如何恢复rdb文件- 只需要将rdb文件放在redis启动的目录下，redis启动就会自动检查dump.rdb- 查看rdb存在的目录 127.0.0.1:6379> CONFIG GEt dir优点：- 适合大规模的数据恢复- 对数据的完整性要求不高缺点：- 需要一定的时间间隔- fork进程时候，会占用一定的内存空间AOF将执行的所有命令都记录下来，以日志的形式记录每个写操作，将redis执行过的所有指令记录下来（读操作不记录）只允许追加文件，不可以改写文件，redis启动会读取该文件重新构建数据，或者说，redis重启之后根据日志文件的内容将写指令从前到后一次性完成数据的恢复。重写机制：no-appendfsync-on-rewrite noauto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb#######################################################如果AOF文件被恶意修改，导致启动redis失败，需要修复AOF文件，用redis-check-aof工具来修复- redis-check-aof--fixappendonly.aof优点：- 文件完整性好缺点：- 修复速度慢- IO操作，效率低
11、redis订阅发布
- 消息发送者-PUBLISH longbeijing- 频道- long- 消息订阅者- SUBSCRIBE long#############################################使用场景- 实时消息系统- 实时聊天- 复杂场景用消息中间件（kfaka等）概念理解：订阅者相当于加到这个频道的一个列表里，发送者相当于加到一个整体的字典里，字典里会有很多不同的频道
12、Redis主从复制搭建
最低配置：一主二从数据复制是单向的，只能从主节点到从节点- 数据冗余- 故障恢复- 负载均衡- 高可用单台redis最大使用内存不应该超过20G只配置从库查看信息:info replication一主（6379）二从(6380、6381)配置二从（6380）- slaveof 127.0.0.1 6379- info replication配置二从（6381）- - 修改端口- 修改pid名字- Log文件名字- dump.rdb启动3个redis-server# ps -ef | grep redisroot 15374 10 07:47 ? 00:01:02 redis-server 127.0.0.1:6379root 15715156970 17:05 pts/1 00:00:00 redis-cli -p 6379root 15797 10 19:30 ? 00:00:00 redis-server 127.0.0.1:6380root 15807 10 19:31 ? 00:00:00 redis-server 127.0.0.1:6381root 15816154510 19:32 pts/2 00:00:00 grep --color=auto redis修改配置文件来配置主从用命令来配置主从主机可以写，从机不能写，只能读，主机中的所有信息和数据，都会自动被从机保存主机断开连接，从机依旧是连接主机的，但是没有写操作，主机回来从机依旧可以获取主机信息。如果使用命令行配置的主从，重启后就会变成主机，只要变成从机，数据就会立马从主机获取回来复制原理：slave启动成功后，向主发送一个SYNC同步命令，Master接受到命令，启动后台的存盘进程，同时收集所有接受到的用于修改数据集命令，在后台进程执行完毕后，Master将传送整个数据文件到Slave，并完成一次同步。全量复制：增量复制：主+从+从如果主机断开连接，在其他两从任意一个上使用slaveofnoone可以使其变主，则另一个节点可以手动连接到这个主节点，如果主节点恢复，得重新连接，一般企业不会用，企业会用哨兵模式。
13、redis哨兵模式
redis2.8开始正式引入哨兵模式哨兵模式能监控主机是否故障，如果故障根据投票自动将从库转为主库哨兵是一个独立得进程，独立运行，哨兵通过发送命令等待redis服务器响应从而监控多个运行得redis实列三哨兵+一主+两从1、具体配置哨兵文件vim sentinel.conf sentinel monitor 自定义监控名称 host port rum # # rum代表主机挂了会进行投票2、启动哨兵 /usr/local/bin/redis-sentinel redis_config/sentinel.conf测试主机挂掉，这个时候会从从机中选择一个服务器（投票算法）具体多长时间新主机会上线？如果主机回来，只能充当从机优点：- 哨兵基于主从复制- 主从可以切换，实现故障转移，系统可用性会好- 主从模式的升级，自动性缺点：- 配置麻烦- 集群容量达到上线，不好扩容哨兵模式的全部配置 - 端口配置26379#如果哨兵集群，要配置多个端口 - 哨兵的工作目录 - sentinelauth-pass <master-name><password> - sentineldown-after-milliseconds <master-name><milliseconds> #指定多少秒之后，主节点没有应答，确定主机下线，默认30s - sentinelparallel-syncs <master-name><numslaves> - sentinel failover-timeout <master-name> <milliseconds> # 故障转移时间默认3分钟 - sentinel notification-script <master-name> <script_path>#故障通知脚本 - sentinel client-reconfig-script<master-name> <script_path>#客户端重新配置主节点的参数脚本，就是主节点发生变化，会通知新的主节点# 消息队列怎么用# redis缓存的设计# 架构分析# ELK
14、redis缓存穿透和雪崩
############################################################缓存穿透：（查不到）用户查询数据,redis缓存里没有，于是向持久层数据库查询，数据库也没有于是查询失败，当用户非常多时，比如秒杀活动，一旦缓存中没有，就会对数据库造成非常大的压力，造成缓存穿透。############################################################解决方案：1、布隆过滤器 布隆过滤器是一种数据结构，对所有可能查询的参数以hash形式存储， 在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查 询压力2、缓存空对象 当存储层不命中时，即使返回空对象也将其缓存起来，同时会设置一个 过期时间，之后在访问这个数据会从缓存中获取，保护了后端数据。缓存空对象存在的问题： - 如果空值被缓存起来，意味着缓存需要更多的空间 - 即使对缓存设置了过期时间，缓存层和存储层会有一段时间不一致 对一些业务一致性任务不合适 ############################################################缓存击穿：（量太大，缓存过期）指一个Key非常热点，不停抗着大并发，集中对一点进行访问，当Key在失效的瞬间，直接请求数据库，造成击穿。############################################################解决方案：1、设置热点数据不过期2、加分布式锁，保证每个key同时只有一个线程去查询后端服务，其他线程 没有权限，需要等待，转移了压力############################################################缓存雪崩：在指某一个时间段，缓存集中过期失效，redis集群宕机（停电、断网），所以热点数据肯定放在缓存中，所以要解决实际问题就是高可用（双11会停掉一些服务为了保证高可用，比如说退款）############################################################解决方案：1、redis高可用，集群，异地多活2、限流降级，通过加锁或者队列来控制读数据库写缓存的线程数量3、数据预热，对可能的数据预先访问，对不同热数据进行设置不同的过期时间
https://blog.51cto.com/dbwjl/4546776
页:
[1]