NoSQL概述

NoSQL是not only SQL非关系型数据库的简称。

web1.0采用关系型数据库，web2.0主打交互型，关系型数据库已经不满足下列需求：

• high performance 高并发读写
• huge storage 海量数据的高效率存储和访问
• high scalability && high availability 高可用扩展性和高可用性

因此非关系型数据库应运而生，主流的NoSQL产品包括redis mongoDB couchDB等，大致可分为四大类：

• 键值存储（如：redis）：快速查询、存储数据缺少结构化
• 列存储：快速查询，可扩展性强；功能相对局限
• 文档数据库（如：mongoDB）：数据结构不需要很严格；查询性不是很高，缺乏统一的查询的语法
• 图形数据库：图结构相关算法；不容易做分布式的集群方案

NoSQL的特点是：易扩展、灵活的数据模型、大数据量、高性能、高可用

Redis的概述

Redis是c语言开发的、开源的、高性能的、键值对的NoSQL型数据库，其支持的类型包括：字符串类型、列表类型、有序集合类型、集合类型、散类类型。

官方给出的Redis性能数据：写QPS：8w;读QPS:11w

Redis常用于下列应用场景：缓存、任务队列（秒杀、抢购）、网站访问统计、应用排行榜、数据过期处理、分布数集群架构中的session管理。

Redis的数据类型

字符串String

1. 二进制安全的，也就是说存入和获取到的数据是相同
2. value长度的最大是512M

常用命令：

• 赋值： set/getset
• 取值：get
• 删除：del
• 扩展命令： append(追加字符串)
• 数值增减： incr/decr/incrby/decrby

哈希hash

1. String key和Stirng value的map容器
2. 每一个Hash可以存储4294967295个键值对

常用命令：

• 赋值： hset /hmset
• 取值：hget/hmget/hgetall
• 删除：hdel/del
• 扩展命令：hexist(判断是否存在字段值)/hlen(获取所有字段的个数)/hkeys（获取所有字段的名称）/hvals（获取所有字段的值）
• 增加数字：hincrby/

字符串列表list

常用与组件间消息的交互

1. ArrayList使用数组方式：根据索引查询速度快，但是增删操作慢
2. LinkedList使用双向链接的方式：增删操作速度快，但是查询较慢

常用命令：

• 两端添加：lpush（左侧插入）/rpush(右侧插入)-->>生产者
• 两端弹出：lpop（左端弹出）/rpop（右端弹出）-->>弹出后就没有该元素，类似于删除。-->>消费者
• 查看列表：lrange
• 获取列表元素的个数：llen（查看列表元素个数）
• 扩展命令：lpushx（仅当列表名存在时，才会在列表头部执行插入操作）/rpushx（仅当列表名存在时，才会在列表尾部执行插入操作）/lrem {listname} {n} {value}（从头开始删除n个值为value的操作）/lrem {listname} -{n} {value}（从后往前开始删除n个值为value的操作）/lrem {listname} 0 {value}（删除listname中所有值为value的操作）/lset （修改某个角标值）/linset {listname} before(after) {value} {value1}（在第一个值为value的角标前(后)，增加一个value1）/rpoplpush {list} {list2}(将链表list1中尾部的值弹出并添加到list2的头部：使用场景：当消费者从list1中pop出数据消费时，有可能处理失败，导致数据丢失，为了避免这个问题，当消费者取出数据后，将该数据缓存到另一个列表中，待消费者确认完成数据处理后才删除；也可以做多个列表，成功的存储一个、失败的存储一个，用于做日志追踪等后续操作)

字符串集合set

1. 不允许出现重复的元素（区别于list）
2. 最大元素数是4294967295

常用命令：

• 添加/删除元素：sadd/srem/
• 获取集合中的元素：smenbers/sismember（判断元素是否存在）
• 集合中的差集运算：sdiff {name1} {names}(求name1中有，但是name2没有的所有值)
• 集合中的交集运算：sinter
• 集合中的并集运算：sunion
• 扩展命令：scard（求集合中元素的个数）/srandmember（随机返回集合中的一个值）/sdiffstore {name1} {name2} {name3}（把name2和name3中的差集存入到name1）/sinterstore {name1} {name2} {name3}（把name2和name3中的交集存入到name1）/sunionstore {name1} {name2} {name3}（把name2和name3中的并集存入到name1）

使用场景：

• 跟踪一些唯一性的数据
• 用于维护数据对象之间的关联数据

有序字符串集合sorted set

1. sorted set和set的区别：sorted set的成员都有一个权值，redis根据这个权值进行排序
2. sorted set中的成员在集合中的位置都是有序的，能高效访问

使用场景：

• 微博热点
• 游戏积分排行榜
• 构建索引数据

常用命令：

• 添加元素：zadd
• 获得元素：zscore（查询元素对应的权值）/zcard（查询表中元素的个数）
• 删除元素：zrem
• 范围查询：zrange {name1} 0 -1 [withscores]（获取所有元素，并按权值从低到高返回，如果加了withscores，则返回的值包括权值）/zrevrange {name1} 0 -1 [withscores]（获取所有元素，并按权值从高到低返回，如果加了withscores，则返回的值包括权值）/zremrangebyrank {name1} 0 4（按照范围删除元素）/aremrangebyscore {name1} {score1} {score2}（按照权值范围删除元素}
• 扩展命令：zrangebyscore {name1} {score1} {score2} [withscores] [limit {limit0} {limit1}]（查询权值范围内的所有元素，并按升序排列输出，如果加了withscores，则返回的值包括权值，如果加了limit，则只返回前limit2个数的元素）/zincrby {name1} {value} {score}（为指定value元素的权值加上score）/zcount（查询权值范围内的个数）

keys的通用操作

key的定义：

• 不要太长（最好不要超过1024个Byte，消耗内存，降低查找效率）
• 不要太短，提高可读性
• 统一的命名规范

常用命令：

• 获取所有keys：keys */ keys {name?}
• 查询某个key是否存在：exists （存在返回1，否则返回0）
• 重命名：rename
• 设置过期时间：expire （时间单位是秒）/ttl（查看剩余过期时间，如果没设置，则返回-1）
• 获取指定key的类型：type

Redis的特性

多数据库

• 一个redis实例可以包含多个数据库，最多可以有16个数据库，默认链接第0个数据库，通过select {sq}选择对应的数据库
• move {key1} {sq1}：将当前数据库下的{key}移到{sq1}数据库下

redis事务

• multi（开启事务）
• exec（事务提交）
• discard（事务回滚）

Redis的持久化

RDB方式

Redis默认支持的持久化方式，是在指定的时间间隔内将内存中的数据和快照持久化硬盘

优势：

• 整个redis数据库将只包含一个文件，方便文件备份，便于灾备
• 性能最大化，异步持久化，避免主线程处理I/0操作

劣势：

• 可能出现时间间隔内的数据丢失
• 由于是由子进程完成I/O操作，当数据集比较大时，可能导致整个redis服务卡顿

配置：

#10个key更新了，5分钟保存一次，10000个key更新了，每1分钟保存一次。主动调用SAVE()会阻塞所有客户端！一般是BGSAVE异步的。

#save 900 1

#save 300 10

#save 60 10000

AOF方式

该方式以日志的形式记录redis的每一个操作，redis重启时，会读取该日志文件，并重新构建数据库

优势：

• 更高的数据安全性，每秒同步（异步完成）、每修改同步（同步完成、效率较低）和不同步
• 日志采用append方式，避免对原日志的影响
• 如果日志过大，可以启动重写机制
• 日志格式清晰，方便阅读，友好性较高

劣势：

• 同步相同量的数据，AOF的数据量比RDB大
• AOF运行效率低于RDB

配置：

# 默认redis异步的dump数据到disk。但如果断电了，那么就会丢失一部分数据了（根据save的配置）。

# AOF提供更好模式。比如用默认的AOF，redis只丢失最近一秒的数据（断电情况），或者最后一个write操作（redis自身错误，os正常）。每个write操作写一次AOF。

# 当AOF文件太大了，redis会自动重写一个aof文件出来。

# AOF和RDB持久化可以同时启用。redis会优先读AOF恢复数据。

# Please check http://redis.io/topics/persistence for more information

appendonly yes

# 默认文件名

appendfilename "appendonly.aof"

# fsync()三种：

# no：让OS托管，这样更快。

# always：每次write都刷到log，慢，最安全。

# everysec：每秒一次flush。（默认）

appendfsync always

RDB方式 + AOF方式

AOF和RDB持久化可以同时启用。Redis会优先读AOF恢复数据。