百度360必应搜狗淘宝本站头条
mysql distinctjenkins官网mysql 子查询vba splitpython list sort
当前位置：网站首页 > IT技术 > 正文

Spring Boot实战分页查询附近的人:Redis+GeoHash+Lua

wptr33 2025-01-31 15:37 22 浏览


前言

最近在做社交的业务，用户进入首页后需要查询附近的人；

项目状况：前期尝试业务阶段；

特点：

快速实现（不需要做太重，满足初期推广运营即可）

快速投入市场去运营

收集用户的经纬度：

用户在每次启动时将当前的地理位置（经度，维度）上报给后台

提到附近的人，脑海中首先浮现特点：

需要记录每位用户的经纬度

查询当前用户附近的人，搜索在N公里内用户

架构设计

  • 时序图


  • 技术实现方案

SpringBoot

Redis(version>=3.2)

Redis原生命令实现

  • 存入用户的经纬度

1.geoadd 用于存储指定的地理空间位置，可以将一个或多个经度(longitude)、纬度(latitude)、位置名称(member)添加到指定的 key 中

2.命令格式: 

GEOADD?key?longitude?latitude?member?[longitude?latitude?member?...]

3.模拟五个用户存入经纬度，redis客户端执行如下命令：

GEOADD?zhgeo?116.48105?39.996794?zhangsan
GEOADD?zhgeo?116.514203?39.905409?lisi
GEOADD?zhgeo?116.489033?40.007669?wangwu
GEOADD?zhgeo?116.562108?39.787602?sunliu
GEOADD?zhgeo?116.334255?40.027400?zhaoqi

4.通过redis客户端查看效果：


  • 查找距当前用户由近到远附近100km用户

1.georadiusbymember可以找出位于指定范围内的元素，georadiusbymember 的中心点是由给定的位置元素决定的

2.命令格式: 

GEORADIUSBYMEMBER?key?member?radius?m|km|ft|mi?[WITHCOORD]?[WITHDIST]?[WITHHASH]?[COUNT?count]?[ASC|DESC]?[STORE?key]?[STOREDIST?key]

3.模拟查找100km里距离sunliu由近到远五个人

 georadiusbymember?zhgeo?sunliu?100?km?asc?count?5

4.命令执行效果如下：


  • 如何实现分页查询那？

1.每次分页查询的请求都计算一次然后拿到程序中在取相应的分页数据，优缺点：

（1）优点：实现简单，无需额外的存储空间

（2）缺点：当用户量大时，很显然不仅效率低，而且容易把程序的内存搞溢出

2.经过查找发现redis的github官网给出了分页Issues(参考:Will the GEORADIUS support pagination?)，解决方案如下：

（1）利用GEORADIUSBYMEMBER 命令中的 STOREDIST 将排好序的数据存入一个Zset集合中，以后分页查直接从Zset

（2）命令如下： 

georadiusbymember?zhgeo?sunliu?100?km?asc?count?5?storedist?sunliu

（3）有序集合效果如下:

（4）以后分页查询命令: 

//首先删除本身元素
zrem?sunliu?sunliu
//分页查找元素（在此以:查找第1页，每页数量是3为例）
zrange?sunliu?0?2?withscores

（5）效果如下：

代码实现

  • 完整代码（GitHub，欢迎大家Star,Fork,Watch) https://github.com/dangnianchuntian/springboot
  • 主要代码展示
  • Controller
??/*
???*?Copyright?(c)?2020.?zhanghan_java@163.com?All?Rights?Reserved.
???*?项目名称：Spring?Boot实战分页查询附近的人:?Redis+GeoHash+Lua
???*?类名称：GeoController.java
???*?创建人：张晗
???*?联系方式：zhanghan_java@163.com
???*?开源地址:?https://github.com/dangnianchuntian/springboot
???*?博客地址:?https://zhanghan.blog.csdn.net
???*/

??package?com.zhanghan.zhnearbypeople.controller;

??import?org.springframework.beans.factory.annotation.Autowired;
??import?org.springframework.validation.annotation.Validated;
??import?org.springframework.web.bind.annotation.RequestBody;
??import?org.springframework.web.bind.annotation.RequestMapping;
??import?org.springframework.web.bind.annotation.RequestMethod;
??import?org.springframework.web.bind.annotation.RestController;

??import?com.zhanghan.zhnearbypeople.controller.request.ListNearByPeopleRequest;
??import?com.zhanghan.zhnearbypeople.controller.request.PostGeoRequest;
??import?com.zhanghan.zhnearbypeople.service.GeoService;

??@RestController
??public?class?GeoController?{

??????@Autowired
??????private?GeoService?geoService;

??????/**
???????*?记录用户地理位置
???????*/
??????@RequestMapping(value?=?"/post/geo",?method?=?RequestMethod.POST)
??????public?Object?postGeo(@RequestBody?@Validated?PostGeoRequest?postGeoRequest)?{
??????????return?geoService.postGeo(postGeoRequest);
??????}

??????/**
???????*?分页查询当前用户附近的人
???????*/
??????@RequestMapping(value?=?"/list/nearby/people",?method?=?RequestMethod.POST)
??????public?Object?listNearByPeople(@RequestBody?@Validated?ListNearByPeopleRequest?listNearByPeopleRequest)?{
??????????return?geoService.listNearByPeople(listNearByPeopleRequest);
??????}

??}
  • service
??/*
???*?Copyright?(c)?2020.?zhanghan_java@163.com?All?Rights?Reserved.
???*?项目名称：Spring?Boot实战分页查询附近的人:?Redis+GeoHash+Lua
???*?类名称：GeoServiceImpl.java
???*?创建人：张晗
???*?联系方式：zhanghan_java@163.com
???*?开源地址:?https://github.com/dangnianchuntian/springboot
???*?博客地址:?https://zhanghan.blog.csdn.net
???*/

??package?com.zhanghan.zhnearbypeople.service.impl;

??import?java.util.ArrayList;
??import?java.util.List;
??import?java.util.Set;

??import?org.slf4j.Logger;
??import?org.slf4j.LoggerFactory;
??import?org.springframework.beans.factory.annotation.Autowired;
??import?org.springframework.beans.factory.annotation.Value;
??import?org.springframework.data.geo.Point;
??import?org.springframework.data.redis.connection.RedisGeoCommands;
??import?org.springframework.data.redis.core.RedisTemplate;
??import?org.springframework.data.redis.core.ZSetOperations;
??import?org.springframework.stereotype.Service;

??import?com.zhanghan.zhnearbypeople.controller.request.ListNearByPeopleRequest;
??import?com.zhanghan.zhnearbypeople.controller.request.PostGeoRequest;
??import?com.zhanghan.zhnearbypeople.dto.NearByPeopleDto;
??import?com.zhanghan.zhnearbypeople.service.GeoService;
??import?com.zhanghan.zhnearbypeople.util.RedisLuaUtil;
??import?com.zhanghan.zhnearbypeople.util.wrapper.WrapMapper;

??@Service
??public?class?GeoServiceImpl?implements?GeoService?{

??????private?static?Logger?logger?=?LoggerFactory.getLogger(GeoServiceImpl.class);

??????@Autowired
??????private?RedisTemplate?objRedisTemplate;

??????@Value("${zh.geo.redis.key:zhgeo}")
??????private?String?zhGeoRedisKey;

??????@Value("${zh.geo.zset.redis.key:zhgeozset:}")
??????private?String?zhGeoZsetRedisKey;

??????/**
???????*?记录用户访问记录
???????*/
??????@Override
??????public?Object?postGeo(PostGeoRequest?postGeoRequest)?{

??????????//对应redis原生命令:GEOADD?zhgeo?116.48105?39.996794?zhangsan
??????????Long?flag?=?objRedisTemplate.opsForGeo().add(zhGeoRedisKey,?new?RedisGeoCommands.GeoLocation<>(postGeoRequest
??????????????????.getCustomerId(),?new?Point(postGeoRequest.getLatitude(),?postGeoRequest.getLongitude())));

??????????if?(null?!=?flag?&&?flag?>?0)?{
??????????????return?WrapMapper.ok();
??????????}

??????????return?WrapMapper.error();
??????}

??????/**
???????*?分页查询附近的人
???????*/
??????@Override
??????public?Object?listNearByPeople(ListNearByPeopleRequest?listNearByPeopleRequest)?{

??????????String?customerId?=?listNearByPeopleRequest.getCustomerId();

??????????String?strZsetUserKey?=?zhGeoZsetRedisKey?+?customerId;

??????????List?nearByPeopleDtoList?=?new?ArrayList<>();

??????????//如果是从第1页开始查,则将附近的人写入zset集合，以后页直接从zset中查
??????????if?(1?==?listNearByPeopleRequest.getPageIndex())?{
??????????????List?scriptParams?=?new?ArrayList<>();
??????????????scriptParams.add(zhGeoRedisKey);
??????????????scriptParams.add(customerId);
??????????????scriptParams.add("100");
??????????????scriptParams.add(RedisGeoCommands.DistanceUnit.KILOMETERS.getAbbreviation());
??????????????scriptParams.add("asc");
??????????????scriptParams.add("storedist");
??????????????scriptParams.add(strZsetUserKey);

??????????????//用Lua脚本实现georadiusbymember中的storedist参数
??????????????//对应Redis原生命令:georadiusbymember?zhgeo?sunliu?100?km?asc?count?5?storedist?sunliu
??????????????Long?executeResult?=?objRedisTemplate.execute(RedisLuaUtil.GEO_RADIUS_STOREDIST_SCRIPT(),?scriptParams);

??????????????if?(null?==?executeResult?||?executeResult??listNearByPeopleFromZset(String?strZsetUserKey,?Integer?pageIndex,?Integer?pageSize)?{

??????????Integer?startPage?=?(pageIndex?-?1)?*?pageSize;
??????????Integer?endPage?=?pageIndex?*?pageSize?-?1;
??????????List?nearByPeopleDtoList?=?new?ArrayList<>();
??????????//对应Redis原生命令:zrange?key?0?2?withscores
??????????Set>?zsetUsers?=?objRedisTemplate.opsForZSet()
??????????????????.rangeWithScores(strZsetUserKey,?startPage,
??????????????????????????endPage);

??????????for?(ZSetOperations.TypedTuple?zsetUser?:?zsetUsers)?{
??????????????NearByPeopleDto?nearByPeopleDto?=?new?NearByPeopleDto();
??????????????nearByPeopleDto.setCustomerId(zsetUser.getValue().toString());
??????????????nearByPeopleDto.setDistance(zsetUser.getScore());
??????????????nearByPeopleDtoList.add(nearByPeopleDto);
??????????}

??????????return?nearByPeopleDtoList;
??????}
??}
  • RedisLuaUtil
??/*
???*?Copyright?(c)?2020.?zhanghan_java@163.com?All?Rights?Reserved.
???*?项目名称：Spring?Boot实战分页查询附近的人:?Redis+GeoHash+Lua
???*?类名称：RedisLuaUtil.java
???*?创建人：张晗
???*?联系方式：zhanghan_java@163.com
???*?开源地址:?https://github.com/dangnianchuntian/springboot
???*?博客地址:?https://zhanghan.blog.csdn.net
???*/

??package?com.zhanghan.zhnearbypeople.util;


??import?org.springframework.data.redis.core.script.DigestUtils;
??import?org.springframework.data.redis.core.script.RedisScript;

??public?class?RedisLuaUtil?{

??????private?static?final?RedisScript?GEO_RADIUS_STOREDIST_SCRIPT;

??????public?static?RedisScript?GEO_RADIUS_STOREDIST_SCRIPT()?{
??????????return?GEO_RADIUS_STOREDIST_SCRIPT;
??????}

??????static?{
??????????StringBuilder?sb?=?new?StringBuilder();
??????????sb.append("return?redis.call('georadiusbymember',KEYS[1],KEYS[2],KEYS[3],KEYS[4],KEYS[5],KEYS[6],KEYS[7])");
??????????GEO_RADIUS_STOREDIST_SCRIPT?=?new?RedisScriptImpl<>(sb.toString(),?Long.class);
??????}

??????private?static?class?RedisScriptImpl?implements?RedisScript?{
??????????private?final?String?script;
??????????private?final?String?sha1;
??????????private?final?Class?resultType;

??????????public?RedisScriptImpl(String?script,?Class?resultType)?{
??????????????this.script?=?script;
??????????????this.sha1?=?DigestUtils.sha1DigestAsHex(script);
??????????????this.resultType?=?resultType;
??????????}

??????????@Override
??????????public?String?getSha1()?{
??????????????return?sha1;
??????????}

??????????@Override
??????????public?Class?getResultType()?{
??????????????return?resultType;
??????????}

??????????@Override
??????????public?String?getScriptAsString()?{
??????????????return?script;
??????????}
??????}
??}
测试
  • 模拟用户上传地理位置进行存储
 1.进行请求
 2.查看效果
 3.模拟用户sunliu查找附近100km的人，按3条一分页进行查询 进行请求
总结
  • 亮点：
 1.分页实现思路：将geo集合中的数据按距离由近到远筛选好后，通过storedist放入一个新的Zset集合
 2.redisTemplate没有针对原生命令georadiusbymember的storedist参数实现，灵活运用Lua脚本去实现
  • geo集合在亿级别以内的数据量没有问题，当超过亿后需要根据产品需要对Redis中的大值进行拆分，比如按照地域进行拆分等
  • 有了地理位置，自己正在研究如何通过经纬度绘制出自己的运动路线，验证出来后与大家共享




        
    
        

            

    






    



            
            
相关推荐

            

                                                

                                                            
redis的八种使用场景

                    

                        
前言:redis是我们工作开发中，经常要打交道的，下面对redis的使用场景做总结介绍也是对redis举报的功能做梳理。缓存Redis最常见的用途是作为缓存，用于加速应用程序的响应速度。...

                    

                                                        

                                

                                                            
基于Redis的3种分布式ID生成策略

                    

                        
在分布式系统设计中，全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进，传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。R...

                    

                                                        

                                

                                                            
基于OpenWrt系统路由器的模式切换与网页设计

                    

                        
摘要：目前商用WiFi路由器已应用到多个领域，商家通过给用户提供一个稳定免费WiFi热点达到吸引客户、提升服务的目标。传统路由器自带的Luci界面提供了工厂模式的Web界面，用户可通过该界面配置路...

                    

                                                        

                                

                                                            
这篇文章教你看明白 nginx-ingress 控制器

                    

                        
主机nginx一般nginx做主机反向代理（网关）有以下配置...

                    

                                                        

                                

                                                            
如何用redis实现注册中心

                    

                        
一句话总结使用Redis实现注册中心：服务注册...

                    

                                                        

                                

                                                            
爱可可老师24小时热门分享(2020.5.10)

                    

                        
No1.看自己以前写的代码是种什么体验？No2.DooM-chip!国外网友SylvainLefebvre自制的无CPU、无操作码、无指令计数器...No3.我认为CS学位可以更好，如...

                    

                                                        

                                

                                                            
Apportable:拯救程序员，IOS一秒变安卓

                    

                        
摘要：还在为了跨平台使用cocos2d-x吗,拯救objc程序员的奇葩来了,ApportableSDK:FreeAndroidsupportforcocos2d-iPhone。App...

                    

                                                        

                                

                                                            
JAVA实现超买超卖方案汇总，那个最适合你，一篇文章彻底讲透

                    

                        
以下是几种Java实现超买超卖问题的核心解决方案及代码示例，针对高并发场景下的库存扣减问题：方案一：Redis原子操作+Lua脚本（推荐）//使用Redis+Lua保证原子性publicbo...

                    

                                                        

                                

                                                            
3月26日更新 快速施法自动施法可独立设置

                    

                        
2016年3月26日DOTA2有一个79.6MB的更新主要是针对自动施法和快速施法的调整本来内容不多不少朋友都有自动施法和快速施法的困扰英文更新日志一些视觉BUG修复就不翻译了主要翻译自动施...

                    

                                                        

                                

                                                            
Redis 是如何提供服务的

                    

                        
在刚刚接触Redis的时候，最想要知道的是一个’setnameJhon’命令到达Redis服务器的时候，它是如何返回’OK’的？里面命令处理的流程如何，具体细节怎么样？你一定有问过自己...

                    

                                                        

                                

                                                            
lua _G、_VERSION使用

                    

                        
到这里我们已经把lua基础库中的函数介绍完了，除了函数外基础库中还有两个常量，一个是_G，另一个是_VERSION。_G是基础库本身，指向自己，这个变量很有意思，可以无限引用自己，最后得到的还是自己，...

                    

                                                        

                                

                                                            
China&#39;s top diplomat to chair third China-Pacific Island countries foreign ministers&#39; meeting

                    

                        
BEIJING,May21(Xinhua)--ChineseForeignMinisterWangYi,alsoamemberofthePoliticalBureau...

                    

                                                        

                                

                                                            
移动工作交流工具Lua推出Insights数据分析产品

                    

                        
Lua是一个适用于各种职业人士的移动交流平台，它在今天推出了一项叫做Insights的全新功能。Insights是一个数据平台，客户可以在上面实时看到员工之间的交流情况，并分析这些情况对公司发展的影响...

                    

                                                        

                                

                                                            
Redis 7新武器:用Redis Stack实现向量搜索的极限压测

                    

                        
当传统关系型数据库还在为向量相似度搜索的性能挣扎时，Redis7的RedisStack...

                    

                                                        

                                

                                                            
Nginx/OpenResty详解，Nginx Lua编程，重定向与内部子请求

                    

                        
重定向与内部子请求Nginx的rewrite指令不仅可以在Nginx内部的server、location之间进行跳转，还可以进行外部链接的重定向。通过ngx_lua模块的Lua函数除了能实现Nginx...

                    

                                                        

                
            


            
        
        

                                    

                
一周热门

                

                    
                

            

                                    




最近发表












标签列表








                    

    







    

                赣ICP备2024040476号-12