百度360必应搜狗淘宝本站头条
mysql distinctjenkins官网mysql 子查询vba splitpython list sort
当前位置：网站首页 > IT技术 > 正文

Spring Boot实战分页查询附近的人:Redis+GeoHash+Lua

wptr33 2025-01-31 15:37 32 浏览


前言

最近在做社交的业务，用户进入首页后需要查询附近的人；

项目状况：前期尝试业务阶段；

特点：

快速实现（不需要做太重，满足初期推广运营即可）

快速投入市场去运营

收集用户的经纬度：

用户在每次启动时将当前的地理位置（经度，维度）上报给后台

提到附近的人，脑海中首先浮现特点：

需要记录每位用户的经纬度

查询当前用户附近的人，搜索在N公里内用户

架构设计

  • 时序图


  • 技术实现方案

SpringBoot

Redis(version>=3.2)

Redis原生命令实现

  • 存入用户的经纬度

1.geoadd 用于存储指定的地理空间位置，可以将一个或多个经度(longitude)、纬度(latitude)、位置名称(member)添加到指定的 key 中

2.命令格式: 

GEOADD?key?longitude?latitude?member?[longitude?latitude?member?...]

3.模拟五个用户存入经纬度，redis客户端执行如下命令：

GEOADD?zhgeo?116.48105?39.996794?zhangsan
GEOADD?zhgeo?116.514203?39.905409?lisi
GEOADD?zhgeo?116.489033?40.007669?wangwu
GEOADD?zhgeo?116.562108?39.787602?sunliu
GEOADD?zhgeo?116.334255?40.027400?zhaoqi

4.通过redis客户端查看效果：


  • 查找距当前用户由近到远附近100km用户

1.georadiusbymember可以找出位于指定范围内的元素，georadiusbymember 的中心点是由给定的位置元素决定的

2.命令格式: 

GEORADIUSBYMEMBER?key?member?radius?m|km|ft|mi?[WITHCOORD]?[WITHDIST]?[WITHHASH]?[COUNT?count]?[ASC|DESC]?[STORE?key]?[STOREDIST?key]

3.模拟查找100km里距离sunliu由近到远五个人

 georadiusbymember?zhgeo?sunliu?100?km?asc?count?5

4.命令执行效果如下：


  • 如何实现分页查询那？

1.每次分页查询的请求都计算一次然后拿到程序中在取相应的分页数据，优缺点：

（1）优点：实现简单，无需额外的存储空间

（2）缺点：当用户量大时，很显然不仅效率低，而且容易把程序的内存搞溢出

2.经过查找发现redis的github官网给出了分页Issues(参考:Will the GEORADIUS support pagination?)，解决方案如下：

（1）利用GEORADIUSBYMEMBER 命令中的 STOREDIST 将排好序的数据存入一个Zset集合中，以后分页查直接从Zset

（2）命令如下： 

georadiusbymember?zhgeo?sunliu?100?km?asc?count?5?storedist?sunliu

（3）有序集合效果如下:

（4）以后分页查询命令: 

//首先删除本身元素
zrem?sunliu?sunliu
//分页查找元素（在此以:查找第1页，每页数量是3为例）
zrange?sunliu?0?2?withscores

（5）效果如下：

代码实现

  • 完整代码（GitHub，欢迎大家Star,Fork,Watch) https://github.com/dangnianchuntian/springboot
  • 主要代码展示
  • Controller
??/*
???*?Copyright?(c)?2020.?zhanghan_java@163.com?All?Rights?Reserved.
???*?项目名称：Spring?Boot实战分页查询附近的人:?Redis+GeoHash+Lua
???*?类名称：GeoController.java
???*?创建人：张晗
???*?联系方式：zhanghan_java@163.com
???*?开源地址:?https://github.com/dangnianchuntian/springboot
???*?博客地址:?https://zhanghan.blog.csdn.net
???*/

??package?com.zhanghan.zhnearbypeople.controller;

??import?org.springframework.beans.factory.annotation.Autowired;
??import?org.springframework.validation.annotation.Validated;
??import?org.springframework.web.bind.annotation.RequestBody;
??import?org.springframework.web.bind.annotation.RequestMapping;
??import?org.springframework.web.bind.annotation.RequestMethod;
??import?org.springframework.web.bind.annotation.RestController;

??import?com.zhanghan.zhnearbypeople.controller.request.ListNearByPeopleRequest;
??import?com.zhanghan.zhnearbypeople.controller.request.PostGeoRequest;
??import?com.zhanghan.zhnearbypeople.service.GeoService;

??@RestController
??public?class?GeoController?{

??????@Autowired
??????private?GeoService?geoService;

??????/**
???????*?记录用户地理位置
???????*/
??????@RequestMapping(value?=?"/post/geo",?method?=?RequestMethod.POST)
??????public?Object?postGeo(@RequestBody?@Validated?PostGeoRequest?postGeoRequest)?{
??????????return?geoService.postGeo(postGeoRequest);
??????}

??????/**
???????*?分页查询当前用户附近的人
???????*/
??????@RequestMapping(value?=?"/list/nearby/people",?method?=?RequestMethod.POST)
??????public?Object?listNearByPeople(@RequestBody?@Validated?ListNearByPeopleRequest?listNearByPeopleRequest)?{
??????????return?geoService.listNearByPeople(listNearByPeopleRequest);
??????}

??}
  • service
??/*
???*?Copyright?(c)?2020.?zhanghan_java@163.com?All?Rights?Reserved.
???*?项目名称：Spring?Boot实战分页查询附近的人:?Redis+GeoHash+Lua
???*?类名称：GeoServiceImpl.java
???*?创建人：张晗
???*?联系方式：zhanghan_java@163.com
???*?开源地址:?https://github.com/dangnianchuntian/springboot
???*?博客地址:?https://zhanghan.blog.csdn.net
???*/

??package?com.zhanghan.zhnearbypeople.service.impl;

??import?java.util.ArrayList;
??import?java.util.List;
??import?java.util.Set;

??import?org.slf4j.Logger;
??import?org.slf4j.LoggerFactory;
??import?org.springframework.beans.factory.annotation.Autowired;
??import?org.springframework.beans.factory.annotation.Value;
??import?org.springframework.data.geo.Point;
??import?org.springframework.data.redis.connection.RedisGeoCommands;
??import?org.springframework.data.redis.core.RedisTemplate;
??import?org.springframework.data.redis.core.ZSetOperations;
??import?org.springframework.stereotype.Service;

??import?com.zhanghan.zhnearbypeople.controller.request.ListNearByPeopleRequest;
??import?com.zhanghan.zhnearbypeople.controller.request.PostGeoRequest;
??import?com.zhanghan.zhnearbypeople.dto.NearByPeopleDto;
??import?com.zhanghan.zhnearbypeople.service.GeoService;
??import?com.zhanghan.zhnearbypeople.util.RedisLuaUtil;
??import?com.zhanghan.zhnearbypeople.util.wrapper.WrapMapper;

??@Service
??public?class?GeoServiceImpl?implements?GeoService?{

??????private?static?Logger?logger?=?LoggerFactory.getLogger(GeoServiceImpl.class);

??????@Autowired
??????private?RedisTemplate?objRedisTemplate;

??????@Value("${zh.geo.redis.key:zhgeo}")
??????private?String?zhGeoRedisKey;

??????@Value("${zh.geo.zset.redis.key:zhgeozset:}")
??????private?String?zhGeoZsetRedisKey;

??????/**
???????*?记录用户访问记录
???????*/
??????@Override
??????public?Object?postGeo(PostGeoRequest?postGeoRequest)?{

??????????//对应redis原生命令:GEOADD?zhgeo?116.48105?39.996794?zhangsan
??????????Long?flag?=?objRedisTemplate.opsForGeo().add(zhGeoRedisKey,?new?RedisGeoCommands.GeoLocation<>(postGeoRequest
??????????????????.getCustomerId(),?new?Point(postGeoRequest.getLatitude(),?postGeoRequest.getLongitude())));

??????????if?(null?!=?flag?&&?flag?>?0)?{
??????????????return?WrapMapper.ok();
??????????}

??????????return?WrapMapper.error();
??????}

??????/**
???????*?分页查询附近的人
???????*/
??????@Override
??????public?Object?listNearByPeople(ListNearByPeopleRequest?listNearByPeopleRequest)?{

??????????String?customerId?=?listNearByPeopleRequest.getCustomerId();

??????????String?strZsetUserKey?=?zhGeoZsetRedisKey?+?customerId;

??????????List?nearByPeopleDtoList?=?new?ArrayList<>();

??????????//如果是从第1页开始查,则将附近的人写入zset集合，以后页直接从zset中查
??????????if?(1?==?listNearByPeopleRequest.getPageIndex())?{
??????????????List?scriptParams?=?new?ArrayList<>();
??????????????scriptParams.add(zhGeoRedisKey);
??????????????scriptParams.add(customerId);
??????????????scriptParams.add("100");
??????????????scriptParams.add(RedisGeoCommands.DistanceUnit.KILOMETERS.getAbbreviation());
??????????????scriptParams.add("asc");
??????????????scriptParams.add("storedist");
??????????????scriptParams.add(strZsetUserKey);

??????????????//用Lua脚本实现georadiusbymember中的storedist参数
??????????????//对应Redis原生命令:georadiusbymember?zhgeo?sunliu?100?km?asc?count?5?storedist?sunliu
??????????????Long?executeResult?=?objRedisTemplate.execute(RedisLuaUtil.GEO_RADIUS_STOREDIST_SCRIPT(),?scriptParams);

??????????????if?(null?==?executeResult?||?executeResult??listNearByPeopleFromZset(String?strZsetUserKey,?Integer?pageIndex,?Integer?pageSize)?{

??????????Integer?startPage?=?(pageIndex?-?1)?*?pageSize;
??????????Integer?endPage?=?pageIndex?*?pageSize?-?1;
??????????List?nearByPeopleDtoList?=?new?ArrayList<>();
??????????//对应Redis原生命令:zrange?key?0?2?withscores
??????????Set>?zsetUsers?=?objRedisTemplate.opsForZSet()
??????????????????.rangeWithScores(strZsetUserKey,?startPage,
??????????????????????????endPage);

??????????for?(ZSetOperations.TypedTuple?zsetUser?:?zsetUsers)?{
??????????????NearByPeopleDto?nearByPeopleDto?=?new?NearByPeopleDto();
??????????????nearByPeopleDto.setCustomerId(zsetUser.getValue().toString());
??????????????nearByPeopleDto.setDistance(zsetUser.getScore());
??????????????nearByPeopleDtoList.add(nearByPeopleDto);
??????????}

??????????return?nearByPeopleDtoList;
??????}
??}
  • RedisLuaUtil
??/*
???*?Copyright?(c)?2020.?zhanghan_java@163.com?All?Rights?Reserved.
???*?项目名称：Spring?Boot实战分页查询附近的人:?Redis+GeoHash+Lua
???*?类名称：RedisLuaUtil.java
???*?创建人：张晗
???*?联系方式：zhanghan_java@163.com
???*?开源地址:?https://github.com/dangnianchuntian/springboot
???*?博客地址:?https://zhanghan.blog.csdn.net
???*/

??package?com.zhanghan.zhnearbypeople.util;


??import?org.springframework.data.redis.core.script.DigestUtils;
??import?org.springframework.data.redis.core.script.RedisScript;

??public?class?RedisLuaUtil?{

??????private?static?final?RedisScript?GEO_RADIUS_STOREDIST_SCRIPT;

??????public?static?RedisScript?GEO_RADIUS_STOREDIST_SCRIPT()?{
??????????return?GEO_RADIUS_STOREDIST_SCRIPT;
??????}

??????static?{
??????????StringBuilder?sb?=?new?StringBuilder();
??????????sb.append("return?redis.call('georadiusbymember',KEYS[1],KEYS[2],KEYS[3],KEYS[4],KEYS[5],KEYS[6],KEYS[7])");
??????????GEO_RADIUS_STOREDIST_SCRIPT?=?new?RedisScriptImpl<>(sb.toString(),?Long.class);
??????}

??????private?static?class?RedisScriptImpl?implements?RedisScript?{
??????????private?final?String?script;
??????????private?final?String?sha1;
??????????private?final?Class?resultType;

??????????public?RedisScriptImpl(String?script,?Class?resultType)?{
??????????????this.script?=?script;
??????????????this.sha1?=?DigestUtils.sha1DigestAsHex(script);
??????????????this.resultType?=?resultType;
??????????}

??????????@Override
??????????public?String?getSha1()?{
??????????????return?sha1;
??????????}

??????????@Override
??????????public?Class?getResultType()?{
??????????????return?resultType;
??????????}

??????????@Override
??????????public?String?getScriptAsString()?{
??????????????return?script;
??????????}
??????}
??}
测试
  • 模拟用户上传地理位置进行存储
 1.进行请求
 2.查看效果
 3.模拟用户sunliu查找附近100km的人，按3条一分页进行查询 进行请求
总结
  • 亮点：
 1.分页实现思路：将geo集合中的数据按距离由近到远筛选好后，通过storedist放入一个新的Zset集合
 2.redisTemplate没有针对原生命令georadiusbymember的storedist参数实现，灵活运用Lua脚本去实现
  • geo集合在亿级别以内的数据量没有问题，当超过亿后需要根据产品需要对Redis中的大值进行拆分，比如按照地域进行拆分等
  • 有了地理位置，自己正在研究如何通过经纬度绘制出自己的运动路线，验证出来后与大家共享




        
    
        

            

    






    



            
            
相关推荐

            

                                                

                                                            
oracle数据导入导出_oracle数据导入导出工具

                    

                        
关于oracle的数据导入导出，这个功能的使用场景，一般是换服务环境，把原先的oracle数据导入到另外一台oracle数据库，或者导出备份使用。只不过oracle的导入导出命令不好记忆，稍稍有点复杂...

                    

                                                        

                                

                                                            
继续学习Python中的while true/break语句

                    

                        
上次讲到if语句的用法，大家在微信公众号问了小编很多问题，那么小编在这几种解决一下，1.else和elif是子模块，不能单独使用2.一个if语句中可以包括很多个elif语句，但结尾只能有一个...

                    

                                                        

                                

                                                            
python continue和break的区别_python中break语句和continue语句的区别

                    

                        
python中循环语句经常会使用continue和break，那么这2者的区别是？continue是跳出本次循环，进行下一次循环；break是跳出整个循环；例如：...

                    

                                                        

                                

                                                            
简单学Python——关键字6——break和continue

                    

                        
Python退出循环，有break语句和continue语句两种实现方式。break语句和continue语句的区别：break语句作用是终止循环。continue语句作用是跳出本轮循环，继续下一次循...

                    

                                                        

                                

                                                            
2-1，0基础学Python之 break退出循环、 continue继续循环 多重循

                    

                        
用for循环或者while循环时，如果要在循环体内直接退出循环，可以使用break语句。比如计算1至100的整数和，我们用while来实现：sum=0x=1whileTrue...

                    

                                                        

                                

                                                            
Python 中 break 和 continue 傻傻分不清

                    

                        
大家好啊，我是大田。...

                    

                                                        

                                

                                                            
python中的流程控制语句:continue、break 和 return使用方法

                    

                        
Python中，continue、break和return是控制流程的关键语句，用于在循环或函数中提前退出或跳过某些操作。它们的用途和区别如下：1.continue（跳过当前循环的剩余部分，进...

                    

                                                        

                                

                                                            
L017:continue和break - 教程文案

                    

                        
continue和break在Python中，continue和break是用于控制循环（如for和while）执行流程的关键字，它们的作用如下：1.continue：跳过当前迭代，...

                    

                                                        

                                

                                                            
作为前端开发者，你都经历过怎样的面试?

                    

                        
已经裸辞1个月了，最近开始投简历找工作，遇到各种各样的面试，今天分享一下。其实在职的时候也做过面试官，面试官时，感觉自己问的问题很难区分候选人的能力，最好的办法就是看看候选人的github上的代码仓库...

                    

                                                        

                                

                                                            
面试被问 const 是否不可变?这样回答才显功底

                    

                        
作为前端开发者，我在学习ES6特性时，总被const的"善变"搞得一头雾水——为什么用const声明的数组还能push元素？为什么基本类型赋值就会报错？直到翻遍MDN文档、对着内存图反...

                    

                                                        

                                

                                                            
2023金九银十必看前端面试题!2w字精品!

                    

                        
导文2023金九银十必看前端面试题！金九银十黄金期来了想要跳槽的小伙伴快来看啊CSS1.请解释CSS的盒模型是什么，并描述其组成部分。...

                    

                                                        

                                

                                                            
前端面试总结_前端面试题整理

                    

                        
记得当时大二的时候，看到实验室的学长学姐忙于各种春招，有些收获了大厂offer，有些还在苦苦面试，其实那时候的心里还蛮忐忑的，不知道自己大三的时候会是什么样的一个水平，所以从19年的寒假放完，大二下学...

                    

                                                        

                                

                                                            
由浅入深，66条JavaScript面试知识点(七)

                    

                        
作者：JakeZhang转发链接：https://juejin.im/post/5ef8377f6fb9a07e693a6061目录...

                    

                                                        

                                

                                                            
2024前端面试真题之—VUE篇_前端面试题vue2020及答案

                    

                        
添加图片注释，不超过140字（可选）...

                    

                                                        

                                

                                                            
今年最常见的前端面试题，你会做几道?

                    

                        
在面试或招聘前端开发人员时，期望、现实和需求之间总是存在着巨大差距。面试其实是一个交流想法的地方，挑战人们的思考方式，并客观地分析给定的问题。可以通过面试了解人们如何做出决策，了解一个人对技术和解决问...

                    

                                                        

                
            


            
        
        

                                    

                
一周热门

                

                    
                

            

                                    




最近发表












标签列表








                    

    







    

                赣ICP备2024040476号-12