提高kv持久化安全性，按需删除用户缓存

internal/boot/boot.go

@@ -5,6 +5,7 @@ import (
 
 	v1 "github.com/ayflying/utility_go/api/system/v1"
 	"github.com/ayflying/utility_go/service"
+	"github.com/gogf/gf/v2/frame/g"
 	"github.com/gogf/gf/v2/os/gctx"
 )
 
@@ -19,9 +20,14 @@ func Boot() (err error) {
 
 	//用户活动持久化每小时执行一次
 	service.SystemCron().AddCronV2(v1.CronType_HOUR, func(ctx context.Context) error {
-		err = service.GameKv().SavesV1()
+		go func() {
-		err = service.GameAct().Saves(ctx)
+			err = service.GameKv().SavesV1(ctx)
-		return err
+			err = service.GameAct().Saves(ctx)
+			if err != nil {
+				g.Log().Error(ctx, err)
+			}
+		}()
+		return nil
 	}, true)
 
 	//初始化自启动方法

internal/logic/gameAct/gameAct.go

@@ -143,6 +143,9 @@ func (s *sGameAct) Save(ctx context.Context, actId int) (err error) {
 	//	keys = keys[:10000]
 	//}
 
+	var add = make([]*entity.GameAct, 0)
+	var update = make([]*entity.GameAct, 0)
+
 	//循环获取缓存数据
 	err = tools.Redis.RedisScanV2(cacheKey, func(keys []string) (err error) {
 		//判断是否超时
@@ -151,9 +154,7 @@ func (s *sGameAct) Save(ctx context.Context, actId int) (err error) {
 			err = errors.New("act执行超时了,停止执行！")
 			return
 		}
-		var add = make([]*entity.GameAct, 0)
+
-		var update = make([]*entity.GameAct, 0)
-		var delKey []string
 		for _, cacheKey = range keys {
 			result := strings.Split(cacheKey, ":")
 			actId, err = strconv.Atoi(result[1])
@@ -206,13 +207,12 @@ func (s *sGameAct) Save(ctx context.Context, actId int) (err error) {
 				data.Action = actionData
 				update = append(update, data)
 			}
-			//最后删除key
-			delKey = append(delKey, cacheKey)
 		}
 
 		//批量写入数据库
 		updateCount := 0
-		if len(delKey) > 0 {
+
+		if len(update) > 100 {
 			for _, v := range update {
 				v.UpdatedAt = gtime.Now()
 				updateRes, err2 := g.Model(Name).Where(do.GameAct{
@@ -225,35 +225,45 @@ func (s *sGameAct) Save(ctx context.Context, actId int) (err error) {
 				}
 				if row, _ := updateRes.RowsAffected(); row == 0 {
 					g.Log().Error(ctx, "本次更新为0，更新数据失败: %v", v)
-					return
+					continue
 				}
+
+				//删除缓存
+				go s.DelCacheKey(v.ActId, v.Uid)
+
 				updateCount++
+				update = make([]*entity.GameAct, 0)
 			}
 			g.Log().Debugf(ctx, "当前 %v 更新数据库: %v 条", actId, updateCount)
-
 			update = make([]*entity.GameAct, 0)
-			var count int64
+		}
 
-			if len(add) > 0 {
+		var count int64
-				dbRes, err2 := g.Model(Name).Batch(50).Data(add).Save()
+
-				add = make([]*entity.GameAct, 0)
+		if len(add) > 100 {
-				err = err2
+			dbRes, err2 := g.Model(Name).Data(add).Save()
-				if err != nil {
+
-					g.Log().Error(ctx, err2)
+			err = err2
-					return
+			if err != nil {
+				g.Log().Error(ctx, err2)
+				return
+			}
+			count, _ = dbRes.RowsAffected()
+			if count == 0 {
+				g.Log().Error(ctx, "当前 %v 写入数据库: %v 条", actId, count)
+				for _, vTemp := range add {
+					g.Log().Debugf(ctx, "当前act：%v，add写入数据: %v,内容：%v", vTemp.ActId, vTemp.Uid, vTemp.Action)
 				}
-				count, _ = dbRes.RowsAffected()
+				return
-				g.Log().Debugf(ctx, "当前 %v 写入数据库: %v 条", actId, count)
 			}
 
-			for _, v := range delKey {
+			for _, v2 := range add {
-				_, err = g.Redis().Del(ctx, v)
+				//删除缓存
-				if err != nil {
+				go s.DelCacheKey(v2.ActId, v2.Uid)
-					g.Log().Error(ctx, err)
-				}
 			}
-			delKey = make([]string, 0)
 
+			//g.Log().Debugf(ctx, "当前 %v 写入数据库: %v 条", actId, count)
+			add = make([]*entity.GameAct, 0)
 		}
 
 		if err != nil {
@@ -266,6 +276,15 @@ func (s *sGameAct) Save(ctx context.Context, actId int) (err error) {
 	return
 }
 
+// 删除缓存key
+func (s *sGameAct) DelCacheKey(aid int, uid int64) {
+	cacheKey := fmt.Sprintf("act:%v:%v", aid, uid)
+	_, err := g.Redis().Del(ctx, cacheKey)
+	if err != nil {
+		g.Log().Error(ctx, err)
+	}
+}
+
 // 清空GetRedDot缓存
 func (s *sGameAct) RefreshGetRedDotCache(uid int64) {
 	cacheKey := fmt.Sprintf("gameAct:GetRedDot:%s:%d", gtime.Now().Format("d"), uid)

internal/logic/gameKv/gameKv.go

@@ -1,6 +1,7 @@
 package gameKv
 
 import (
+	"context"
 	"errors"
 	"fmt"
 	"strconv"
@@ -39,7 +40,7 @@ func init() {
 // @Description: 保存用户KV数据列表。
 // @receiver s: sGameKv的实例。
 // @return err: 错误信息，如果操作成功，则为nil。
-func (s *sGameKv) SavesV1() (err error) {
+func (s *sGameKv) SavesV1(ctx context.Context) (err error) {
 	// 最大允许执行时间
 	RunTimeMax = gtime.Now().Add(time.Minute * 30)
 	g.Log().Debug(ctx, "开始执行游戏kv数据保存")
@@ -52,6 +53,15 @@ func (s *sGameKv) SavesV1() (err error) {
 		pkg.Cache("redis").Set(nil, "cron:game_kv", gtime.Now().Unix(), time.Hour)
 	}
 
+	// 定义用于存储用户数据的结构体
+	type ListData struct {
+		Uid int64       `json:"uid"`
+		Kv  interface{} `json:"kv"`
+	}
+	var list []*ListData
+	// 初始化列表，长度与keys数组一致
+	list = make([]*ListData, 0)
+
 	// 从Redis列表中获取所有用户KV索引的键
 	//keys, err := utils.RedisScan("user:kv:*")
 	err = tools.Redis.RedisScanV2("user:kv:*", func(keys []string) (err error) {
@@ -62,16 +72,8 @@ func (s *sGameKv) SavesV1() (err error) {
 			return
 		}
 
-		// 定义用于存储用户数据的结构体
-		type ListData struct {
-			Uid int64       `json:"uid"`
-			Kv  interface{} `json:"kv"`
-		}
-		var list []*ListData
-		// 初始化列表，长度与keys数组一致
-		list = make([]*ListData, 0)
 		//需要删除的key
-		var delKey []string
+
 		// 遍历keys，获取每个用户的数据并填充到list中
 		for _, cacheKey := range keys {
 			//g.Log().Infof(ctx, "保存用户kv数据%v", v)
@@ -104,29 +106,21 @@ func (s *sGameKv) SavesV1() (err error) {
 				Uid: uid,
 				Kv:  data,
 			})
-
-			delKey = append(delKey, cacheKey)
 		}
 
 		// 将列表数据保存到数据库
-		if len(list) > 0 {
+		if len(list) > 100 {
-			_, err2 := g.Model("game_kv").Batch(30).Data(list).Save()
+			_, err2 := g.Model("game_kv").Data(list).Save()
-			list = make([]*ListData, 0)
+
 			if err2 != nil {
 				g.Log().Error(ctx, err2)
 				return
 			}
-
+			//删除当前key
-			//批量删除key
+			for _, v := range list {
-			for _, v := range delKey {
+				go s.DelCacheKey(v.Uid)
-				_, err2 = g.Redis().Del(ctx, v)
-				if err2 != nil {
-					g.Log().Errorf(ctx, "删除存档失败：%v,err=%v", v, err2)
-				}
 			}
-
+			list = make([]*ListData, 0)
-			delKey = make([]string, 0)
-
 		}
 		if err != nil {
 			g.Log().Error(ctx, "当前kv数据入库失败: %v", err)
@@ -137,3 +131,12 @@ func (s *sGameKv) SavesV1() (err error) {
 
 	return
 }
+
+// 删除缓存key
+func (s *sGameKv) DelCacheKey(uid int64) {
+	cacheKey := fmt.Sprintf("user:kv:%v", uid)
+	_, err := g.Redis().Del(ctx, cacheKey)
+	if err != nil {
+		g.Log().Error(ctx, err)
+	}
+}

internal/logic/systemCron/systemCron.go

@@ -60,7 +60,7 @@ type sSystemCron struct {
 func New() *sSystemCron {
 	return &sSystemCron{
 		taskChan:    make(chan func(context.Context) error, 2),
-		TaskTimeout: time.Minute * 30,
+		TaskTimeout: time.Minute * 60,
 	}
 }
 
@@ -333,7 +333,7 @@ func (s *sSystemCron) RunFuncChan() {
 			//ctx := gctx.New()
 			func() {
 				//超时释放资源
-				ctx, cancel := context.WithTimeout(context.Background(), s.TaskTimeout)
+				ctx, cancel := context.WithTimeout(gctx.New(), s.TaskTimeout)
 				defer cancel()
 
 				// 使用匿名函数包裹来捕获 panic

pkg/s3/s3.go

@@ -31,7 +31,7 @@ type DataType struct {
 	Url           string `json:"url"`             // S3 服务的访问 URL
 	BucketName    string `json:"bucket_name"`     // 默认存储桶名称
 	BucketNameCdn string `json:"bucket_name_cdn"` // CDN 存储桶名称
-	Provider      string `json:"provider"`        // S3 服务的提供方
+	//Provider      string `json:"provider"`        // S3 服务的提供方
 }
 
 // Mod 定义了 S3 模块的结构体，包含一个 S3 客户端实例和配置信息
@@ -184,6 +184,12 @@ func (s *Mod) ListObjects(bucketName string, prefix string) (res <-chan minio.Ob
 	return
 }
 
+// StatObject 获取指定存储桶中指定文件的元数据信息
+func (s *Mod) StatObject(bucketName string, objectName string) (res minio.ObjectInfo, err error) {
+	res, err = s.client.StatObject(ctx, bucketName, objectName, minio.StatObjectOptions{})
+	return
+}
+
 // SetBucketPolicy 设置指定存储桶或对象前缀的访问策略
 // 目前使用固定的策略，可根据需求修改
 func (s *Mod) SetBucketPolicy(bucketName string, prefix string) (err error) {

service/game_kv.go

@@ -5,6 +5,10 @@
 
 package service
 
+import (
+	"context"
+)
+
 type (
 	IGameKv interface {
 		// SavesV1 方法
@@ -12,7 +16,7 @@ type (
 		// @Description: 保存用户KV数据列表。
 		// @receiver s: sGameKv的实例。
 		// @return err: 错误信息，如果操作成功，则为nil。
-		SavesV1() (err error)
+		SavesV1(ctx context.Context) (err error)
 	}
 )
 

service/system_cron.go

@@ -38,8 +38,8 @@ type (
 		// @receiver s: sSystemCron的实例，代表一个调度系统。
 		// @param typ: 任务的类型，决定该任务将被添加到哪个列表中。对应不同的时间间隔。
 		// @param _func: 要添加的任务函数，该函数执行时应该返回一个error。
-		// @param unique: 是否只在唯一服务器上执行
+		// @param _onlyMain: 是否只在主服务器上执行一次,true 唯一执行，false 全局执行不判断唯一
-		AddCronV2(typ v1.CronType, _func func(context.Context) error, unique ...bool)
+		AddCronV2(typ v1.CronType, _func func(context.Context) error, _onlyMain ...bool)
 		// StartCron 开始计划任务执行
 		//
 		//	@Description: