From 750d5c56ce007d019fe7db2d3a0eb7d6c27a4144 Mon Sep 17 00:00:00 2001 From: ayflying Date: Thu, 24 Apr 2025 15:25:46 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=E6=B3=A8=E9=87=8A?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- pkg/aycache/cache.go | 30 +++++--- pkg/config/config.go | 141 +++++++++++++++++------------------ pkg/s3/s3.go | 174 ++++++++++++++----------------------------- 3 files changed, 143 insertions(+), 202 deletions(-) diff --git a/pkg/aycache/cache.go b/pkg/aycache/cache.go index fa32634..e3860b6 100644 --- a/pkg/aycache/cache.go +++ b/pkg/aycache/cache.go @@ -12,34 +12,37 @@ import ( "math" ) +// Mod 定义缓存模块结构体，包含一个 gcache.Cache 客户端实例 type Mod struct { client *gcache.Cache } -var ( - QPSCount int - QPS = promauto.NewGauge( - prometheus.GaugeOpts{ - Name: "Cache_QPS", - Help: "当前缓存QPS数量", - }, - ) +// QPSCount 记录缓存的 QPS 计数 +var QPSCount int +// QPS 是一个 Prometheus 指标，用于记录当前缓存的 QPS 数量 +var QPS = promauto.NewGauge( + prometheus.GaugeOpts{ + Name: "Cache_QPS", + Help: "当前缓存QPS数量", + }, ) +// init 函数在包被导入时执行，用于初始化定时任务以更新 QPS 指标 func init() { boot.AddFunc(func() { - //初始化指标 + // 初始化指标，每分钟计算一次平均 QPS 并重置计数器 service.SystemCron().AddCron(v1.CronType_MINUTE, func() error { QPS.Set(math.Round(float64(QPSCount) / 60)) QPSCount = 0 return nil }) }) - } +// New 根据传入的名称创建不同类型的缓存适配器 +// 如果未传入名称，默认使用 "cache" 类型 +// 支持的类型包括 "cache"（内存缓存）、"redis"（Redis 缓存）、"file"（文件缓存）和 "es"（Elasticsearch 缓存） func New(_name ...string) gcache.Adapter { - var cacheAdapterObj gcache.Adapter var name = "cache" if len(_name) > 0 { @@ -47,18 +50,23 @@ func New(_name ...string) gcache.Adapter { } switch name { case "cache": + // 创建内存缓存适配器 cacheAdapterObj = drive2.NewAdapterMemory() case "redis": + // 创建 Redis 缓存适配器 cacheAdapterObj = drive2.NewAdapterRedis() case "file": + // 创建文件缓存适配器，指定缓存目录为 "runtime/cache" cacheAdapterObj = drive2.NewAdapterFile("runtime/cache") case "es": + // 创建 Elasticsearch 缓存适配器，需要传入额外参数 cacheAdapterObj = drive.NewAdapterElasticsearch(_name[1]) } //var client = gcache.New() //client.SetAdapter(cacheAdapterObj) + // 每次创建适配器时，QPS 计数加 1 QPSCount++ return cacheAdapterObj } diff --git a/pkg/config/config.go b/pkg/config/config.go index 84c3587..9d7ef96 100644 --- a/pkg/config/config.go +++ b/pkg/config/config.go @@ -18,26 +18,40 @@ import ( var ( //ApolloCfg *apolloConfig.AppConfig ApolloCfg *apollo.Config + // ApolloListener 存储需要监听的 Apollo 配置项名称 ApolloListener []string + // Item2Obj 存储配置项名称和对应的加载器对象的映射 Item2Obj = map[string]Load{} ) -// load接口定义了Load方法，用于加载数据 +// Load 接口定义了 Load 方法，用于加载数据 type Load interface { + // Load 方法用于加载配置数据，支持传入可选的配置参数 Load(cfg ...string) } +// NewV1 创建一个新的 Cfg 实例 func NewV1() *Cfg { return &Cfg{} } +// Cfg 结构体包含配置操作的相关方法 type Cfg struct { + // Lock 用于保证并发安全的互斥锁 Lock sync.Mutex } +// GetDbFile 从数据库中获取指定名称的配置文件 +// 参数: +// name - 配置文件的名称 +// 返回值: +// *g.Var - 存储配置数据的变量 +// error - 操作过程中遇到的错误 func (c *Cfg) GetDbFile(name string) (res *g.Var, err error) { + // 从数据库的 game_config 表中查询指定名称的配置数据 get2, err := g.Model("game_config"). Where("name", name).Master().Value("data") + // 将查询结果扫描到 res 变量中 err = get2.Scan(&res) if res == nil { res = &gvar.Var{} @@ -45,107 +59,81 @@ func (c *Cfg) GetDbFile(name string) (res *g.Var, err error) { return } -func (c *Cfg) GetFile(filename string, obj ...Load) (jsonObj *gjson.Json, err error) { +// GetFile 从文件系统或资源文件中加载 JSON 配置 +// 参数: +// filename - 需要加载的配置文件名（不带扩展名） +// _pathStr - 可选参数，指定配置文件目录路径，默认"manifest/game/" +// 返回值: +// *gjson.Json - 解析后的 JSON 对象 +// error - 文件加载或解析过程中遇到的错误 +func (c *Cfg) GetFile(filename string, _pathStr ...string) (jsonObj *gjson.Json, err error) { + // 处理路径参数，使用默认路径或传入参数 pathStr := "manifest/game/" + if len(_pathStr) > 0 { + pathStr = _pathStr[0] + } + // 拼接完整的文件路径 filePath := pathStr + filename + ".json" - //err := gres.Load(pathStr + filename) - //载入静态资源到文件对象 + // 载入静态资源到文件对象 err = gres.Load(filePath) var bytes []byte + // 优先从文件系统读取，不存在时从资源文件读取 if gfile.IsFile(filePath) { - bytes = gfile.GetBytes(filePath) + bytes = gfile.GetBytes(filePath) // 读取物理文件内容 } else { - bytes = gres.GetContent(filePath) + bytes = gres.GetContent(filePath) // 从打包资源中获取内容 } + // 解析 JSON 内容并返回结果 jsonObj, err = gjson.DecodeToJson(bytes) - //g.Dump(filePath, jsonObj) return } -// getUrlFile 获取远程配置 +// GetUrlFile 获取远程配置 +// 参数: +// name - 配置文件的名称 +// 返回值: +// *gjson.Json - 解析后的 JSON 对象 +// error - 请求或解析过程中遇到的错误 func (c *Cfg) GetUrlFile(name string) (jsonObj *gjson.Json, err error) { + // 拼接远程配置文件的 URL urlStr := fmt.Sprintf("http://sdf.sdfs.sdf/%s.json", name) + // 发送 HTTP 请求获取远程配置数据 getUrl, err := g.Client().Discovery(nil).Get(nil, urlStr) + // 读取响应内容 bytes := getUrl.ReadAll() + // 解析 JSON 内容并返回结果 jsonObj, err = gjson.DecodeToJson(bytes) return } -// 获取阿波罗 -//func (c *Cfg) GetApollo(name string, obj Load) (jsonObj *gjson.Json, err error) { -// jsonObj, err = c.GetApolloV2(name, obj) -// return -// -// //c.Lock.Lock() -// //defer c.Lock.Unlock() -// // -// //Item2Obj[name+".json"] = obj -// //var cfg = apolloConfig.AppConfig{ -// // AppID: ApolloCfg.AppID, -// // Cluster: ApolloCfg.Cluster, -// // IP: ApolloCfg.IP, -// // NamespaceName: name + ".json", -// // Secret: ApolloCfg.Secret, -// // IsBackupConfig: ApolloCfg.IsBackupConfig, -// // BackupConfigPath: ApolloCfg.BackupConfigPath, -// // SyncServerTimeout: 60, -// // MustStart: true, -// //} -// ////cfg.NamespaceName = name + ".json" -// // -// //client, err := agollo.StartWithConfig(func() (*apolloConfig.AppConfig, error) { -// // return ApolloCfg, nil -// //}) -// //if client == nil { -// // return -// //} -// //var getStr string -// //var getApollo *storage.Config -// //for range 5 { -// // getApollo = client.GetConfig(cfg.NamespaceName) -// // if getApollo != nil { -// // break -// // } -// // time.Sleep(time.Second * 5) -// //} -// // -// //if getApollo != nil { -// // getStr = getApollo.GetValue("content") -// // if getStr != "" { -// // //写入配置 -// // gfile.PutContents(path.Join("manifest", "game", name+".json"), getStr) -// // } -// //} else { -// // jsonObj, err = c.GetFile(name) -// //} -// //jsonObj, err = gjson.DecodeToJson(getStr) -// ////首次运行加入监听器 -// //if !gstr.InArray(ApolloListener, name) { -// // c2 := &CustomChangeListener{} -// // client.AddChangeListener(c2) -// // ApolloListener = append(ApolloListener, name) -// //} -// //return -//} - +// GetApollo 从 Apollo 配置中心获取指定名称的配置 +// 参数: +// name - 配置文件的名称 +// obj - 实现了 Load 接口的加载器对象 +// 返回值: +// *gjson.Json - 解析后的 JSON 对象 +// error - 操作过程中遇到的错误 func (c *Cfg) GetApollo(name string, obj Load) (jsonObj *gjson.Json, err error) { + // 将配置项名称和对应的加载器对象存入映射 Item2Obj[name+".json"] = obj - // 接入阿波罗配置 + // 接入 Apollo 配置 ApolloCfg.NamespaceName = name + ".json" + // 创建 Apollo 配置适配器 adapter, err := apollo.New(nil, *ApolloCfg) if err != nil { + // 配置适配器创建失败，记录致命错误日志 g.Log().Fatalf(nil, `%+v`, err) } - // Change the adapter of default configuration instance. + // 更改默认配置实例的适配器 g.Cfg(name).SetAdapter(adapter) - //首次运行加入监听器 + // 首次运行加入监听器 if !gstr.InArray(ApolloListener, name+".json") { - //放置监听器 + // 启动 Apollo 客户端 client, _ := agollo.StartWithConfig(func() (*apolloConfig.AppConfig, error) { return &apolloConfig.AppConfig{ AppID: ApolloCfg.AppID, @@ -159,31 +147,40 @@ func (c *Cfg) GetApollo(name string, obj Load) (jsonObj *gjson.Json, err error) MustStart: ApolloCfg.MustStart, }, nil }) + // 创建自定义监听器实例 c2 := &CustomChangeListener{} + // 为 Apollo 客户端添加监听器 client.AddChangeListener(c2) + // 将配置项名称添加到监听器列表 ApolloListener = append(ApolloListener, name+".json") } + // 从配置中心获取指定配置项的值 cfg, err := g.Cfg(name).Get(nil, "content") + // 将配置值扫描到 jsonObj 中 cfg.Scan(&jsonObj) return } -// 阿波罗监听器 +// CustomChangeListener 是 Apollo 配置变化的自定义监听器 type CustomChangeListener struct { + // wg 用于等待所有处理任务完成 wg sync.WaitGroup } +// OnChange 当 Apollo 配置发生变化时触发 func (c *CustomChangeListener) OnChange(changeEvent *storage.ChangeEvent) { + // 记录配置变化的日志 g.Log().Debugf(nil, "当前Namespace变化了：%v", changeEvent.Namespace) + // 获取变化的配置项名称 filename := changeEvent.Namespace if obj, ok := Item2Obj[filename]; ok { - //重载配置文件 + // 重载配置文件 obj.Load(changeEvent.Changes["content"].NewValue.(string)) } } +// OnNewestChange 当获取到最新配置时触发，当前为空实现 func (c *CustomChangeListener) OnNewestChange(event *storage.FullChangeEvent) { //write your code here - } diff --git a/pkg/s3/s3.go b/pkg/s3/s3.go index e10176a..17e14e7 100644 --- a/pkg/s3/s3.go +++ b/pkg/s3/s3.go @@ -16,26 +16,32 @@ import ( "github.com/minio/minio-go/v7/pkg/credentials" ) +// ctx 全局上下文，用于在整个包中传递请求范围的数据 var ( //client *minio.Client ctx = gctx.New() ) +// DataType 定义了 S3 配置的数据结构，用于存储访问 S3 所需的各种信息 type DataType struct { - AccessKey string `json:"access_key"` - SecretKey string `json:"secret_key"` - Address string `json:"address"` - Ssl bool `json:"ssl"` - Url string `json:"url"` - BucketName string `json:"bucket_name"` - BucketNameCdn string `json:"bucket_name_cdn"` + AccessKey string `json:"access_key"` // 访问 S3 的密钥 ID + SecretKey string `json:"secret_key"` // 访问 S3 的密钥 + Address string `json:"address"` // S3 服务的地址 + Ssl bool `json:"ssl"` // 是否使用 SSL 加密连接 + Url string `json:"url"` // S3 服务的访问 URL + BucketName string `json:"bucket_name"` // 默认存储桶名称 + BucketNameCdn string `json:"bucket_name_cdn"` // CDN 存储桶名称 } +// Mod 定义了 S3 模块的结构体，包含一个 S3 客户端实例和配置信息 type Mod struct { - client *minio.Client - cfg DataType + client *minio.Client // Minio S3 客户端实例 + cfg DataType // S3 配置信息 } +// New 根据配置创建一个新的 S3 模块实例 +// 如果未提供名称，则从配置中获取默认的 S3 类型 +// 配置错误时会触发 panic func New(_name ...string) *Mod { var name string if len(_name) > 0 { @@ -52,7 +58,7 @@ func New(_name ...string) *Mod { var cfg DataType get.Scan(&cfg) - // 使用minio-go创建S3客户端 + // 使用 minio-go 创建 S3 客户端 obj, err := minio.New( cfg.Address, &minio.Options{ @@ -72,183 +78,111 @@ func New(_name ...string) *Mod { return mod } -//func (s *Mod) Load() { -// //导入配置 -// get, err := g.Cfg().Get(ctx, "s3.type") -// cfgType := get.String() -// if cfgType == "" { -// cfgType = "default" -// } -// -// cfgData, err := g.Cfg().Get(ctx, "s3."+cfgType) -// if cfgData.IsEmpty() { -// panic("当前配置中未配置s3：" + cfgType) -// } -// -// get, err = g.Cfg().Get(ctx, "s3."+cfgType) -// err = get.Scan(&Cfg) -// -// // 使用minio-go创建S3客户端 -// obj, err := minio.New( -// Cfg.Address, -// &minio.Options{ -// Creds: credentials.NewStaticV4(Cfg.AccessKey, Cfg.SecretKey, ""), -// Secure: Cfg.Ssl, -// }, -// ) -// if err != nil { -// log.Fatalln(err) -// } -// -// client = obj -//} -// -//func (s *Mod) S3(name string) { -// get, err := g.Cfg().Get(ctx, "s3."+name) -// if err != nil { -// panic(err) -// } -// get.Scan(&Cfg) -// -// // 使用minio-go创建S3客户端 -// obj, err := minio.New( -// Cfg.Address, -// &minio.Options{ -// Creds: credentials.NewStaticV4(Cfg.AccessKey, Cfg.SecretKey, ""), -// Secure: Cfg.Ssl, -// }, -// ) -// if err != nil { -// log.Fatalln(err) -// } -// -// client = obj -// -//} - -// GetCfg 获取配置 +// GetCfg 获取当前 S3 模块的配置信息 func (s *Mod) GetCfg() *DataType { return &s.cfg } -// GetFileUrl 生成指向S3存储桶中指定文件的预签名URL -// -// @Description: 生成一个具有有限有效期的预签名URL，可用于访问S3存储桶中的文件。 -// @receiver s: S3的实例，用于执行S3操作。 -// @param name: 要获取预签名URL的文件名。 -// @param bucketName: 文件所在的存储桶名称。 -// @return presignedURL: 生成的预签名URL，可用于访问文件。 -// @return err: 在获取预签名URL过程中遇到的任何错误。 +// GetFileUrl 生成指向 S3 存储桶中指定文件的预签名 URL +// 预签名 URL 可用于在有限时间内访问 S3 存储桶中的文件 +// 支持从缓存中获取预签名 URL，以减少重复请求 func (s *Mod) GetFileUrl(name string, bucketName string, _expires ...time.Duration) (presignedURL *url.URL, err error) { - // 设置预签名URL的有效期为1小时 + // 设置预签名 URL 的有效期为 1 小时，可通过参数覆盖 expires := time.Hour * 1 if len(_expires) > 0 { expires = _expires[0] } + // 生成缓存键 cacheKey := fmt.Sprintf("s3:%v:%v", name, bucketName) + // 尝试从缓存中获取预签名 URL get, _ := gcache.Get(ctx, cacheKey) - //g.Dump(get.Vars()) if !get.IsEmpty() { + // 将缓存中的值转换为 *url.URL 类型 err = gconv.Struct(get.Val(), &presignedURL) - //presignedURL = return } - //expires := time.Duration(604800) - // 调用s3().PresignedGetObject方法生成预签名URL + // 调用 S3 客户端生成预签名 URL presignedURL, err = s.client.PresignedGetObject(ctx, bucketName, name, expires, nil) + // 将生成的预签名 URL 存入缓存 err = gcache.Set(ctx, cacheKey, presignedURL, expires) return } -// PutFileUrl 生成一个用于上传文件到指定bucket的预签名URL -// -// @Description: -// @receiver s -// @param name 文件名 -// @param bucketName 存储桶名称 -// @return presignedURL 预签名的URL，用于上传文件 -// @return err 错误信息，如果在生成预签名URL时发生错误 +// PutFileUrl 生成一个用于上传文件到指定存储桶的预签名 URL +// 预签名 URL 的有效期默认为 10 分钟 func (s *Mod) PutFileUrl(name string, bucketName string) (presignedURL *url.URL, err error) { - // 设置预签名URL的有效期 - //expires := time.Now().Add(time.Minute * 30).Unix() // 例如：有效期30分钟 - //expires2 := time.Duration(expires) + // 设置预签名 URL 的有效期为 10 分钟 expires := time.Minute * 10 - // 生成预签名URL + // 调用 S3 客户端生成预签名 URL presignedURL, err = s.client.PresignedPutObject(ctx, bucketName, name, expires) - return } -// 获取储存桶列表 +// ListBuckets 获取当前 S3 客户端可访问的所有存储桶列表 +// 出错时返回 nil func (s *Mod) ListBuckets() []minio.BucketInfo { buckets, err := s.client.ListBuckets(ctx) - //g.Dump(buckets) if err != nil { - //fmt.Println(err) return nil } return buckets } -// PutObject 上传文件到指定的存储桶中。 -// -// @Description: 上传一个文件到指定的存储桶。 -// @receiver s *Mod: 表示调用此方法的Mod实例。 -// @param f io.Reader: 文件的读取器，用于读取待上传的文件内容。 -// @param name string: 待上传文件的名称。 -// @param bucketName string: 存储桶的名称。 -// @param _size ...int64: 可选参数，指定上传文件的大小。如果未提供，则默认为-1，表示读取文件直到EOF。 -// @return res minio.UploadInfo: 上传成功后返回的上传信息。 -// @return err error: 如果上传过程中出现错误，则返回错误信息。 +// PutObject 上传文件到指定的存储桶中 +// 支持指定文件大小，未指定时将读取文件直到结束 func (s *Mod) PutObject(f io.Reader, name string, bucketName string, _size ...int64) (res minio.UploadInfo, err error) { - // 初始化文件大小为-1，表示将读取文件至结束。 + // 初始化文件大小为 -1，表示将读取文件至结束 var size = int64(-1) - // 如果提供了文件大小，则使用提供的大小值。 if len(_size) > 0 { size = _size[0] } - - // 调用client的PutObject方法上传文件，并设置内容类型为"application/octet-stream"。 + // 调用 S3 客户端上传文件，设置内容类型为 "application/octet-stream" res, err = s.client.PutObject(ctx, bucketName, name, f, size, minio.PutObjectOptions{ContentType: "application/octet-stream"}) if err != nil { + // 记录上传错误日志 g.Log().Error(ctx, err) } return } -// RemoveObject 删除文件 +// RemoveObject 从指定存储桶中删除指定名称的文件 func (s *Mod) RemoveObject(name string, bucketName string) (err error) { opts := minio.RemoveObjectOptions{ //GovernanceBypass: true, //VersionID: "myversionid", } + // 调用 S3 客户端删除文件 err = s.client.RemoveObject(ctx, bucketName, name, opts) return } -// ListObjects 文件列表 +// ListObjects 获取指定存储桶中指定前缀的文件列表 +// 返回一个包含文件信息的通道 func (s *Mod) ListObjects(bucketName string, prefix string) (res <-chan minio.ObjectInfo, err error) { + // 调用 S3 客户端获取文件列表 res = s.client.ListObjects(ctx, bucketName, minio.ListObjectsOptions{ Prefix: prefix, }) return } -// SetBucketPolicy 设置bucket或对象前缀的访问权限 +// SetBucketPolicy 设置指定存储桶或对象前缀的访问策略 +// 目前使用固定的策略，可根据需求修改 func (s *Mod) SetBucketPolicy(bucketName string, prefix string) (err error) { - + // 定义访问策略 policy := `{"Version": "2012-10-17","Statement": [{"Action": ["s3:GetObject"],"Effect": "Allow","Principal": {"AWS": ["*"]},"Resource": ["arn:aws:s3:::my-bucketname/*"],"Sid": ""}]}` - + // 调用 S3 客户端设置存储桶策略 err = s.client.SetBucketPolicy(ctx, bucketName, policy) return } -// GetUrl 获取文件访问地址 +// GetUrl 获取文件的访问地址 +// 支持返回默认文件地址，根据 SSL 配置生成不同格式的 URL func (s *Mod) GetUrl(filePath string, defaultFile ...string) (url string) { bucketName := s.cfg.BucketNameCdn get := s.cfg.Url - //如果没有图片，返回默认的图片地址 + // 如果没有指定文件路径，且提供了默认文件路径，则使用默认路径 if filePath == "" && len(defaultFile) > 0 { filePath = defaultFile[0] } @@ -262,6 +196,7 @@ func (s *Mod) GetUrl(filePath string, defaultFile ...string) (url string) { return } +// GetPath 从文件访问 URL 中提取文件路径 func (s *Mod) GetPath(url string) (filePath string) { bucketName := s.cfg.BucketNameCdn get := s.cfg.Url @@ -269,21 +204,22 @@ func (s *Mod) GetPath(url string) (filePath string) { return url[len(get+bucketName)+1:] } -// 复制文件 +// CopyObject 在指定存储桶内复制文件 +// 支持指定源文件和目标文件路径 func (s *Mod) CopyObject(bucketName string, dstStr string, srcStr string) (err error) { - - // 原始文件 + // 定义目标文件选项 var dst = minio.CopyDestOptions{ Bucket: bucketName, Object: dstStr, } - // 新文件 + // 定义源文件选项 var src = minio.CopySrcOptions{ Bucket: bucketName, Object: srcStr, } + // 调用 S3 客户端复制文件 _, err = s.client.CopyObject(ctx, dst, src) return }