业务背景
业务需求要求开发一个异步上传文件的接口，并支持上传进度的查询。
需求分析
ZIP压缩包中，包含一个csv文件和一个图片文件夹，要求：解析csv数据存入mongo，将图片文件夹中的图片信息对应上csv中的人员信息。
ZIP压缩包解压
使用golang自带的 "archive/zip" 包解压。
func decompressZip(filePath, dest string) (string, string, error) {
var csvName string
imageFolder := path.Base(filePath)
ext := path.Ext(filePath)
folderName := strings.TrimSuffix(imageFolder, ext)
src, err := os.Open(filePath)
if err != nil {
return "", "", err
}
defer src.Close()
zipFile, err := zip.OpenReader(src.Name())
if err != nil {
return "", "", err
}
defer zipFile.Close()
err = os.MkdirAll(path.Join(dest, folderName), os.ModePerm)
for _, innerFile := range zipFile.File {
info := innerFile.FileInfo()
if info.IsDir() {
continue
}
dst, err := os.Create(path.Join(dest, folderName, info.Name()))
if err != nil {
fmt.Println(err.Error())
continue
}
src, err := innerFile.Open()
if err != nil {
fmt.Println(err.Error())
continue
}
io.Copy(dst, src)
}
destPath, err := ioutil.ReadDir(path.Join(dest, folderName))
if err != nil {
return "", "", err
}
for _, v := range destPath {
if path.Ext(v.Name()) == ".csv" {
csvName = path.Join(dest, folderName, v.Name())
}
}
return folderName, csvName, nil
}
在这个解压的过程中，压缩包的树结构只能到2层
import.zip ┝┅┅import.csv ┖┅┅images
在解压后，所有的文件都会在同一个目录下，既images中的图片会变成和.csv文件同级
验证csv文件编码格式是否为UTF-8
func ValidUTF8(buf []byte) bool {
nBytes := 0
for i := 0; i < len(buf); i++ {
if nBytes == 0 {
if (buf[i] & 0x80) != 0 { //与操作之后不为0，说明首位为1
for (buf[i] & 0x80) != 0 {
buf[i] <<= 1 //左移一位
nBytes++ //记录字符共占几个字节
}
if nBytes < 2 || nBytes > 6 { //因为UTF8编码单字符最多不超过6个字节
return false
}
nBytes-- //减掉首字节的一个计数
}
} else { //处理多字节字符
if buf[i]&0xc0 != 0x80 { //判断多字节后面的字节是否是10开头
return false
}
nBytes--
}
}
return nBytes == 0
}
后续支持utf-8转码
这个utf8编码判断方法是网上down下来的，后续优化一下
主逻辑
type LineWrong struct {
LineNumber int64 `json:"line_number"`
Msg string `json:"msg"`
}
func Import(/*自定义参数*/){
// decompress zip file to destination address
folder, csvName, err := Decompress(path.Join(constant.FolderPrefix, req.FilePath), dest)
if err != nil {
fmt.Println(err.Error())
}
// check if the file encoding is utf8
b, err := ioutil.ReadFile(csvName)
if err != nil {
fmt.Println(err.Error())
}
if !utils.ValidUTF8(b) {
fmt.Println(errors.New("数据编码错误，请使用utf-8格式csv！"))
}
// create goroutine to analysis data into mongodb
var wg sync.WaitGroup
wg.Add(1)
// used to interrupt goroutine
resultChan := make(chan error)
// used to record wrong row in csv
lW := make(chan []LineWrong)
go func(ctx *gin.Context, Name, csvPath, dir, folder string) {
defer wg.Done()
tidT, ciT, lwT, err := importCsv(ctx, Name, csvPath, dir, folder)
resultChan <- err
if err != nil {
fmt.Println(err.Error())
}
lW <- lwT
if len(lwT) == 0 {
importClassData(ctx, tidT, ciT)
}
}(ctx, req.Name, csvName, dest, folder)
err = <-resultChan
lineWrong := <-lW
close(lW)
···
}
// pre-analysis data in csv and through wrong data with line numbers and information
func importCsv()(){
···
}
// analysis data again and save data into mongodb, if is there any error,through them same as import()
func importClassData()(){
···
conn, err := connect()
if err != nil {
return err
}
defer conn.Close()
conn.Do("hset", taskId, "task_id", (curLine*100)/totalLines)
···
}
将错误信息以channel接收，使用 package "sync" 的 sync.WaitGroup 控制异步协程。在入库的过程中，将当前的进度存入redis。
查询进度接口
func QueryImport()(){
conn, err := connect()
if err != nil {
return nil, err
}
defer conn.Close()
progress, _ := conn.Do("hget", key, field)
if pro, ok := progress.([]uint8); ok {
ba := []byte{}
for _, b := range pro {
ba = append(ba, byte(b))
}
progress,_ = strconv.Atoi(string(ba))
}
return progress
}
从redis中取出来的数据是[]uint8类型数据，先断言，然后转类型返回。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。