无码中文av有码中文av,色欲色香天天天综合网www,色欲久久久天天天综合网

MySQL Shell import_table數(shù)據(jù)導(dǎo)入

1. import_table介紹

這一期我們介紹一款高效的數(shù)據(jù)導(dǎo)入工具,MySQL Shell 工具集中的import_table,該工具的全稱是Parallel Table Import Utility,顧名思義,支持并發(fā)數(shù)據(jù)導(dǎo)入,該工具在MySQL Shell 8.0.23版本后,功能更加完善, 以下列舉該工具的核心功能

基本覆蓋了MySQL Data Load的所有功能,可以作為替代品使用
默認(rèn)支持并發(fā)導(dǎo)入(支持自定義chunk大小)
支持通配符匹配多個(gè)文件同時(shí)導(dǎo)入到一張表(非常適用于相同結(jié)構(gòu)數(shù)據(jù)匯總到一張表)
支持限速(對帶寬使用有要求的場景,非常合適)
支持對壓縮文件處理
支持導(dǎo)入到5.7及以上MySQL

2. Load Data 與 import table功能示例

該部分針對import table和Load Data相同的功能做命令示例演示,我們依舊以導(dǎo)入employees表的示例數(shù)據(jù)為例,演示MySQL Load Data的綜合場景

數(shù)據(jù)自定義順序?qū)?/li>
數(shù)據(jù)函數(shù)處理
自定義數(shù)據(jù)取值

示例數(shù)據(jù)如下：

[root@10-186-61-162 tmp]# cat employees_01.csv
"10001","1953-09-02","Georgi","Facello","M","1986-06-26"
"10003","1959-12-03","Parto","Bamford","M","1986-08-28"
"10002","1964-06-02","Bezalel","Simmel","F","1985-11-21"
"10004","1954-05-01","Chirstian","Koblick","M","1986-12-01"
"10005","1955-01-21","Kyoichi","Maliniak","M","1989-09-12"
"10006","1953-04-20","Anneke","Preusig","F","1989-06-02"
"10007","1957-05-23","Tzvetan","Zielinski","F","1989-02-10"
"10008","1958-02-19","Saniya","Kalloufi","M","1994-09-15"
"10009","1952-04-19","Suma

示例表結(jié)構(gòu)：

 10.186.61.162:3306  employees  SQL > desc emp;
+-------------+---------------+------+-----+---------+-------+
| Field       | Type          | Null | Key | Default | Extra | 
+-------------+---------------+------+-----+---------+-------+
| emp_no      | int           | NO   | PRI | NULL    |       |
| birth_date  | date          | NO   |     | NULL    |       |
| first_name  | varchar(14)   | NO   |     | NULL    |       |
| last_name   | varchar(16)   | NO   |     | NULL    |       |
| full_name   | varchar(64)   | YES  |     | NULL    |       |  -- 表新增字段,導(dǎo)出數(shù)據(jù)文件中不存在
| gender      | enum('M','F') | NO   |     | NULL    |       |
| hire_date   | date          | NO   |     | NULL    |       |
| modify_date | datetime      | YES  |     | NULL    |       |  -- 表新增字段,導(dǎo)出數(shù)據(jù)文件中不存在
| delete_flag | varchar(1)    | YES  |     | NULL    |       |  -- 表新增字段,導(dǎo)出數(shù)據(jù)文件中不存在
+-------------+---------------+------+-----+---------+-------+

2.1 用Load Data方式導(dǎo)入數(shù)據(jù)

load data infile '/data/mysql/3306/tmp/employees_01.csv'
into table employees.emp
character set utf8mb4
fields terminated by ','
enclosed by '"'
lines terminated by '\n'
(@C1,@C2,@C3,@C4,@C5,@C6)
set emp_no=@C1,
    birth_date=@C2,
    first_name=upper(@C3),
    last_name=lower(@C4),
    full_name=concat(first_name,' ',last_name),
    gender=@C5,
    hire_date=@C6 ,
    modify_date=now(),
    delete_flag=if(hire_date<'1988-01-01','Y','N');

2.2 用import_table方式導(dǎo)入數(shù)據(jù)

util.import_table(
    [
        "/data/mysql/3306/tmp/employees_01.csv",
    ],
    {
        "schema": "employees", 
        "table": "emp",
        "dialect": "csv-unix",
        "skipRows": 0,
        "showProgress": True,
        "characterSet": "utf8mb4",
        "columns": [1,2,3,4,5,6],                   ## 文件中多少個(gè)列就用多少個(gè)序號標(biāo)識就行
        "decodeColumns": {
            "emp_no":       "@1",                   ## 對應(yīng)文件中的第1列
            "birth_date":   "@2",                   ## 對應(yīng)文件中的第2個(gè)列
            "first_name":   "upper(@3)",            ## 對應(yīng)文件中的第3個(gè)列,并做轉(zhuǎn)為大寫的處理
            "last_name":    "lower(@4)",            ## 對應(yīng)文件中的第4個(gè)列,并做轉(zhuǎn)為大寫的處理
            "full_name":    "concat(@3,' ',@4)",    ## 將文件中的第3,4列合并成一列生成表中字段值
            "gender":       "@5",                   ## 對應(yīng)文件中的第5個(gè)列
            "hire_date":    "@6",                   ## 對應(yīng)文件中的第6個(gè)列
            "modify_date":  "now()",                ## 用函數(shù)生成表中字段值
            "delete_flag":  "if(@6<'1988-01-01','Y','N')"  ## 基于文件中第6列做邏輯判斷,生成表中對應(yīng)字段值
        }
    })

3. import_table特定功能

3.1 多文件導(dǎo)入(模糊匹配)

## 在導(dǎo)入前我生成好了3分單獨(dú)的employees文件,導(dǎo)出的結(jié)構(gòu)一致
[root@10-186-61-162 tmp]# ls -lh
總用量 1.9G
-rw-r----- 1 mysql mysql  579 3月  24 19:07 employees_01.csv
-rw-r----- 1 mysql mysql  584 3月  24 18:48 employees_02.csv
-rw-r----- 1 mysql mysql  576 3月  24 18:48 employees_03.csv
-rw-r----- 1 mysql mysql 1.9G 3月  26 17:15 sbtest1.csv
## 導(dǎo)入命令,其中對對文件用employees_*做模糊匹配
util.import_table(
    [
        "/data/mysql/3306/tmp/employees_*",
    ],
    {
        "schema": "employees", 
        "table": "emp",
        "dialect": "csv-unix",
        "skipRows": 0,
        "showProgress": True,
        "characterSet": "utf8mb4",
        "columns": [1,2,3,4,5,6],                   ## 文件中多少個(gè)列就用多少個(gè)序號標(biāo)識就行
        "decodeColumns": {
            "emp_no":       "@1",                   ## 對應(yīng)文件中的第1列
            "birth_date":   "@2",                   ## 對應(yīng)文件中的第2個(gè)列
            "first_name":   "upper(@3)",            ## 對應(yīng)文件中的第3個(gè)列,并做轉(zhuǎn)為大寫的處理
            "last_name":    "lower(@4)",            ## 對應(yīng)文件中的第4個(gè)列,并做轉(zhuǎn)為大寫的處理
            "full_name":    "concat(@3,' ',@4)",    ## 將文件中的第3,4列合并成一列生成表中字段值
            "gender":       "@5",                   ## 對應(yīng)文件中的第5個(gè)列
            "hire_date":    "@6",                   ## 對應(yīng)文件中的第6個(gè)列
            "modify_date":  "now()",                ## 用函數(shù)生成表中字段值
            "delete_flag":  "if(@6<'1988-01-01','Y','N')"  ## 基于文件中第6列做邏輯判斷,生成表中對應(yīng)字段值
        }
    })
    
## 導(dǎo)入命令,其中對要導(dǎo)入的文件均明確指定其路徑
util.import_table(
    [
        "/data/mysql/3306/tmp/employees_01.csv",
        "/data/mysql/3306/tmp/employees_02.csv",
        "/data/mysql/3306/tmp/employees_03.csv"
    ],
    {
        "schema": "employees", 
        "table": "emp",
        "dialect": "csv-unix",
        "skipRows": 0,
        "showProgress": True,
        "characterSet": "utf8mb4",
        "columns": [1,2,3,4,5,6],                   ## 文件中多少個(gè)列就用多少個(gè)序號標(biāo)識就行
        "decodeColumns": {
            "emp_no":       "@1",                   ## 對應(yīng)文件中的第1列
            "birth_date":   "@2",                   ## 對應(yīng)文件中的第2個(gè)列
            "first_name":   "upper(@3)",            ## 對應(yīng)文件中的第3個(gè)列,并做轉(zhuǎn)為大寫的處理
            "last_name":    "lower(@4)",            ## 對應(yīng)文件中的第4個(gè)列,并做轉(zhuǎn)為大寫的處理
            "full_name":    "concat(@3,' ',@4)",    ## 將文件中的第3,4列合并成一列生成表中字段值
            "gender":       "@5",                   ## 對應(yīng)文件中的第5個(gè)列
            "hire_date":    "@6",                   ## 對應(yīng)文件中的第6個(gè)列
            "modify_date":  "now()",                ## 用函數(shù)生成表中字段值
            "delete_flag":  "if(@6<'1988-01-01','Y','N')"  ## 基于文件中第6列做邏輯判斷,生成表中對應(yīng)字段值
        }
    })

3.2 并發(fā)導(dǎo)入

在實(shí)驗(yàn)并發(fā)導(dǎo)入前我們創(chuàng)建一張1000W的sbtest1表(大約2G數(shù)據(jù)),做并發(fā)模擬,import_table用threads參數(shù)作為并發(fā)配置, 默認(rèn)為8個(gè)并發(fā).

## 導(dǎo)出測試需要的sbtest1數(shù)據(jù)
[root@10-186-61-162 tmp]# ls -lh
總用量 1.9G
-rw-r----- 1 mysql mysql  579 3月  24 19:07 employees_01.csv
-rw-r----- 1 mysql mysql  584 3月  24 18:48 employees_02.csv
-rw-r----- 1 mysql mysql  576 3月  24 18:48 employees_03.csv
-rw-r----- 1 mysql mysql 1.9G 3月  26 17:15 sbtest1.csv
## 開啟threads為8個(gè)并發(fā)
util.import_table(
    [
        "/data/mysql/3306/tmp/sbtest1.csv",
    ],
    {
        "schema": "demo", 
        "table": "sbtest1",
        "dialect": "csv-unix",
        "skipRows": 0,
        "showProgress": True,
        "characterSet": "utf8mb4",
        "threads": "8"
    })

3.3 導(dǎo)入速率控制

可以通過maxRate和threads來控制每個(gè)并發(fā)線程的導(dǎo)入數(shù)據(jù),如,當(dāng)前配置線程為4個(gè),每個(gè)線程的速率為2M/s,則最高不會超過8M/s

util.import_table(
    [
        "/data/mysql/3306/tmp/sbtest1.csv",
    ],
    {
        "schema": "demo", 
        "table": "sbtest1",
        "dialect": "csv-unix",
        "skipRows": 0,
        "showProgress": True,
        "characterSet": "utf8mb4",
        "threads": "4",
        "maxRate": "2M"
    })

3.4 自定義chunk大小

默認(rèn)的chunk大小為50M,我們可以調(diào)整chunk的大小,減少事務(wù)大小,如我們將chunk大小調(diào)整為1M,則每個(gè)線程每次導(dǎo)入的數(shù)據(jù)量也相應(yīng)減少

util.import_table(
    [
        "/data/mysql/3306/tmp/sbtest1.csv",
    ],
    {
        "schema": "demo", 
        "table": "sbtest1",
        "dialect": "csv-unix",
        "skipRows": 0,
        "showProgress": True,
        "characterSet": "utf8mb4",
        "threads": "4",
        "bytesPerChunk": "1M",
        "maxRate": "2M"
    })

4. Load Data vs import_table性能對比

使用相同庫表
不對數(shù)據(jù)做特殊處理,原樣導(dǎo)入
不修改參數(shù)默認(rèn)值,只指定必備參數(shù)

-- Load Data語句
load data infile '/data/mysql/3306/tmp/sbtest1.csv'
into table demo.sbtest1
character set utf8mb4
fields terminated by ','
enclosed by '"'
lines terminated by '\n'
-- import_table語句
util.import_table(
    [
        "/data/mysql/3306/tmp/sbtest1.csv",
    ],
    {
        "schema": "demo", 
        "table": "sbtest1",
        "dialect": "csv-unix",
        "skipRows": 0,
        "showProgress": True,
        "characterSet": "utf8mb4"
    })

可以看到,Load Data耗時(shí)約5分鐘,而import_table則只要不到一半的時(shí)間即可完成數(shù)據(jù)導(dǎo)入,效率高一倍以上(虛擬機(jī)環(huán)境磁盤IO能力有限情況下)

以上就是MySQL Shell import_table數(shù)據(jù)導(dǎo)入詳情的詳細(xì)內(nèi)容，更多關(guān)于import_table數(shù)據(jù)導(dǎo)入的資料請關(guān)注本站其它相關(guān)文章！

香港服務(wù)器租用

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。

相關(guān)文章

mysql學(xué)習(xí)筆記之表的基本操作

centos編譯安裝mysql 5.6及安裝多個(gè)mysql實(shí)例詳解

mysql 5.7.11 winx64.zip安裝配置方法圖文教程

mysql 5.7.17 winx64.zip安裝配置方法圖文教程

CentOS安裝mysql5.7 及簡單配置教程詳解

MySQL 5.7 zip版本(zip版)安裝配置步驟詳解

MySQL5.6.31 winx64.zip 安裝配置教程詳解

MySQL注入繞開過濾的技巧總結(jié)

一次Mysql死鎖排查過程的全紀(jì)錄

Windows10 64位安裝MySQL5.6.35的圖文教程