mysql千萬(wàn)級(jí)數(shù)據(jù)分頁(yè)查詢性能優(yōu)化
mysql數(shù)據(jù)量大時(shí)使用limit分頁(yè),隨著頁(yè)碼的增大,查詢效率越低下。
實(shí)驗(yàn)
1.直接使用用limit start, count分頁(yè)語(yǔ)句:
select * from order limit start, count
當(dāng)起始頁(yè)較小時(shí),查詢沒(méi)有性能問(wèn)題,我們分別看下從10, 100, 1000, 10000開始分頁(yè)的執(zhí)行時(shí)間(每頁(yè)取20條), 如下:
select * from order limit 10, 20 0.016秒 select * from order limit 100, 20 0.016秒 select * from order limit 1000, 20 0.047秒 select * from order limit 10000, 20 0.094秒
我們已經(jīng)看出隨著起始記錄的增加,時(shí)間也隨著增大, 這說(shuō)明分頁(yè)語(yǔ)句limit跟起始頁(yè)碼是有很大關(guān)系的,那么我們把起始記錄改為40w看下
select * from order limit 400000, 20 3.229秒
再看我們?nèi)∽詈笠豁?yè)記錄的時(shí)間
select * from order limit 800000, 20 37.44秒
顯然這種時(shí)間是無(wú)法忍受的。
從中我們也能總結(jié)出兩件事情:
1)limit語(yǔ)句的查詢時(shí)間與起始記錄的位置成正比
2)mysql的limit語(yǔ)句是很方便,但是對(duì)記錄很多的表并不適合直接使用。
2.對(duì)limit分頁(yè)問(wèn)題的性能優(yōu)化方法
利用表的覆蓋索引來(lái)加速分頁(yè)查詢
我們都知道,利用了索引查詢的語(yǔ)句中如果只包含了那個(gè)索引列(覆蓋索引),那么這種情況會(huì)查詢很快。
因?yàn)槔盟饕檎矣袃?yōu)化算法,且數(shù)據(jù)就在查詢索引上面,不用再去找相關(guān)的數(shù)據(jù)地址了,這樣節(jié)省了很多時(shí)間。另外Mysql中也有相關(guān)的索引緩存,在并發(fā)高的時(shí)候利用緩存就效果更好了。
在我們的例子中,我們知道id字段是主鍵,自然就包含了默認(rèn)的主鍵索引?,F(xiàn)在讓我們看看利用覆蓋索引的查詢效果如何:
這次我們之間查詢最后一頁(yè)的數(shù)據(jù)(利用覆蓋索引,只包含id列),如下:
select id from order limit 800000, 20 0.2秒
相對(duì)于查詢了所有列的37.44秒,提升了大概100多倍的速度
那么如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實(shí)際情況:
SELECT * FROM order WHERE ID > =(select id from order limit 800000, 1) limit 20
查詢時(shí)間為0.2秒,簡(jiǎn)直是一個(gè)質(zhì)的飛躍啊,哈哈
另一種寫法
SELECT * FROM order a JOIN (select id from order limit 800000, 20) b ON a.ID = b.id
查詢時(shí)間也很短
版權(quán)聲明:本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái),僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。
關(guān)注官方微信