mysql優化 - mysql 單表優化求方案
問題描述
背景數據量:數據量大約3000w+ ,數據大小10g,索引30g,如下圖。
需求:需要比較多的group by 操作和全量數據操作。
問題:各種group by 特別慢。
已嘗試方案:1:嘗試放es,但操作非常不方便。
2:數據表分表,成本比較大,從時間和業務角度都沒有比較好的分表方案。
3:讀寫分離,分離之后效果提升不大。
4:在嘗試postgresql,但需要業務較大的變動,暫未試試。
求存儲或者優化方案,最好是存儲在mysql上優化,其他存儲介質也可以。
問題解答
回答1:大表優化無非就建索引、數據水平切分、豎直切分,該用的你都測了,沒見你把表結構和索引截出來也不好說,索引不要建太多。建議是從業務層面上去優化,看是否需要分頁,即使是全量數據操作,用預統計是否合適,是否需要冗余字段來讓group by更充分利用索引。
回答2:group by 優化方案Loose Index Scan和Tight Index Scan 。中文叫做松散索引掃描和緊湊索引掃描具體可以參考官方文檔http://dev.mysql.com/doc/refm...
回答3:sphinx 試試?
回答4:postgresql對多表關聯和count支持速度怎樣?測試的mysql多表關聯,慢!索引優化確實很關鍵;還有就是多表關聯后的視圖,排序、count分頁等速度更加難以想象。這里想回問下你們怎么解決多表關聯、視圖、分頁的問題,看樣索引是真沒少建啊。
回答5:該用的你都測試了,全量數據操作我也沒想出來什么好的辦法了。對于group by操作,如果是固定的sql(業務需要),
1)可以考慮用存儲過程將常用sql的結果定時生成新表的數據。2)將常用的sql字段分拆,再優化
相關文章:
1. javascript - 在ie下為什么會出現這種情況呢 《 無法獲取未定義或 null 引用的屬性“length”》 ?請大神指教。2. 數據庫 - Mysql的存儲過程真的是個坑!求助下面的存儲過程哪里錯啦,實在是找不到哪里的問題了。3. javascript - 我是做web前端的,公司最近有一個項目關于數據統計的!4. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)5. javascript - 只是想用node建立一個簡單的服務器6. javascript - vuejs+elementui 購物車價格計算,點擊加減號修改數量總價都不會改變,但是計算執行了7. javascript - vue過渡效果 css過渡 類名的先后順序8. css右浮動字的順序顛倒了9. html5和Flash對抗是什么情況?10. javascript - 如何使用loadash對[object,object,object]形式的數組進行比較
