MySQL sharding at Quora - Engineering at Quora - Quora | DevOps

MySQL sharding at Quora - Engineering at Quora - Quora (www.quora.com)

11 則討論 IngramChen 張貼於 4 years ago

IngramChen 積分 1

為了 sharding 所以資料都不 join

跟裡面的留言一樣，我也覺得這些大 table 搬到 NoSQL 才是。但他們回 HBase 不太行。啊本來就不該用 HBase 吧，大概是不想再增加技術門檻了才不想換，從他們選擇自己做 shard 就知道 (NIH...)。

其實我還以為 quora 已經死掉了，你 google 去找根本很少是 quora 的文章說

回應 4 years ago

kaif 積分 1

我覺得關鍵還是主事者熟悉哪一套技術吧，真的量大一定都還是要人下去 tune，就算用AWS黑科技 auroa/dynamodb一樣會爛。

例如之前 mongodb 很紅的時候很多人以為用了就無敵了，後來用下去也是該踩的雷都少不了 (雖然以這題來說感覺蠻適合的)

回應 4 years ago

koji 積分 0

最近看同事在碰resharding...在 RDBMS 又是應用層內部做的。好想加加新機器就搞定～

回應 4 years ago

kaif 積分 0

之前也在應用層做 sharding，為了相容原本用 JPA 的 code 只好做了 sharding 版本的 TransactionManager, EntityManager 什麼的

回應 4 years ago

kaif 積分 0

不過我們沒有做到 resharding 那麼高級，只能條新建立的 weight 而已 xd

回應 4 years ago

kakashi 積分 0

我也覺得應該是熟悉程度的問題，像是對岸的面試題，可以看到一堆 MySQL 分庫分表，但也許有些場景用 NoSQL/newSQL，甚至 graph database 都比較好解。

回應 4 years ago

chao 積分 1

大table除了NoSQL，也可以考慮放到clickhouse，partition設計的好跟用MySQL幾乎一樣。

回應 4 years ago

IngramChen 積分 0

clickhouse 看起來是給分析用的啊

回應 4 years ago

chao 積分 1

對，算是可以用於OLAP的DB，但同時也可以針對數十億、甚至上百億筆的資料去運算。

這是剛剛查詢一個大約千億筆資料的performance: 1. 單純count - 112.97 billion rows/s 2. 使用DATE做group by - 4.94 billion rows/s

回應 4 years ago

IngramChen 積分 0

olap 能處理大資料, 但不能處理大量 request

你貼的那個範例應該不可能放在 quora站上讓一般用戶即時查看吧

回應 4 years ago

chao 積分 0

你的說的沒錯哈

回應 4 years ago

Kmark 是一個類似 Markdown 語法的格式，以下為提供的功能:

種類	語法	呈現
斜體	兩邊加單星	兩邊加單星
粗體	兩邊加雙星	兩邊加雙星
刪除線	~~兩邊加雙曲號~~	~~兩邊加雙曲號~~
引用	> 左邊加個大於符號	左邊加個大於符號
列表	* 可用星號 * 也可以 - 減號 * 數字加點也可以	可用星號也可以 - 減號數字加點也可以
固定寬字	`abcdefghijk` 兩邊用倒引號包住	`abcdefghijk`
編碼區塊	``` function abc() ``` 上下都用三個倒引號包住	`function abc()`
連結	[這是連結][1] [1]: http://example.com 連結第一部份是文字，先用中括號包住，後面再加上 [編號]。第二部份是連結本身，放在文末，開頭是 [編號]: http	這是連結1 1 http://example.com

Kmark 是一個類似 Markdown 語法的格式，以下為提供的功能:

種類	語法	呈現
斜體	兩邊加單星	兩邊加單星
粗體	兩邊加雙星	兩邊加雙星
刪除線	~~兩邊加雙曲號~~	~~兩邊加雙曲號~~
引用	> 左邊加個大於符號	左邊加個大於符號
列表	* 可用星號 * 也可以 - 減號 * 數字加點也可以	可用星號也可以 - 減號數字加點也可以
固定寬字	`abcdefghijk` 兩邊用倒引號包住	`abcdefghijk`
編碼區塊	``` function abc() ``` 上下都用三個倒引號包住	`function abc()`
連結	[這是連結][1] [1]: http://example.com 連結第一部份是文字，先用中括號包住，後面再加上 [編號]。第二部份是連結本身，放在文末，開頭是 [編號]: http	這是連結1 1 http://example.com