史上最大！亞馬遜35PB資料倉儲上雲經驗首度大公開 | iThome | DevOps

史上最大！亞馬遜35PB資料倉儲上雲經驗首度大公開 | iThome (www.ithome.com.tw)

3 則討論 IngramChen 張貼於 5 years ago

IngramChen 積分 0

除了資料倉儲之外，Amazon也將過去沿用了20年關鍵核心財務系統用的Oracle資料庫，也都一併搬上AWS，總共搬遷多達93個資料庫、185個實例，累積120TB的資料量，現在都改使用DynamoDB雲端資料庫。經過改用新的資料庫以後，除了更易於管理，更高可靠，並且加快近一倍的反應處理時間，也替Amazon省下70%整體成本。

財務資料庫這種需要複雜的 query 怎麼轉到完全無法 query 的 NoSQL DynamoDB ??

回應 5 years ago

Kros 積分 0 編輯於 5 years ago

以這次35PB遷移經驗來說，Thomas Park坦言，光是要將這些資料全部搬遷到AWS環境，就花了1年多才完成，同時搬移的過程，還要確保整個資料倉儲服務不能中斷，能持續穩定運作，繼續提供原有的數據蒐集與分析服務。

這種情況通常怎麼做？例如：
1. 寫入資料時一律寫到新的資料庫
2. Query 時同時 Query 新/舊資料？

回應 5 years ago

IngramChen 積分 0

兩邊都寫，直到穩定
query 一開始只用舊的，後來會部份用新資料，最後才會全套用。

35PB 我猜大概八成以上都是 archive 的資料，這些資料就比較好搬了

回應 5 years ago

Kmark 語法說明

Kmark 是一個類似 Markdown 語法的格式，以下為提供的功能:

種類	語法	呈現
斜體	兩邊加單星	兩邊加單星
粗體	兩邊加雙星	兩邊加雙星
刪除線	~~兩邊加雙曲號~~	~~兩邊加雙曲號~~
引用	> 左邊加個大於符號	左邊加個大於符號
列表	* 可用星號 * 也可以 - 減號 * 數字加點也可以	可用星號也可以 - 減號數字加點也可以
固定寬字	`abcdefghijk` 兩邊用倒引號包住	`abcdefghijk`
編碼區塊	``` function abc() ``` 上下都用三個倒引號包住	`function abc()`
連結	[這是連結][1] [1]: http://example.com 連結第一部份是文字，先用中括號包住，後面再加上 [編號]。第二部份是連結本身，放在文末，開頭是 [編號]: http	這是連結1 1 http://example.com

Kmark 語法說明

Kmark 是一個類似 Markdown 語法的格式，以下為提供的功能:

種類	語法	呈現
斜體	兩邊加單星	兩邊加單星
粗體	兩邊加雙星	兩邊加雙星
刪除線	~~兩邊加雙曲號~~	~~兩邊加雙曲號~~
引用	> 左邊加個大於符號	左邊加個大於符號
列表	* 可用星號 * 也可以 - 減號 * 數字加點也可以	可用星號也可以 - 減號數字加點也可以
固定寬字	`abcdefghijk` 兩邊用倒引號包住	`abcdefghijk`
編碼區塊	``` function abc() ``` 上下都用三個倒引號包住	`function abc()`
連結	[這是連結][1] [1]: http://example.com 連結第一部份是文字，先用中括號包住，後面再加上 [編號]。第二部份是連結本身，放在文末，開頭是 [編號]: http	這是連結1 1 http://example.com