IngramChen 積分 0

大家都在猜背後是什麼技術做的, 還有猜是 postgres

kaif 積分 1

In both occasions neither OpsManager nor Mongo’s support agents were able to help us much, and we ended up solving the problem ourselves – in one case thanks to a member of the team picking up the phone from a desert on the outskirts of Abu Dhabi. 怨念很深

反正還是很賺錢沒差1

IngramChen 積分 0
  1. 兩邊都寫,直到穩定
  2. query 一開始只用舊的,後來會部份用新資料,最後才會全套用。

35PB 我猜大概八成以上都是 archive 的資料,這些資料就比較好搬了

Kros 積分 0 編輯於

以這次35PB遷移經驗來說,Thomas Park坦言,光是要將這些資料全部搬遷到AWS環境,就花了1年多才完成,同時搬移的過程,還要確保整個資料倉儲服務不能中斷,能持續穩定運作,繼續提供原有的數據蒐集與分析服務。

這種情況通常怎麼做?例如:
1. 寫入資料時一律寫到新的資料庫
2. Query 時同時 Query 新/舊資料?

IngramChen 積分 0

除了資料倉儲之外,Amazon也將過去沿用了20年關鍵核心財務系統用的Oracle資料庫,也都一併搬上AWS,總共搬遷多達93個資料庫、185個實例,累積120TB的資料量,現在都改使用DynamoDB雲端資料庫。經過改用新的資料庫以後,除了更易於管理,更高可靠,並且加快近一倍的反應處理時間,也替Amazon省下70%整體成本。

財務資料庫這種需要複雜的 query 怎麼轉到完全無法 query 的 NoSQL DynamoDB ??

haocheng 積分 0 編輯於

AWS 會對 EC2 Amazon Linux 上的 OpenJDK 8/11 提供支援到 2023 年

we re-affirm that the OpenJDK 8 and OpenJDK 11 Java runtimes in Amazon Linux 2 will continue to receive free long-term support from Amazon until at least June 30, 2023.

IngramChen 積分 0

還不大清楚怎麼用...

怎麼不像 gcp 一樣簡單咧

haocheng 積分 0

覺得應該是為了 docker 吧,之前很多人改用 Alpine Linux 就是因為 docker image 小很多,現在 Ubuntu 也跟上潮流瘦身了 XD

IngramChen 積分 0

沒有 vagrant 啊, 怎麼玩, 只能 docker?

haocheng 積分 0

最小只要 28M 的 Ubuntu image!

haocheng 積分 0

之前是 ECS,EKS 是支援 K8S 的服務,最近才推出

IngramChen 積分 0

這不是一直都有嗎?還是我錯過了什麼

qrtt1 積分 1

cloud sql 去年事故持續時間至少 3 小時起跳,還是再觀望觀望吧qq

IngramChen 積分 0

不選 GCP 的理由越來越少啦!

IngramChen 積分 0

謝資源

Uber發現把Cassandra直接運行在服務器上,與把它運行在用Mesos管理的容器中相比,兩者幾乎沒有什麼性能差別,只有5-10%的損耗。

性能看起來不錯,平均讀延遲13ms,寫延遲25ms,99%的測試數據都很令人滿意

有點矛盾,write latency 在 cassandra 裡大概都是個位數 ms 或更低,高到 25ms 有點離譜。大概真的是 container 的代價吧,不過他們的目標是 scale up,而不是快。也真的做到了。

對於Uber來說做這個決定並不是那麼困難。他們現金流非常充裕,所以能夠請得到頂尖的人才,可以獲得所需要的最好資源,以此來創建、維護以及更新這樣複雜的系統

有錢才能這樣玩…

IngramChen 積分 0

所以我覺得放 cassandra 到 container 有點怪怪的,不曉得實務上有沒有人這樣做...

kaif 積分 0

這種特定用途的cluster都有搭配的管理系統, e.g., mesos...

kaif 積分 0

DB花一堆功夫tune disk IO結果被丟到抽象層裡qq 這跟是不是NoSQL無關阿,除非是redis只吃ram就沒話說

IngramChen 積分 0

不用道歉啦,是這邊的請求比較無恥...

可以請問你佈署的 spark cluster 有多大嗎?資料在哪個量級。

當然這是商業機密的一環,不能說的話就不用回答了

linus 積分 1

抱歉, 我只有 spark + docker + kubernates 的經驗, 也希望台灣的各大神能分享 NoSQL DB 在 kubernates 上的實務喔.