グーグル社員「Googleのシステムは10億個のファイル・20億行のコード・合計86TBでできている」
アプリ、ネットサービス│20:02│コメント(16)
1 ： 海江田三郎 ★ ：2015/09/18(金) 09:44:26.71 ID:???.net
http://gigazine.net/news/20150918-google-2billion-code/
Googleのエンジニアリング・マネージャーであるレイチェル・ポートヴィンさんが、「The Motivation for a Monolithic Codebase」と題した講演の中で、Googleのシステムが86TB(テラバイト)でできていることを明かしました。
講演ムービーはコレ。話は5つのテーマに分けて行われていて、Googleのリポジトリについての話は1番目、3分過ぎから始まります。
2015年1月時点で、総ファイル数は10億、ソースファイルの数は900万、コードは20億行あり、3500万回のコミットがあって、内容は86TBあるとのこと。そして、営業日1日に対してのコミット回数は4万5000回。
累積コミット数のグラフはこんな感じ。左側の回数目盛りは40までですが、それぞれ1目盛りが1000万回分に相当。2000年1月1日からの数字ですが、コミットが1000万回を越えたのは2012年ごろのこと。回数はぐんぐん増えていて、2015年1月時点で3500万回まで増えています。
Googleで働く「Googler」は2万5000人、世界に12あるオフィスで働いています。1日あたりのコミット回数は4万5000回とありましたが、そのうち1万5000回が人間の手によるもの、3万回が自動化されたシステムによるもの。ファイルリードリクエストは1日に10億回で、ピーク時には80万QPS(秒間クエリ処理数)に到達するとのこと。
これが1週間のコミット数を、人の手によるものと全体とを分けてグラフ化したもの。単位は1000回なので、だいたい人の手によるコミットは週間7万5000回ほどLinuxのカーネルが4万ファイルで1500万行あるのに対して、Googleのリポジトリは25万ファイル・1500万行が人の手によって毎週変更されています。累計のサイズは900万ファイルで20億行にもなります。
Windowsの公式Facebookページによると、Windows XPは4500万行のコードでできていたとのこと数字だけを単純に比較すると、Googleは3週間でWindows XP全体に相当する量のリポジトリを変更している、ということになります。
http://gigazine.net/news/20150918-google-2billion-code/
Googleのエンジニアリング・マネージャーであるレイチェル・ポートヴィンさんが、「The Motivation for a Monolithic Codebase」と題した講演の中で、Googleのシステムが86TB(テラバイト)でできていることを明かしました。
講演ムービーはコレ。話は5つのテーマに分けて行われていて、Googleのリポジトリについての話は1番目、3分過ぎから始まります。
2015年1月時点で、総ファイル数は10億、ソースファイルの数は900万、コードは20億行あり、3500万回のコミットがあって、内容は86TBあるとのこと。そして、営業日1日に対してのコミット回数は4万5000回。
累積コミット数のグラフはこんな感じ。左側の回数目盛りは40までですが、それぞれ1目盛りが1000万回分に相当。2000年1月1日からの数字ですが、コミットが1000万回を越えたのは2012年ごろのこと。回数はぐんぐん増えていて、2015年1月時点で3500万回まで増えています。
Googleで働く「Googler」は2万5000人、世界に12あるオフィスで働いています。1日あたりのコミット回数は4万5000回とありましたが、そのうち1万5000回が人間の手によるもの、3万回が自動化されたシステムによるもの。ファイルリードリクエストは1日に10億回で、ピーク時には80万QPS(秒間クエリ処理数)に到達するとのこと。
これが1週間のコミット数を、人の手によるものと全体とを分けてグラフ化したもの。単位は1000回なので、だいたい人の手によるコミットは週間7万5000回ほどLinuxのカーネルが4万ファイルで1500万行あるのに対して、Googleのリポジトリは25万ファイル・1500万行が人の手によって毎週変更されています。累計のサイズは900万ファイルで20億行にもなります。
Windowsの公式Facebookページによると、Windows XPは4500万行のコードでできていたとのこと数字だけを単純に比較すると、Googleは3週間でWindows XP全体に相当する量のリポジトリを変更している、ということになります。
転載元スレッド：http://anago.2ch.sc/test/read.cgi/bizplus/1442537066/
【IT】グーグルエンジニアリング・マネージャー「Googleのシステムは10億個のファイル・20億行のコード・合計86TBでできている」
【IT】グーグルエンジニアリング・マネージャー「Googleのシステムは10億個のファイル・20億行のコード・合計86TBでできている」
2 ： 名刺は切らしておりまして ：2015/09/18(金) 09:46:19.22 ID:rIeJ3HhX.net
要約 私の戦闘力は530000です
3 ： 名刺は切らしておりまして ：2015/09/18(金) 09:46:59.60 ID:tzxk9RVc.net
そんなボリュームあるのにさくさく動くのか
4 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:47:12.05 ID:pr+8YDkK.net
86TB
え、そんなもんなのか？
嘘だろ
5 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:49:07.86 ID:2lIGWHjP.net
>>4
プログラムだけでってことだろ
データはもっとあるやろ
86TB
え、そんなもんなのか？
嘘だろ
5 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:49:07.86 ID:2lIGWHjP.net
>>4
プログラムだけでってことだろ
データはもっとあるやろ
6 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:53:05.68 ID:CnL4KkVi.net
あの検索の結果を人の手でやってたなんて、凄いよな
7 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:53:31.05 ID:S0O+9n5b.net
オラクル居そう
8 ： 名刺は切らしておりまして ：2015/09/18(金) 09:53:53.07 ID:3gjg4199.net
思ったより規模が小さいな
9 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:54:30.61 ID:D/aNQ0de.net
20億行/10億ファイル
1ファイルあたり2行のファイル
23 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:33:35.59 ID:+G/4v29V.net
>>9
＞ ソースファイルの数は900万
24 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:33:42.05 ID:fzqNTgXU.net
>>9
ソースファイルは900万だよ
20億行/10億ファイル
1ファイルあたり2行のファイル
23 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:33:35.59 ID:+G/4v29V.net
>>9
＞ ソースファイルの数は900万
24 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:33:42.05 ID:fzqNTgXU.net
>>9
ソースファイルは900万だよ
11 ： 名刺は切らしておりまして ：2015/09/18(金) 10:02:45.65 ID:nZbVlcbM.net
すげぇちょっと想像できねぇ
12 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:06:19.11 ID:FBjMuWdR.net
システムがでかくなるのはスパゲティバカだらけの証拠
「これだけの多様なものがほんのこれだけのもので動いています」「すげー、さすがー」だろ普通
17 ： 名刺は切らしておりまして ：2015/09/18(金) 10:13:51.51 ID:PQ9kjkod.net
>>12
馬鹿は口挟まなくていいよ。
18 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:17:57.35 ID:jO8YsKoO.net
>>12
似たような処理を何度も繰り返すような、スパゲティコードの結果のファイルサイズではないと思うけど
そんなレベルのものはgoogleじゃコミットされないはず
19 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:26:27.61 ID:+G/4v29V.net
>>12
システム全体がこの程度で済んでるんだから、どう考えても小さいだろ
21 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:30:15.00 ID:z99E705i.net
>>18
こんだけデカイシステムだと似たようなコードが入り込む余地は十分あると思うけどな。
逆にスピード重視（ちょっと実装して試してダメならすぐ捨てる）っぽいから、
共通化に力を入れると効率を落とすと思う。
システムがでかくなるのはスパゲティバカだらけの証拠
「これだけの多様なものがほんのこれだけのもので動いています」「すげー、さすがー」だろ普通
17 ： 名刺は切らしておりまして ：2015/09/18(金) 10:13:51.51 ID:PQ9kjkod.net
>>12
馬鹿は口挟まなくていいよ。
18 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:17:57.35 ID:jO8YsKoO.net
>>12
似たような処理を何度も繰り返すような、スパゲティコードの結果のファイルサイズではないと思うけど
そんなレベルのものはgoogleじゃコミットされないはず
19 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:26:27.61 ID:+G/4v29V.net
>>12
システム全体がこの程度で済んでるんだから、どう考えても小さいだろ
21 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:30:15.00 ID:z99E705i.net
>>18
こんだけデカイシステムだと似たようなコードが入り込む余地は十分あると思うけどな。
逆にスピード重視（ちょっと実装して試してダメならすぐ捨てる）っぽいから、
共通化に力を入れると効率を落とすと思う。
13 ： 名刺は切らしておりまして ：2015/09/18(金) 10:06:38.21 ID:7U+PYOpn.net
小さな変更じっとpush
14 ： 名刺は切らしておりまして ：2015/09/18(金) 10:10:54.74 ID:ETSKi6ed.net
Googleの人が書いたソースはコメントがしっかり入ってるからメンテはし易いんだろうな
15 ： 名刺は切らしておりまして ：2015/09/18(金) 10:11:19.56 ID:6OdINof5.net
恐ろしいコミット回数
自動運転で対抗するのは大変だな
20 ： 名刺は切らしておりまして ：2015/09/18(金) 10:30:02.64 ID:eyXCLY0H.net
検索だけで？
それとも他のも全部入ってんの？
22 ： 名刺は切らしておりまして ：2015/09/18(金) 10:31:21.70 ID:eyXCLY0H.net
スパゲティ回避のためにオブジェクト指向やリファクタリングが出来た。
ってもそれももう古いのかもしれんけど
25 ： 名刺は切らしておりまして ：2015/09/18(金) 10:34:19.13 ID:eyXCLY0H.net
ヤホーなんてその昔ウェブサーファーなる職種があって
文字通り手でサイト見つけてDBに登録してたらしいからな。
俺っちサーファー、息抜きにはスタバ外せねえっす、みたいな
雑誌のインタビュー見た記憶がある。
26 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:40:09.24 ID:bmIJvuj+.net
でか過ぎる。640KBのメモリがあれば十分なはずだ
27 ： 名刺は切らしておりまして ：2015/09/18(金) 10:41:15.62 ID:PQ9kjkod.net
>>26
寝言は寝てから言えよ
30 ： 名刺は切らしておりまして ：2015/09/18(金) 10:45:01.96 ID:6H7hsCvu.net
>>26
EMSメモリ買えよ
36 ： 名刺は切らしておりまして ：2015/09/18(金) 11:00:04.11 ID:57C0p1um.net
>>30
いや、バンク切り替えだろ
37 ： 名刺は切らしておりまして ：2015/09/18(金) 11:04:57.02 ID:ai8YHHxa.net
>>36
EMSメモリってバンク切り替えだぞ。知ったか乙。
46 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 12:47:42.00 ID:dwCAcL5N.net
>>26
背中に挿すメモリー 買うしかないな
たしか2メガと4メガあったはす
あとお金あるなら コプロも
でか過ぎる。640KBのメモリがあれば十分なはずだ
27 ： 名刺は切らしておりまして ：2015/09/18(金) 10:41:15.62 ID:PQ9kjkod.net
>>26
寝言は寝てから言えよ
30 ： 名刺は切らしておりまして ：2015/09/18(金) 10:45:01.96 ID:6H7hsCvu.net
>>26
EMSメモリ買えよ
36 ： 名刺は切らしておりまして ：2015/09/18(金) 11:00:04.11 ID:57C0p1um.net
>>30
いや、バンク切り替えだろ
37 ： 名刺は切らしておりまして ：2015/09/18(金) 11:04:57.02 ID:ai8YHHxa.net
>>36
EMSメモリってバンク切り替えだぞ。知ったか乙。
46 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 12:47:42.00 ID:dwCAcL5N.net
>>26
背中に挿すメモリー 買うしかないな
たしか2メガと4メガあったはす
あとお金あるなら コプロも
28 ： 名刺は切らしておりまして ：2015/09/18(金) 10:44:17.88 ID:u93I78dz.net
半分はやさしさだろ
29 ： 名刺は切らしておりまして ：2015/09/18(金) 10:44:35.46 ID:eyXCLY0H.net
ソースの言語は？Python?
31 ： 名刺は切らしておりまして ：2015/09/18(金) 10:48:31.23 ID:eyXCLY0H.net
DB は何使ってんだろ？ Postgres ？
34 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:54:15.25 ID:AZB2t80V.net
>>31
RDMSなんか使ってない。自前で開発したのを使ってるよ。
Google が NoSQLの基礎を築いた
DB は何使ってんだろ？ Postgres ？
34 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:54:15.25 ID:AZB2t80V.net
>>31
RDMSなんか使ってない。自前で開発したのを使ってるよ。
Google が NoSQLの基礎を築いた
32 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:50:13.04 ID:AZB2t80V.net
80兆バイト÷20億行＝4万バイト
一行辺り40KBって、くっそ長いコードだなって思ったら総ファイル容量か。
バイナリも含むリポジトリ全体ってことね。
35 ： 名刺は切らしておりまして ：2015/09/18(金) 10:59:24.47 ID:57C0p1um.net
そんな巨大ソフトちゃんと動かすなんて神の領域
38 ： 名刺は切らしておりまして ：2015/09/18(金) 11:08:06.67 ID:rLBwHRf+.net
いったい何をそんなに書き換えてるんだろう？
39 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 11:14:43.14 ID:5R0wVoXj.net
毎時4300万本のカセットテープにバックアップ
ピーギョーーー
40 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 11:15:45.15 ID:2s3SAsWo.net
すーなのあーらーしーにー
かくさーれたー
ぐーぐるほんしゃにすんでいる
41 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 11:16:56.77 ID:EYMZuZyJ.net
コードどころか
関数そのものがあっちの世界だからなあ、グーグルの基幹システムは
49 ： 名刺は切らしておりまして ：2015/09/18(金) 13:10:31.93 ID:PPQM66so.net
>>41
インド人が得意な、超絶再帰コードは怖い。行数は少ないんだけどループから抜ける条件がよくわからなかったりする。
コードどころか
関数そのものがあっちの世界だからなあ、グーグルの基幹システムは
49 ： 名刺は切らしておりまして ：2015/09/18(金) 13:10:31.93 ID:PPQM66so.net
>>41
インド人が得意な、超絶再帰コードは怖い。行数は少ないんだけどループから抜ける条件がよくわからなかったりする。
42 ： 名刺は切らしておりまして ：2015/09/18(金) 11:32:17.54 ID:VnCphEwI.net
この場合のコミットって何を意味してるんだ？
書き換え？
43 ： 名刺は切らしておりまして ：2015/09/18(金) 11:58:29.57 ID:y90C/Sfk.net
ライザップも真っ青
44 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 12:14:11.61 ID:CnL4KkVi.net
プログラミング自体が自動化生成されてない時点で時代遅れ
45 ： 名刺は切らしておりまして ：2015/09/18(金) 12:30:09.07 ID:WstQkgLt.net
>>44
馬鹿の負け惜しみみたいなレスだな
元祖オワタあんてな復活
http://news.owata-net.com/
気になるAmazonの本
バージョン管理ソフトだろ