How the Wayback Machine works
Ini gue sih masih terkagum-kagum aja ama kerjaan orang yg bikin si Wayback Machine itu, lo bisa langsung juga sih baca artikelnya yg udah gue link di blog sebelum hari ini.
Intinya adalah, Internet Archive yand di pelopori oleh Brewster Kahle udah ngearsipin 5 tahun world wide web di sebuah database segede 100 terabytes dan hebatnya lagi database ini terbuka dan bisa diakses lewat web juga.
Berapa gede sebenernya 100 terabytes itu? Waks udah pasti gedeee banget 100 terabytes = 100 juta MB atau = 100 ribu GB.. hehe.. database that size, makes you wonder gimana mereka ngurusnya? Hardware macem apa yg mereka pake? Orang2x kayak gimana yg ngurusin itu semua dan ngapain mereka bikinn itu?
Well, gue rasa justru disitu inti jualan mereka, mereka ngegunain teknologi clustering, dimana daripada ngegunain satu super komputer mereka make ratusan (dalam hal ini hampir 400) komputer bekerja bersama. Jadi pikiran 400 pararel prosesor, 100 terabytes kapasitas hard disk dan ratusan giga memory bekerja bersama. Quiet a machine ya?
Mereka bikin sistem operasi mereka sendiri buat ngejalanin itu semua yang dikasih nama P2, sedang masing2x komputer itu jalan pake sistem operasi yang beda-beda, Solaris on x86, FreeBSD dan Linux.
Cool? Just wait.. mereka berencana ngedokumentasiin dan ngebuka arsip semua film, tv dan rekaman musik yang udah terjadi selama ini juga? Waks..