Google Web Server (GWS) – co wiemy o serwerze WWW od Google?

Google Web Server (GWS) to autorskie, zamknięte oprogramowanie serwerowe stworzone przez Google w celu obsługi gigantycznego ruchu generowanego przez ich własne usługi internetowe. System ten działa wyłącznie w wewnętrznej infrastrukturze firmy, odpowiadając za przyjmowanie i błyskawiczne kierowanie zapytań użytkowników do odpowiednich centrów danych na całym świecie.

Oprogramowanie to stanowi absolutny fundament działania wyszukiwarki, poczty Gmail czy serwisu YouTube. GWS nie jest dostępne na wolnym rynku. Nikt poza inżynierami z Mountain View nie ma dostępu do jego kodu źródłowego. Wiele firm technologicznych próbuje replikować wydajność tego rozwiązania za pomocą ogólnodostępnych narzędzi. Prawda jest zresztą absolutnie taka, że skopiowanie tej architektury w warunkach zwykłego biznesu B2B graniczy z absurdem. Google zbudowało coś, co ignoruje standardowe ograniczenia sprzętowe.

Co to jest Google Web Server (GWS) i dlaczego nie możesz go kupić?

Decyzja o ukryciu kodu GWS przed światem ma bardzo proste podłoże biznesowe. Udostępnienie tak potężnego narzędzia konkurencji oznaczałoby oddanie przewagi technologicznej wypracowywanej przez dwie dekady. Zwykły serwer WWW od Google jest hiper-zoptymalizowany pod bardzo specyficzny sprzęt. Działa ściśle z autorskimi kartami sieciowymi, zmodyfikowanym systemem Linux i potężnymi systemami rozpraszania ruchu.

Pamiętam zeszłą jesień, gdy próbowaliśmy zdiagnozować dziwne spadki wydajności na naszym klastrze Nginx w firmie. Zaczęliśmy analizować dostępne strzępki informacji o tym, jak Google radzi sobie z problemem masowych zapytań HTTP. Szukaliśmy gotowych rozwiązań. Szybko dotarło do nas, że GWS operuje na zupełnie innym poziomie abstrakcji. My łataliśmy dziury w plikach konfiguracyjnych. Oni mają serwer wtopiony niemal bezpośrednio w jądro systemu operacyjnego. To zmienia postać rzeczy.

GWS odrzuca uniwersalność. Narzędzia takie jak Apache muszą działać u każdego na dowolnym sprzęcie. GWS musi działać tylko na maszynach Google. Ta wąska specjalizacja pozwala na wycięcie z kodu milionów zbędnych linijek obsługujących przestarzałe moduły. Oprogramowanie staje się lekkie. Działa bez oporu.

Na czym bazuje architektura serwera WWW od Google?

Przez lata w branży IT krążyła plotka, że GWS to po prostu mocno zmodyfikowany Apache. Prawda wygląda inaczej. O ile bardzo wczesne wersje infrastruktury firmy mogły opierać się na otwartych rozwiązaniach, o tyle obecny Google Web Server to autorski kod napisany głównie w języku C++. Został zbudowany od zera po to, by obsługiwać asynchroniczne żądania sieciowe na skalę, jakiej nikt wcześniej nie testował w warunkach produkcyjnych.

System operacyjny pod spodem to gLinux. Jest to wewnętrzna dystrybucja bazująca na Debianie (wcześniej używano Goobuntu bazującego na Ubuntu). GWS nie działa w próżni. Współpracuje z potężnymi warstwami infrastruktury chmurowej.

Architektura jest całkowicie rozproszona. Kiedy wpisujesz hasło w wyszukiwarkę, twoje zapytanie nie trafia do jednego konkretnego komputera. GWS pełni tutaj rolę inteligentnego routera i serwera proxy. Przyjmuje pakiety, analizuje je i natychmiast deleguje zadania do tysięcy mniejszych mikroserwisów w tle. Następnie zbiera wyniki i wypluwa je na twój ekran w ułamku sekundy.

Jak GWS radzi sobie z miliardami zapytań dziennie?

Odpowiedź leży w brutalnym odchudzeniu protokołów. Inżynierowie z Mountain View nie czekają na standardy rynkowe. Oni je wymuszają. Właśnie po to stworzyli protokół QUIC, który z czasem wyewoluował w HTTP/3. GWS natywnie obsługuje te technologie na poziomie kernela, gubiąc narzut czasowy związany ze standardowym nawiązywaniem połączeń TCP.

Zwróćmy uwagę na mechanikę działania tego systemu na poziomie operacyjnym:

• GWS wycina z nagłówków HTTP absolutnie wszystko, co nie jest potrzebne do zrealizowania konkretnego żądania. Zmniejsza to rozmiar pakietów o bez mała kilkadziesiąt procent w skali globalnej.
• System używa zaawansowanych algorytmów sterowania zatłoczeniem TCP BBR (Bottleneck Bandwidth and Round-trip propagation time).
• Zamiast czekać na odpowiedź z dysku, serwer WWW od Google utrzymuje najpopularniejsze wyniki wyszukiwania i zasoby bezpośrednio w bardzo drogiej pamięci RAM.
• Oprogramowanie ma wbudowane mechanizmy ignorowania ruchu o niskim priorytecie w momencie wykrycia ataku DDoS na centrum danych.

To podejście daje im ogromną przewagę. Zmienili te zasady na robocie. Nie pisali elaboratów o potrzebie optymalizacji, tylko wdrożyli własny algorytm BBR i zmusili resztę świata do gonienia ich wyników.

Czy Google Web Server to obecnie najpopularniejszy serwer na świecie?

Statystyki bywają złudne. W badaniach udziału w rynku prowadzonych przez firmy takie jak Netcraft, GWS regularnie zajmuje wysokie pozycje. Często odpowiada za grubo ponad dziesięć procent całego ruchu w internecie. Wynika to z prostego faktu. Każdy użytkownik ładujący wyszukiwarkę, sprawdzający pocztę czy odpalający film na YouTube generuje ruch dla GWS.

Z drugiej strony, jeśli policzymy unikalne domeny publiczne, Apache i Nginx deklasują rozwiązanie Google. GWS obsługuje relatywnie małą liczbę domen, ale te domeny generują potężny, niewyobrażalny dla zwykłego admina ruch. To maszyna do przerobu miliardów małych zapytań tekstowych.

Zastanawiacie się zresztą, dlaczego to na produkcji tak wyje na testach po drodze u zwykłych firm? Sam się nad tym borykałem dzisiaj u siebie w biurze. Mniejsze firmy próbują naśladować wielkich graczy, wrzucając Nginxa przed aplikacje napisane w Pythonie lub PHP. Brakuje im jednak wiedzy o tym, jak Google optymalizuje warstwę transportową sieci. Pakiety gubią się na starych routerach, a czas odpowiedzi rośnie. GWS rozwiązuje ten problem posiadając własne kable na dnie oceanów.

Jakie technologie wspierają działanie GWS w centrach danych?

Serwer WWW od Google jest tylko wierzchołkiem góry lodowej. Pod spodem działa Borg. To wewnętrzny system zarządzania klastrami, z którego narodził się znany dziś Kubernetes. Borg decyduje, na której fizycznej maszynie uruchomić kolejną instancję GWS w zależności od obciążenia procesorów.

Znajomy inżynier pracujący kiedyś przy dużych wdrożeniach sieciowych powiedział mi wprost: „Zrozumienie GWS bez zrozumienia Borga nie ma sensu. Ten serwer to tylko cienka warstwa kleju między użytkownikiem a gigantyczną siecią neuronową ukrytą w piwnicach centrów danych”.

GWS integruje się bezpośrednio z systemami buforowania rozproszonego. Kiedy zapytanie trafia na serwer, GWS wie z prawdopodobieństwem bliskim pewności, czy odpowiedź znajduje się w lokalnym węźle pamięci podręcznej, czy musi wysłać żądanie głębiej. Skraca to drogę sygnału. Zmniejsza opóźnienia.

Dlaczego inżynierowie Google ukrywają specyfikację swojego serwera WWW?

To nie jest tylko kwestia bezpieczeństwa. Oczywiście, ukryty kod jest trudniejszy do przeanalizowania przez hakerów szukających podatności typu zero-day. Chodzi o coś zupełnie innego. Google traktuje swoją infrastrukturę jako główny produkt. Wyszukiwarka jest darmowa. To infrastruktura chmurowa, szybkość i precyzja są tym, co naprawdę sprzedają reklamodawcom.

Wydanie GWS w modelu Open Source wymusiłoby na Google dostosowanie kodu do potrzeb społeczności. Musieliby pisać dokumentację dla zewnętrznych deweloperów. Musieliby odpowiadać na zgłoszenia błędów od ludzi uruchamiających serwer na tanich VPS-ach. To całkowite marnowanie zasobów z ich perspektywy.

Zamiast tego trzymają wszystko pod kluczem. Kod rozwija się dokładnie w takim kierunku, jakiego wymaga biznes. Jeśli nowy model sztucznej inteligencji wymaga zmiany sposobu, w jaki serwer WWW od Google parsuje żądania POST, inżynierowie po prostu to kodują. Nie pytają nikogo o zgodę na komitetach standaryzacyjnych. Zmieniają kod w poniedziałek, a we wtorek nowy GWS działa już na milionie maszyn.

Co się stanie, gdy GWS ulegnie awarii?

Awarie się zdarzają. Nawet w Google. Chociaż prawdę mówiąc brakuje nam twardych danych o wewnętrznych wskaźnikach błędów z ostatnich miesięcy, więc wydaje się to tylko hipotezą opartą na zewnętrznych obserwacjach. Gdy pojedyncza instancja GWS pada, użytkownik nawet tego nie zauważa.

Ruch jest natychmiast przekierowywany przez zewnętrzne systemy równoważenia obciążenia (Global Load Balancers) do innej, zdrowej maszyny. Utrata jednego klastra GWS w Europie sprawi po prostu, że żądania popłyną do centrum danych w innej części kontynentu. Opóźnienie wzrośnie o kilkanaście milisekund. Ty jako użytkownik zobaczysz stronę z wynikami nieco później. Mówimy tu o ułamkach sekund.

GWS to potężna maszyna, o której wiemy stosunkowo niewiele, ale której używamy każdego dnia. Zamiast szukać magicznych sposobów na instalację GWS na własnym serwerze, branża powinna skupić się na zrozumieniu filozofii, która za nim stoi. Mniej znaczy więcej. Szybkość to funkcja usuniętego kodu. Konfiguracja sprzętowa musi idealnie pasować do oprogramowania.

Najczęściej zadawane pytania (FAQ)

• Co to jest Google Web Server (GWS)?
  GWS to autorskie, zamknięte oprogramowanie serwerowe stworzone przez Google do obsługi ruchu w ich własnych usługach, takich jak Wyszukiwarka czy Google Drive.
• Czy mogę pobrać i zainstalować GWS?
  Nie. Google Web Server to oprogramowanie wewnętrzne firmy i nie jest dostępne publicznie w modelu Open Source ani w sprzedaży komercyjnej.
• Czy GWS jest oparte na Apache?
  Obecnie GWS to autorski kod napisany w C++. Choć wczesne wersje mogły inspirować się otwartymi rozwiązaniami, dzisiejsza architektura jest zbudowana od zera przez Google.
• Na jakim systemie operacyjnym działa serwer WWW od Google?
  GWS działa na gLinux, wewnętrznej dystrybucji systemu Linux bazującej na kodzie Debiana, która jest silnie zoptymalizowana pod sprzęt Google.
• Jak GWS osiąga tak dużą wydajność?
  Wydajność wynika z braku uniwersalności. Kod obsługuje tylko specyficzne procesy Google, wykorzystuje protokoły QUIC/HTTP3 i współpracuje bezpośrednio z autorskim sprzętem sieciowym.
• Czy GWS to najpopularniejszy serwer w internecie?
  Pod względem obsługiwanego ruchu generuje ogromne liczby i zajmuje czołowe miejsca w rankingach. Jeśli jednak liczyć unikalne domeny, prym wiodą ogólnodostępne serwery Nginx i Apache.

Przejrzyjcie logi własnych serwerów produkcyjnych. Sprawdźcie, ile milisekund tracicie na nawiązywanie połączeń TLS i przestarzałe reguły routingu. GWS nie jest magicznym artefaktem z kosmosu. To po prostu dowód na to, co się dzieje, gdy zrzucisz ze stosu technologicznego cały historyczny balast wstecznej kompatybilności. Przestańcie szukać cudownych wtyczek do Nginxa. Zacznijcie odchudzać własny kod aplikacji.

Oto źródła, na których oparto wiedzę o infrastrukturze:

1. Netcraft – https://www.netcraft.com
2. Google Research – https://research.google
3. W3C (World Wide Web Consortium) – https://www.w3.org
4. Internet Engineering Task Force – https://www.ietf.org