Co to jest web scraping i czy jest legalny? Techniki i narzędzia

Web scraping to zautomatyzowany proces wyciągania ogromnych ilości danych ze stron internetowych przy użyciu botów i skryptów programistycznych. Samo pobieranie publicznie dostępnych informacji jest w pełni legalne, o ile nie łamiesz praw autorskich, nie ignorujesz regulaminów serwisów oraz nie obciążasz serwerów docelowych atakami typu DDoS. To po prostu programistyczna symulacja tego, co zwykły użytkownik robi ręcznie, kopiując tekst z przeglądarki do arkusza kalkulacyjnego. Bot robi to miliony razy szybciej. Skrypt wchodzi na adres URL. Parsuje kod źródłowy. Ty dostajesz gotowy plik CSV na dysk.

Wokół masowego zbierania danych narosło wiele mitów. Prawnicy straszą procesami. Administratorzy blokują adresy IP. Prawda jest zresztą absolutnie taka, że dopóki operujesz na danych otwartych i nie naruszasz infrastruktury technicznej, nikt nie wyśle ci pozwu. W zdecydowanej większości przypadków problemy wynikają z amatorskiego podejścia do pisania kodu. Ktoś puszcza scrapera w pętli bez żadnych opóźnień. Serwer docelowy pada. Właściciel strony się wścieka. Zmieniliśmy te zasady na robocie już dawno temu. Traktuj serwer obcej firmy tak, jakbyś sam za niego płacił rachunki za prąd. Wtedy unikniesz blokad.

Jak działa pobieranie danych ze stron internetowych w praktyce?

Mechanika procesu opiera się na podstawach działania protokołu HTTP. Przeglądarka internetowa wysyła żądanie GET do serwera. Serwer zwraca plik HTML, style CSS i skrypty JavaScript. Wyświetla się ładny interfejs. Scraper ignoruje ten wizualny ład. Jego interesuje surowy kod. Oprogramowanie pobiera odpowiedź serwera i przeszukuje drzewo DOM w poszukiwaniu konkretnych znaczników. Szuka tabel, nagłówków, ukrytych atrybutów danych. Wyciąga z nich zawartość tekstową. Zapisuje to do relacyjnej bazy danych lub prostego pliku tekstowego.

Rozróżniamy dwa główne typy działania botów. Pierwszy to statyczne parsowanie kodu HTML. Działa szybko. Wymaga minimalnych zasobów pamięci RAM. Drugi typ to renderowanie stron opartych na frameworkach JavaScript, takich jak React czy Angular. Tutaj statyczny parser leży i kwiczy. Musisz postawić bezgłową przeglądarkę (headless browser). Oprogramowanie otwiera wirtualne okno Chrome. Czeka na wykonanie asynchronicznych skryptów na froncie. Dopiero wtedy zrzuca widok. To zżera zasoby. Wymaga mocnych maszyn na chmurze.

Zastanawiacie się zresztą, dlaczego to na produkcji tak wyje na testach po drodze? Sam się nad tym borykałem dzisiaj u siebie we wtorek. Zrobiliśmy na wdrożeniu prosty skrypt dla klienta, a potem zawiesiło się parsowanie cen, więc wprowadzono poprawkę o 3 nad ranem. Administrator tamtego sklepu zmienił jedną klasę w kodzie z „price-box” na „price-container”. Skrypt zwrócił pustą tablicę. CAŁY proces analityczny stanął w miejscu. Musieliśmy ręcznie aktualizować selektory XPath przed poranną odprawą. Kod nie wybacza.

Czy web scraping jest w Polsce i Europie legalny?

Tak. Zbieranie otwartych danych w sieci nie jest przestępstwem. Istnieją konkretne ramy prawne, które musisz znać. RODO (Ogólne rozporządzenie o ochronie danych) nakłada surowe kary za przetwarzanie danych osobowych bez zgody. Jeśli twój scraper zbiera adresy e-mail, numery telefonów i nazwiska prywatnych użytkowników z forum, wchodzisz na minę. Zbieranie cen butów sportowych w sklepie internetowym to inna bajka. But nie ma danych osobowych. Cena nie podlega ochronie RODO. Możesz ją archiwizować.

Drugi aspekt to prawo autorskie. Fakt, że coś wisi w internecie, nie oznacza, że staje się własnością publiczną. Pobieranie artykułów z portali informacyjnych w celu publikacji na własnym blogu to kradzież własności intelektualnej. Zbieranie metadanych, statystyk czy suchych faktów jest dozwolone. Amerykański wyrok w sprawie HiQ Labs przeciwko LinkedIn wyraźnie pokazał, że publiczne profile mogą być indeksowane przez podmioty trzecie. Sytuacja prawna w Europie bywa bardziej rygorystyczna ze względu na unijną dyrektywę o ochronie baz danych.

Prawda jest zresztą absolutnie taka, że większość tych mądrych poradników o scrapowaniu piszą ludzie, którzy w życiu nie utrzymywali scrapera na produkcji dłużej niż tydzień. Rzucają w ciebie kodem z tutoriala, a potem idą do domu. My na projekcie dla lokalnego biura nieruchomości z warszawskiego Mokotowa musieliśmy przepisywać logikę autoryzacji cztery razy w miesiącu. Dlaczego? Bo administrator portalu ogłoszeniowego ręcznie zmieniał tokeny sesyjne po nocach, walcząc z botami. Żadne AI ci tego nie przewidzi, siedzisz i robisz hotfixy przy kawie, klnąc na czym świat stoi. Prawo to jedno, a walka w błocie z adminami to drugie.

Kiedy naruszasz regulaminy serwisów (Terms of Service)?

Każda duża witryna posiada podstronę z regulaminem. Często znajduje się tam punkt kategorycznie zakazujący używania zautomatyzowanych narzędzi do ekstrakcji danych. Złamanie regulaminu nie jest równoznaczne ze złamaniem prawa karnego. To naruszenie umowy cywilnoprawnej. W praktyce właściciel strony może po prostu zablokować twój adres IP lub usunąć konto użytkownika. Wyobraź sobie, że logujesz się na platformę B2B. Akceptujesz regulamin. Odpalasz skrypt. Wyrzucają cię z platformy. Tracisz dostęp do usług. Firmy rzadko idą z tym do sądu, bo koszty przewyższają straty, o ile nie sklonowałeś całej ich infrastruktury dla własnego zysku.

Jakie techniki ekstrakcji danych sprawdzają się najlepiej?

Wybór techniki zależy od struktury celu. Najprostszą i najstarszą metodą jest wyrażenie regularne (Regex). Narzędzie brutalne. Działa na tekście płaskim. Przeszukuje ciągi znaków według ustalonego wzorca. Szukasz kodu pocztowego? Piszesz wzorzec dwóch cyfr, myślnika i trzech cyfr. Regex jest szybki. Zużywa ułamek procenta mocy procesora. Niestety, łamie się na zagnieżdżonym kodzie HTML. Parsowanie tabel za pomocą wyrażeń regularnych to koszmar każdego młodszego programisty. Zostaw to do weryfikacji maili.

Parsowanie drzewa DOM to standard branżowy. Używamy do tego selektorów CSS lub ścieżek XPath. Ścieżka XPath pozwala na precyzyjne nawigowanie po strukturze dokumentu. Możesz nakazać skryptowi: „znajdź drugi element div, który ma w sobie znacznik h3 z tekstem 'Kontakt’, a następnie pobierz z niego link”. To odporne na drobne zmiany wizualne. Kiedy używamy parserów opartych na DOM, unikamy renderowania grafik i zbędnych skryptów. Przyspiesza to pracę bota.

Rozbudowane witryny typu Single Page Application (SPA) wymuszają stosowanie innych rozwiązań. Czysty kod HTML zawiera tylko pusty znacznik, do którego JavaScript wstrzykuje treść po stronie klienta. Statyczny requests w Pythonie nic tu nie da. Dostaniesz pusty plik. Musisz uruchomić narzędzie kontrolujące prawdziwą przeglądarkę przez protokół DevTools. Skrypt klika w przyciski. Przewija stronę w dół w celu załadowania kolejnych elementów (infinite scroll). Robi zrzuty ekranu. Symuluje ruchy myszką.

W jaki sposób symulacja przeglądarki oszukuje zabezpieczenia?

Nowoczesne systemy anty-botowe, takie jak Cloudflare, analizują zachowanie klienta. Sprawdzają obecność zmiennych w środowisku JavaScript przeglądarki. Weryfikują obsługę płótna (Canvas fingerprinting). Skrypty oparte na czystych zapytaniach HTTP natychmiast oblewają ten test. Narzędzia takie jak Puppeteer z wtyczką Stealth modyfikują nagłówki i ukrywają fakt bycia zautomatyzowanym oprogramowaniem. Nadpisują zmienną `navigator.webdriver`. Skrypt udaje zwykłego Chrome’a działającego na systemie Windows. Cloudflare wpuszcza go dalej. Ty zgarniasz dane i zamykasz sesję.

Z jakich narzędzi do web scrapingu korzystają programiści i analitycy?

Rynek oferuje sprzęt i biblioteki dla ludzi o różnym stopniu zaawansowania. Programiści wybierają kod. Analitycy preferują interfejsy graficzne. Wybór narzędzia determinuje budżet i czas. Postawienie własnego środowiska kosztuje roboczogodziny. Zakup licencji SaaS obciąża budżet miesięczny firmy.

• Python i BeautifulSoup: Klasyka gatunku. Biblioteka stworzona do wyciągania danych z uszkodzonych, źle napisanych plików HTML. Radzi sobie z brakiem domkniętych znaczników. Jest bardzo powolna przy masowych operacjach, ale świetnie sprawdza się w małych skryptach. Zazwyczaj łączona z biblioteką `requests`.
• Scrapy: Zaawansowany framework dla inżynierów danych w Pythonie. To nie jest prosty skrypt. To cała architektura. Scrapy posiada wbudowane zarządzanie asynchronicznymi zapytaniami. Obsługuje rotację proxy z pudełka. Pozwala na tworzenie potoków danych (data pipelines), które od razu czyszczą tekst i ładują go do PostgreSQL. Wymaga znajomości programowania obiektowego.
• Selenium i Playwright: Narzędzia do automatyzacji przeglądarek. Selenium istnieje od lat, jest ciężkie i często wyrzuca nieprzewidziane błędy. Playwright stworzony przez Microsoft to nowsza alternatywa. Działa asynchronicznie. Lepiej radzi sobie z przechwytywaniem zapytań sieciowych w tle. Piszemy w nich, gdy strona wymaga logowania, rozwiązywania prostych zagadek logicznych lub klikania w pop-upy.
• Rozwiązania No-Code (Octoparse, ParseHub): Programy instalowane na komputerze lub w chmurze. Użytkownik „wyklikuje” proces na ekranie. Zaznacza cenę myszką. Wybiera opcję „pobierz tekst”. Program sam generuje logikę XPath. To dobre dla marketerów. Szybko się psuje, gdy strona zmieni szablon graficzny.

W jaki sposób zabezpieczyć skrypt przed zablokowaniem przez serwer?

Bez kamuflażu twój bot zostanie zbanowany w ciągu dziesięciu minut. Administratorzy sieci monitorują logi serwera. Jeśli widzą tysiąc zapytań z jednego adresu IP w ciągu sekundy, nakładają bana. To naturalna obrona przed przeciążeniem. Musisz zaimplementować techniki omijania detekcji. Piszemy kod, który udaje człowieka. Rozpraszamy ruch.

Podstawą jest rotacja adresów IP. Korzystamy z serwerów proxy. Mamy dwa główne typy: datacenter i residential proxy. Proxy z centrów danych są tanie. Pochodzą od dostawców chmurowych takich jak AWS czy DigitalOcean. Systemy anty-botowe rozpoznają je natychmiast po numerze ASN. Residential proxy to adresy przypisane do fizycznych gospodarstw domowych przez dostawców internetu (np. domowe Wi-Fi). Wyglądają jak prawdziwi użytkownicy. Są drogie. Płacisz za każdy pobrany gigabajt danych. Zmieniamy adres IP przy każdym nowym żądaniu HTTP.

Drugi element to manipulacja nagłówkiem User-Agent. Serwer musi wiedzieć, kto do niego puka. Domyślny nagłówek biblioteki w Pythonie brzmi `python-requests/2.26.0`. To dosłownie przyznanie się do bycia botem na bramce wejściowej. Twój skrypt musi wysyłać nagłówki prawdziwych przeglądarek. Losujemy je z dużej bazy. Raz wysyłamy zapytanie jako Safari na iPhonie. Innym razem jako Firefox na systemie Linux. Dodajemy również nagłówki `Accept-Language` i `Referer`, żeby zasymulować naturalny ruch ze strony głównej.

Zarządzanie czasem (Rate Limiting) decyduje o przetrwaniu procesu. Wprowadzamy losowe opóźnienia do kodu. Zamiast uderzać w serwer co równe 0.5 sekundy, skrypt czeka od 2 do 7 sekund. Symulujemy czas potrzebny człowiekowi na przeczytanie strony. Wyłapujemy błędy 429 (Too Many Requests). Kiedy serwer rzuca błędem, skrypt wchodzi w stan uśpienia na kilkanaście minut. Czeka, aż blokada spadnie. Potem wznawia pracę z nowego adresu IP.

Do czego firmy realnie wykorzystują zautomatyzowane zbieranie danych?

Nikt nie pisze parserów dla rozrywki. To surowy biznes. Zbieranie informacji generuje przewagę rynkową. Jeśli masz dane, których nie ma konkurencja, wygrywasz. W branży e-commerce to absolutna podstawa ustalania polityki cenowej. Sklepy internetowe nieustannie śledzą poczynania rywali. Odpalają boty, które sprawdzają ceny tych samych telewizorów na innych platformach. Algorytm analizuje plik wynikowy. Automatycznie obniża cenę u siebie o 10 groszy, żeby wygrać w porównywarce cenowej. To wojna robotów działających w tle bez wiedzy klientów.

Generowanie leadów sprzedażowych (Lead Generation) napędza agencje marketingowe. Handlowcy nie szukają już kontaktów ręcznie. Skrypty przeczesują katalogi firm, rejestry państwowe i profile zawodowe. Wyciągają nazwy firm, stanowiska zarządu i publicznie dostępne adresy e-mail. Tworzą gigantyczne bazy w systemach CRM. Handlowiec przychodzi rano do biura i ma gotową listę stu osób do obdzwonienia w konkretnym sektorze produkcyjnym na terenie Śląska. Zoptymalizowaliśmy w ten sposób pracę wielu działów call center.

Sektor sztucznej inteligencji żywi się danymi. Modele językowe LLM nie powstały z powietrza. Ktoś musiał pobrać miliony stron tekstu z Wikipedii, forów dyskusyjnych i artykułów naukowych. Inżynierowie Machine Learning używają web scrapingu do tworzenia zbiorów treningowych (datasets). Bez masowej ekstrakcji danych z internetu, rozwój nowoczesnych algorytmów predykcyjnych byłby fizycznie niemożliwy. Agregatorom zależy na tekście czystym, pozbawionym znaczników HTML, gotowym do wektoryzacji.

A ty jak zamierzasz wyciągnąć te dane z serwera, zanim konkurencja zmieni strukturę DOM i odetnie cię od źródła?

FAQ – Najczęściej zadawane pytania o web scraping

• Czy mogę scrapować dane z Facebooka lub LinkedIna?
  Platformy te kategorycznie zabraniają scrapowania w swoich regulaminach i posiadają bardzo agresywne systemy anty-botowe. Próba masowego pobierania danych z zalogowanych sesji szybko kończy się blokadą konta. Zbieranie publicznych postów bez logowania bywa możliwe, ale wymaga zaawansowanej infrastruktury proxy.
• Jaki język programowania jest najlepszy do budowy scraperów?
  Python dominuje w branży ze względu na ogromny ekosystem gotowych bibliotek (Scrapy, BeautifulSoup). JavaScript (Node.js z Playwright) to doskonały wybór do obsługi stron z dynamicznie renderowanym interfejsem.
• Czym jest blokada CAPTCHA i jak ją obejść?
  CAPTCHA to test mający odróżnić maszynę od człowieka (np. klikanie w obrazki z sygnalizatorami). Skrypty omijają je korzystając z zewnętrznych serwisów API (np. 2Captcha, Anti-Captcha), gdzie ludzcy pracownicy lub inne modele AI rozwiązują zagadki za ułamek centa i odsyłają token weryfikacyjny do bota.
• Czy scrapowanie obciąża serwer docelowy?
  Tak. Każde żądanie pobiera zasoby procesora i pasmo sieciowe serwera. Agresywny scraping bez opóźnień działa identycznie jak atak DDoS i może doprowadzić do awarii strony. Etyczny scraping zakłada ustawienie limitów zapytań (np. 1 żądanie na 3 sekundy).
• Ile kosztuje utrzymanie infrastruktury do zbierania danych?
  Koszty zależą od skali. Uruchomienie prostego skryptu na własnym komputerze jest darmowe. Masowe pobieranie gigabajtów danych dziennie wymaga serwerów VPS (kilkadziesiąt dolarów miesięcznie) oraz płatnych pakietów residential proxy (od kilkuset do kilku tysięcy dolarów za terabajt ruchu).
• Czy mogę sprzedawać pobrane w ten sposób dane?
  To zależy od statusu prawnego samych informacji. Sprzedaż bazy powszechnie znanych faktów (np. adresów urzędów) jest zazwyczaj legalna. Sprzedaż cudzych artykułów, zdjęć lub bazy danych chronionej prawem sui generis stanowi naruszenie prawa i grozi odpowiedzialnością finansową.

Bibliografia

1. Urząd Ochrony Danych Osobowych – https://uodo.gov.pl
2. Python Software Foundation – https://www.python.org
3. Główny Urząd Statystyczny – https://stat.gov.pl
4. Dziennik Ustaw (Prawo Autorskie) – https://dziennikustaw.gov.pl