Skrobanie SERP w czasie rzeczywistym z Zenserp - przegląd

Google od dawna utrudnia programistom SEO próbującym wydobyć publicznie dostępne dane ze stron wyników wyszukiwania. Rzeczywiście, skrobanie SERP jest oficjalnie sprzeczne z warunkami korzystania z usługi Big G. Jednak praktyka ta nie narusza ustawy Computer Fraud and Abuse Act (CFAA), a zatem bezpośrednie działania prawne Google mające na celu ograniczenie tej praktyki zakończyły się fiaskiem. W tym artykule będziemy rozmawiać o skrobaniu SERP w czasie rzeczywistym o wysokiej skalowalności z firmą Zenserp. Zaczynajmy!

Tak więc, chociaż skrobanie nie jest w rzeczywistości nielegalne ani nie rani niczyich uczuć w praktyce, programiści nadal muszą walczyć z blokadami. Zostało to zaprojektowane przez Google w celu utrudnienia gromadzenia danych. Typowe bóle głowy obejmują Captchas i blokowanie adresów IP. Jednak w przeszłości wysyłano listy o zaprzestaniu działalności, ta taktyka jest coraz rzadsza.

Ale co by było, gdybyś w ogóle nie musiał radzić sobie z tymi niedogodnościami, aby uzyskać cenne dane? Wprowadź Zenserp, podstawową ofertę firmy SaaS Industries z siedzibą w Austrii.

Zenserp w pigułce | SERP Skrobanie z Zenserp

Interfejs API Zenserp to wymarzone narzędzie dla programistów SEO, którzy szukają gotowego rozwiązania do usunięcia typowych przeszkód związanych ze skrobaniem. Jest niezwykle prosty w obsłudze i integracji dzięki zorientowanemu na użytkownika cyklowi rozwoju SaaS Industries i szerokiej kompatybilności językowej (przeglądarka, Curl, Python, Node.js, PHP). Co więcej, ich nienasycony apetyt na opinie klientów i prośby o funkcje doprowadził do ogromnej aktualizacji interfejsu API w kwietniu 2019 r., Która obejmuje szeroki wachlarz typów danych, w tym obrazy Google, filmy, mapy, wiadomości, zakupy, a także trendy.

W połączeniu z konkurencyjną ceną i światowej klasy obsługą klienta. Naprawdę masz kompleksowe rozwiązanie problemów związanych ze skrobaniem SERP w Zenserp.

Pierwsze kroki z Zenserp

Jak to jest właściwie korzystać z Zenserp? Poniżej opisujemy proces rozpoczynania pracy z firmą Zenserp. Następnie zagłębimy się w ich dokumentację API, aby bliżej przyjrzeć się solidnej funkcjonalności Zenserp.

Omówienie pulpitu nawigacyjnego | Skrobanie SERPów z firmą Zenserp

Załóżmy, że właśnie rzucasz okiem na to, o co chodzi w firmie Zenserp. Kliknij jasnozielony przycisk Zarejestruj się, aby skorzystać z bezpłatnego abonamentu na ich stronie głównej. Po utworzeniu i zweryfikowaniu konta kliknij Zaloguj się, aby uzyskać dostęp do pulpitu nawigacyjnego.

Strona, na którą trafisz, wyświetla przegląd najważniejszych informacji o użytkowaniu, w tym klucz API, miesięczny limit żądań, wykorzystanie interfejsu API w czasie. Ponadto dokumentacja wszelkich nieudanych żądań, które mogły wystąpić. Dostępna jest również poręczna sekcja Kreatora żądań, która kieruje nowych użytkowników Zenserp do wielu przydatnych zasobów. Większość z nich to rzeczy, które omówimy w sekcji Dokumentacja tej recenzji, więc trzymaj się tego uważnie.

Rzućmy okiem na wszystkie opcje paska bocznego:

• Deska rozdzielcza - Już tu jesteś! To jest po prostu szybki link do powrotu do strony przeglądu w dowolnym momencie.
• Plac zabaw - Odpowiednio nazwana strona oferuje w pełni wizualny (tj. Niewymagany kodowanie) i interaktywny interfejs, dzięki któremu możesz bawić się różnymi punktami końcowymi firmy Zenserp. Tutaj możesz wygenerować przykładowe odpowiedzi i użyć ich do skonfigurowania żądania API. Nie polegaj na tym w 100%, ponieważ istnieją przypadki narożne wykraczające poza możliwości tego narzędzia. Niemniej jednak uwielbiamy możliwość eksportowania eksperymentów do kodu (Browser, Curl, Python, Node.js, PHP), gdy znajdziesz coś, co naprawdę działa.
• Dokumentacja - Szczegółowe informacje o wnętrznościach interfejsu API Zenserp. Omówimy to szczegółowo poniżej.
• Profil / bezpieczeństwo - Podstawowa konfiguracja konta, w tym awatar, dane kontaktowe i zarządzanie hasłami. Nic fajnego.
• Dane do faktury - Składa się z trzech opcji, w których można podnieść / obniżyć / anulować poziom subskrypcji, zarządzać metodą płatności i identyfikatorem VAT, a także bezpłatne pole, w którym można poprosić o umieszczenie tekstu na fakturach Zenserp, aby ułatwić księgowanie.

Wszystko to jest dość standardową taryfą dla każdego API, ale doceniamy, jak prosto wszystko jest rozplanowane. Dostajesz to, co widzisz, a Zenserp nie próbuje ukrywać ustawień subskrypcji w nieznanych zakamarkach Twojego profilu.

Dokumentacja API Zenserp | Skrobanie SERPów z firmą Zenserp

Po usunięciu podstaw, możemy teraz przejść do dobrych rzeczy: dokumentacji firmy Zenserp. Tutaj zobaczysz dokładnie, do czego jest zdolny interfejs API i jak z niego korzystać. Chociaż pełne wdrożenie interfejsu API w Twojej aplikacji wykracza poza zakres tego przeglądu, pokrótce omówimy każdy punkt końcowy, niektóre kluczowe parametry i podamy przykładowe odpowiedzi.

Podstawowa funkcjonalność

Zaczynając od strony dokumentacji, to trafnie nazwana sekcja Pierwsze kroki, która szczegółowo opisuje najbardziej podstawowe funkcje API, które mogą współdziałać ze wszystkimi innymi punktami końcowymi. Spójrzmy:

gdzie jest folder Steam w systemie Windows 10

• Poświadczenie - To pokazuje, jak używać klucza API do uwierzytelniania. W nagłówku znajduje się przykład użycia, a po nim przykłady żądań GET i POST. Bułka z masłem.
• status - Umożliwia zażądanie liczby pozostałych żądań w ramach limitów subskrypcji. W końcu po co zawracać sobie głowę logowaniem się do pulpitu Zenserp, skoro wystarczy, że aplikacja powie Ci to bezpośrednio?
• partia - Dołączenie tego punktu końcowego umożliwia wykonanie do 1000 wyszukiwań w jednej partii. Masz możliwość zażądania wszystkich partii naraz, określonych według identyfikatora partii, lub przesłania nowej partii lub scalenia istniejących razem w razie potrzeby.
• Kody błędów - Zenserp ma również możliwość zwracania błędów, gdy się pojawią. W tym 403 Zabronione, gdy osiągniesz miesięczny limit lub użyjesz nieprawidłowego klucza API, 404, gdy nie znaleziono żadnych wyników, lub 500. Ilekroć wystąpi błąd serwera. Nie zapominaj, że nieudane żądania pojawiają się również na Twoim panelu.

Punkt końcowy / search | Skrobanie SERPów z firmą Zenserp

Tutaj znajduje się podstawowa funkcjonalność Zenserp. Dołączając / wyszukaj do żądania API. Otrzymasz obszerny zestaw danych na temat praktycznie wszystkiego, co przyjdzie Ci do głowy, aby zebrać SERPS. Twoje zapytanie zwróci szeroką gamę wyników, w tym:

• Bezpłatne wyniki wyszukiwania - Zapytanie o organiczne SERP zwraca wszystkie rodzaje danych, w tym ranking pozycji, jej tytuł, wyświetlany i docelowy adres URL, kilka typów recenzji, czy link jest linkiem Google AMP, ciągi znaków reprezentujące opis strony oraz lokalny pakiet trzech który zawiera informacje o firmie.
• Płatne wyniki - Otrzymasz również pełny przegląd płatnych wyników. Zwrócone informacje obejmują płatną pozycję (górną, prawą lub dolną), tytuł, link monitorujący AdWords, menu nawigacyjne, widoczny adres URL wyświetlany w Google, opis strony oraz płatne lokowanie produktów (w tym pozycję, tytuł, powiązane obrazy, URL i oczywiście cena).
• Pole odpowiedzi / polecany fragment / najważniejszy artykuł - Czyste złoto dla każdego SEO. Z łatwością zobacz, co działa najlepiej, aby zdobyć te pożądane miejsca w SERP, a następnie stwórz strategię replikacji tych wyników.
• Podobne wyszukiwania / czy chodziło Ci o - Zenserp ulepsza badania słów kluczowych, zwracając cenne dane dotyczące wszystkich powiązanych wyszukiwań związanych z zapytaniem. Możesz także przewidzieć, jak Google zareaguje na typowe błędy popełniane przez użytkowników podczas wyszukiwania Twojego zapytania.

Oto skrócona wersja przykładu, który pojawia się w Zenserp dokumentacja, z Pied Piper jako zapytaniem. Możesz zobaczyć różne typy wyników, które pojawiają się w kolejności: wpis w Wikipedii (1), pytania związane z zapytaniem (2), strona internetowa z nazwą domeny o dokładnym dopasowaniu (3), popularny artykuł o pochodzeniu Pied Pipera (4) oraz kilka powiązanych filmów na ten temat (5). Zobaczysz także kilka pokrewnych wyszukiwanych słów oraz łączną liczbę zwróconych wyników.

Przykład

{ 'query':{ 'apikey':'YOUR-API-KEY', 'q':'Pied Piper', 'url':'https://google.com/search?q=Pied+Piper&hl=en&gl=us&sourceid=chrome&ie=UTF-8' }, 'organic':[ { 'position':1, 'title':'Pied Piper of Hamelin - Wikipedia', 'url':'https://en.wikipedia.org/wiki/Pied_Piper_of_Hamelin', 'destination':'https://en.wikipedia.org › wiki › Pied_Piper_of_Hamelin', 'description':'The Pied Piper of Hamelin is the titular character of a legend from the town of Hamelin (Hameln), Lower Saxony, Germany. The legend dates back to the Middle ...', 'isAmp':false }, { 'position':2, 'questions':[ { 'question':'What is the meaning of the Pied Piper?' }, { 'question':'What is the story of the Pied Piper?' }, { 'question':'Is the pied piper a fairy tale?' }, { 'question':'Is Pied Piper a real company?' } ] }, { 'position':3, 'title':'Pied Piper', 'url':'http://www.piedpiper.com/', 'destination':'www.piedpiper.com', 'description':'The old Pied Piper flute player logo was referencing a fairytale character and in no way was meant to suggest a sexual act involving either the mouth or ear of ...', 'isAmp':false }, { 'position':4, 'title':'The Disturbing True Story of the Pied Piper of Hamelin ...', 'url':'https://www.ancient-origins.net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969', 'destination':'https://www.ancient-origins.net › myths-legends › disturbing-true-story-pie...', 'description':'Aug 14, 2014 - Many are familiar with the story of the Pied Piper of Hamelin. Few realise however, that the story is based on real events, which evolved over ...', 'isAmp':false }, { 'position':5, 'videos':[ { 'title':'Pied Piper', 'url':'https://www.youtube.com/watch?v=VEZ_Ui6d9AM', 'parsed':{ 'source':'YouTube', 'date':'May 2, 2018', 'channel':'BTS - Topic' } }, { 'title':'The True History of The Pied Piper of Hamelin | Fairy Tales ...', 'url':'https://www.youtube.com/watch?v=obIAwAAcAAg', 'parsed':{ 'source':'YouTube', 'date':'Aug 4, 2017', 'channel':'Jen Campbell' } }, { 'title':'The Pied Piper: a modern day fairy tale', 'url':'https://www.wvi.org/child-health-now/video/pied-piper-modern-day-fairy-tale', 'parsed':{ 'source':'World Vision International', 'date':'Aug 22, 2013', 'channel':'WVIAdvocacy' } } ] } ], 'related_searches':[ { 'title':'pied piper instrument', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+instrument&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAHoECBMQAQ' }, { 'title':'pied piper poem', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+poem&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAXoECBMQAg' }, { 'title':'moral lesson of pied piper story', 'url':'https://google.com/search?hl=en&gl=us&q=moral+lesson+of+pied+piper+story&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAnoECBMQAw' }, { 'title':'the pied piper of hamelin summary', 'url':'https://google.com/search?hl=en&gl=us&q=the+pied+piper+of+hamelin+summary&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoA3oECBMQBA' }, { 'title':'pied piper of hamelin story pdf', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+of+hamelin+story+pdf&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoBHoECBMQBQ' }, ], 'number_of_results':34800000 }

Zawężanie zapytania według typu wyszukiwania | SERP Skrobanie z Zenserp

Oprócz domyślnych żądań SERP możesz również zawęzić zapytanie w wyszukiwarce Google według typu wyszukiwania (obraz, wideo, mapy, zakupy, wiadomości, zakupy itp.). Po prostu ustaw Także (do dopasowania) do dowolnej z następujących opcji:

• ish - Zwraca wyniki wyszukiwania grafiki Google. To żądanie zwraca litanię danych, w tym pozycję, miniatury, źródłowe adresy URL, tytuły i nie tylko. (W przypadku odwrotnego wyszukiwania grafiki uruchomisz image_url parametr zamiast tbm = ish )
• w - Zwraca wyniki wyszukiwania Google Video. Otrzymasz takie informacje, jak domena źródłowa, URL filmu, tytuł, opis oraz wszelkie rozszerzenia i miniatury.
• lcl - Kolejna kopalnia danych SEO, rozszerzenie lcl parametr zwraca wyniki wyszukiwania w Mapach Google. Zobaczysz nazwę firmy / lokalizacji, adresy URL witryn, informacje o tym, czy wynik jest opłacony, czy nie, gwiazdki lub recenzje, a także istotne informacje, takie jak adres, numery telefonów, godziny pracy, ważne ceny, a nawet rodzaj firmy. Możesz też poprosić o wskazówki dojazdu do tych firm.
• to - Chcesz być na bieżąco z aktualnymi wydarzeniami i rozwojem w swojej branży? Dodaj to parametru do zapytania, aby zwracać wyniki wyszukiwania w Google News w czasie rzeczywistym. Zobacz nazwy artykułów, ich linki, daty publikacji (i przeanalizowane przez Twój interfejs API), wydawcę, krótki opis artykułu oraz wszelkie dostępne miniatury.
• sklep - Uzyskaj dostęp do wyników wyszukiwania w Zakupach Google za pomocą rozszerzenia sklep parametr. Przyjrzyjmy się niektórym przykładowym wynikom (mocno obciętym ze względu na czytelność) dla podgrzewaczy wody w Atlancie w stanie Georgia:

Shopping EndPoint

Oprócz rdzenia /Szukaj punktu końcowego, funkcje API Zenserp /zakupy . To umożliwia analizowanie stron produktów w Zakupach Google. Dodasz rozszerzenie ID produktu parametr do twojego /zakupy zapytanie, z opcją określenia żądanej lokalizacji geograficznej wyszukiwania ( Lokalizacja ), kod pocztowy ( żołnierz amerykański ) i / lub język interfejsu internetowego ( hl ). Możesz także zmienić regionalny wariant wyszukiwarki Google, z którego chcesz korzystać search_engine .

Punkt końcowy trendu | Skrobanie SERPów z firmą Zenserp

Żądania w Trendach Google są wysyłane poprzez dołączanie / trendy do Twojego żądania (chociaż dokumentacja Zenserp błędnie stwierdza, że ​​powinieneś używać /zakupy ). Twoje wyniki w Trendach są zasilane przez słowo kluczowe [] parametr, w którym przekazujesz frazę kluczową jako argument wewnątrz []. Dokumentacja firmy Zenserp zawiera przydatne przypomnienie o tym, jakich operatorów używa Trends (+ dla lub, - dla wykluczenia, spacja dla i oraz cudzysłowy dla dokładnego dopasowania), które będzie kluczowe w zapytaniu.

Możesz dokładniej określić strefę czasową ( tz ), identyfikator kategorii ( kot ), plik ramy czasowe wyniki (godzinowe, dzienne, miesięczne, roczne w wielu podziałach). Plik rodzaj usługi Google do wyszukiwania (np. obrazy, loty, YouTube, finanse itp.). Plik geo lokalizacja lub kod lokalizacji Google ( żołnierz amerykański ), a nawet rozkład w tym regionie (zasadniczo określając, czy wyszukujesz w całym kraju, w mieście, regionalnie itp.)

Powiedzmy, że chcesz zobaczyć, jak zmieniał się Kanye West w ciągu ostatniego miesiąca. Zrobisz taką prośbę w ten sposób:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Wydajność | Skrobanie SERPów z firmą Zenserp

Skoro skończyliśmy z przeglądem funkcji, jak faktycznie radzi sobie Zenserp? W końcu wszystkie te ładne dane są bezużyteczne, jeśli w rzeczywistości nie możesz uzyskać do nich dostępu z powodu zautomatyzowanego gromadzenia danych przez Google.

Z naszego doświadczenia wynika, że ​​firma Zenserp wykonywała swoje zadania bez problemów, niezależnie od tego, czego szukaliśmy i do którego miejsca na świecie kierowaliśmy nasze zapytania. Tajną bronią jest tutaj niesamowita ogólnoświatowa sieć proxy firmy Zenserp, która przekierowuje Twoje żądania tam, gdzie muszą, podczas zmiany adresu IP, aby pasował. Chociaż firma Zenserp nie publikuje rzeczywistych numerów sieci serwerów, okazała się wystarczająco solidna, aby nigdy nie zgłaszać ani jednego błędu podczas wykonywania naszych żądań testowych.

Pod maską Zenserp API znajduje się również zaawansowany solver Captcha. Po raz kolejny nie mamy szczegółowych informacji na temat tego, jak sprawili, że to zadziałało. Ale zadziałało i konsekwentnie.

cennik

Infrastruktura firmy Zenserp jest wystarczająca, aby zaspokoić każdą skalę działalności. Oferują szeroki zakres cen subskrypcji, dzięki czemu płacisz tylko za dokładnie to, czego potrzebujesz. Niezależnie od wybranego poziomu możesz zapłacić niską opłatę miesięczną lub zgarnąć 20% zniżki na abonament roczny.

Oprócz poziomów standardowych firma Zenserp oferuje plany o dużej objętości. To jest zamknięte w miesięcznym schemacie płatności. Każdy poziom obejmuje wszystkie funkcje premium planów ŚREDNIO-BARDZO DUŻY. I skaluje Twój miesięczny limit w zależności od tego, ile płacisz:

• PREMIUM - 599,99 $ i 250 000 żądań miesięcznie
• PROFESJONALNY - 1399,99 USD i 750 000 żądań miesięcznie
• PRZEDSIĘBIORSTWO - 1599,99 USD i 1000000 żądań miesięcznie

Skrobanie SERPów z firmą Zenserp

SaaS Industries stworzył niesamowitą ofertę dzięki swojemu interfejsowi API Zenserp. Dzięki solidnej infrastrukturze jest konfigurowalny i wysoce skalowalny. Jednak niezwykle prosta integracja z Twoją aplikacją dzięki łatwej logice parametrycznej i kompatybilności z szerokim językiem kodowania.

Nasze testy dały spójne wyniki bez zgłaszania błędu. Chociaż podejrzewamy, że usługa nie jest odporna na błędy w skali wymaganej przez duże przedsiębiorstwa. Bez względu na rodzaj prośby, wyniki były zawsze aktualne i znaczące. Możliwość zawężania żądań SERP według typu wyszukiwania jest niezwykle pomocna i jako takie jest jasne, że Zenserp oferuje bezcenne, ale niedrogie narzędzie dla każdego programisty SEO.

Gdybyśmy mieli jakąkolwiek krytykę serwisu, to to, że dokumentacja mogłaby użyć bardziej naturalnego języka, aby wyjaśnić jej zawartość. Oczywiście doświadczony programista nie powinien mieć problemów ze zrozumieniem oferty, więc prawdopodobnie nie stanowi to problemu. Nawet jeśli tak jest, wszystkie poziomy płatności oprócz najmniejszych obejmują onboarding concierge i spersonalizowaną obsługę klienta, dzięki czemu zawsze będziesz w stanie idealnie zaspokoić swoje potrzeby.

Wniosek

W porządku, to wszystko ludzie! Mam nadzieję, że polubicie ten artykuł dotyczący SERPów Scraping with Zenserp i uznacie go za pomocny. Przekaż nam swoją opinię na ten temat. Także jeśli macie dalsze pytania związane z tym artykułem. Daj nam znać w sekcji komentarzy poniżej. Wkrótce się z tobą skontaktujemy.

Miłego dnia!

Zobacz także: Podręcznik użytkownika Przy wyświetlaniu pamięci podręcznej Chrome w systemie Windows 10