You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Napisanie uniwersalnego skryptu do pobierania informacji o produktach ze strony tytułowego sklepu. Skrypt powinien przechodzić przez kolejne strony sklepu (paginacja) i dla każdego produktu pobierać następujące informacje:
Tytuł produktu – nazwa prezentowana na stronie.
Link do strony produktu – URL do podstrony prowadzącej do szczegółowego produktu.
Cena produktu – wartość ceny.
URL obrazka produktu – link do zdjęcia produktu.
Opinie i Oceny – informacje o ocenach i opiniach.
Dane techniczne – specyfikacja produktu, którą można zapisać jako JSON.
Te dane powinny być zapisywane w pliku csv, w którym kolumny są kolejno nazwane ["title", "product_link", "price", "image_url", "reviews", "tech_details"].
Ważne: Plik CSV powinien być tworzony na zasadzie {nazwa sklepu}{dokładna data}, np. sklep_2025-02-12.csv. W ten sam sposób powinny być tworzone pliki logów, w których zapisywane będą informacje o działaniach skryptu oraz o ewentualnych błędach. Plik logu powinien mieć nazwę {log_nazwa sklepu}{dokładna data}, np. log_sklep_2025-02-12.log.
W związku z tym, że strona może dynamicznie ładować treści, warto zastosować np. Selenium wraz z mechanizmami oczekiwania (np. WebDriverWait).
Dodatkowo, trzeba uwzględnić logowanie działań skryptu oraz obsługi błędów, aby w przypadku wystąpienia problemów mieć informacje diagnostyczne.
W przypadku strony elektromarket.pl wstępnie analizując strukture HTML widać, że jest bardziej statyczna, a dynamicznie ładowane są obrazki w celach optymalizacyjnych.
Wiec chyba nie ma potrzeby używać bibliotek zalecanych do scrapowania stron dynamicznie ładowanych.
Można użyć np. beautifulsoup i requests
The text was updated successfully, but these errors were encountered:
zmodyfikować skrypt tak, żeby pobierał wyłącznie {data pobrania} {nazwa_produktu}, {cena} {ocena/opinia} {url_do_produktu}
a do danych technicznych zrobić oddzielny skrypt przechodzący przez {url_do_produktu} pobrany z pierwszego skryptu, żeby móc to potem potencjalnie wykorzystać do większego skryptu do pobierania danych technicznych
Napisanie uniwersalnego skryptu do pobierania informacji o produktach ze strony tytułowego sklepu. Skrypt powinien przechodzić przez kolejne strony sklepu (paginacja) i dla każdego produktu pobierać następujące informacje:
Te dane powinny być zapisywane w pliku csv, w którym kolumny są kolejno nazwane
["title", "product_link", "price", "image_url", "reviews", "tech_details"]
.Ważne: Plik CSV powinien być tworzony na zasadzie
{nazwa sklepu}{dokładna data}
, np.sklep_2025-02-12.csv
. W ten sam sposób powinny być tworzone pliki logów, w których zapisywane będą informacje o działaniach skryptu oraz o ewentualnych błędach. Plik logu powinien mieć nazwę{log_nazwa sklepu}{dokładna data}
, np.log_sklep_2025-02-12.log
.W związku z tym, że strona może dynamicznie ładować treści, warto zastosować np. Selenium wraz z mechanizmami oczekiwania (np. WebDriverWait).
Dodatkowo, trzeba uwzględnić logowanie działań skryptu oraz obsługi błędów, aby w przypadku wystąpienia problemów mieć informacje diagnostyczne.
W przypadku strony elektromarket.pl wstępnie analizując strukture HTML widać, że jest bardziej statyczna, a dynamicznie ładowane są obrazki w celach optymalizacyjnych.
Wiec chyba nie ma potrzeby używać bibliotek zalecanych do scrapowania stron dynamicznie ładowanych.
Można użyć np. beautifulsoup i requests
The text was updated successfully, but these errors were encountered: