Pozyskiwanie i analiza danych na temat ofert pracy z wykorzystaniem big data

• Authors: Jacek Maślankowski

Title variants

EN

The collection and analysis of the data on job advertisements with the use of big data

Abstracts

EN

The goal of this paper is to present, on the one hand, the benefits for official statistics (labour market) resulting from the use of web scraping methods to gather data on job advertisements from websites belonging to big data compilations, and on the other, the challenges connected to this process. The paper introduces the results of experimental research where web-scraping and text-mining methods were adopted. The analysis was based on the data from 2017–2018 obtained from the most popular jobsearching websites, which was then collated with Statistics Poland’s data obtained from Z-05 forms. The above-mentioned analysis demonstrated that web-scraping methods can be adopted by public statistics services to obtain statistical data from alternative sources complementing the already-existing databases, providing the findings of such research remain coherent with the results of the already-existing studies.

PL

Celem artykułu jest zaprezentowanie korzyści wynikających z wykorzystania na potrzeby statystyki publicznej (rynku pracy) narzędzi do automatycznego pobierania danych na temat ofert pracy zamieszczanych na stronach internetowych zaliczanych do zbiorów big data, a także związanych z tym wyzwań. Przedstawiono wyniki eksperymentalnych badań z wykorzystaniem metod web scrapingu oraz text miningu. Analizie poddano dane z lat 2017 i 2018 pochodzące z najpopularniejszych portali z ofertami pracy. Odwołano się do danych Głównego Urzędu Statystycznego (GUS) zbieranych na podstawie sprawozdania Z-05. Przeprowadzona analiza prowadzi do wniosku, że web scraping może być stosowany w statystyce publicznej do pozyskiwania danych statystycznych z alternatywnych źródeł, uzupełniających istniejące bazy danych statystycznych, pod warunkiem zachowania spójności z istniejącymi badaniami.

Keywords

PL

big data; text mining; web scraping; rynek pracy

EN

big data; text mining; web scraping; labour market

• Publisher: Główny Urząd Statystyczny
• Journal: Wiadomości Statystyczne. The Polish Statistician
• Year: 2019
• Volume: 64
• Issue: 9
• Pages: 60-74

Contributors

author

Jacek Maślankowski

• Uniwersytet Gdański, Wydział Zarządzania

Identifiers

DOI

10.5604/01.3001.0013.7590

Biblioteka Nauki

962829