Web Scraping

Web scraping er et værktøj, som kan bruges til automatisk udtræk af data fra hjemmesider og webshops på internettet. Data fra web scraping gemmes typisk i en database eller regneark, som så kan bruges til analyse eller i samspil med andre software systemer.

Web scraping giver dig muligheden for at hente og analyse enorme mængder data fra internettet hurtigt og effektivt. En web scraper kan fx hente priser på konkurrenternes produkter, som så kan bruges til at justere egne priser i forhold til markedet. Web scraping kan fx også bruges til at løse opgaver med rekruttering af medarbejder, fx finde frem til linkedIn information på java programmører baseret i london. En god web scraper kan spare mange mandetimer og effektivisere mange manuelle arbejdeopgaver.

TB Coding tilbyder udvikling af software til web scraping og web crawling. Vi hjælper gerne med udvikling web scraping løsninger, som løser alle de kedelige og manuelle opgaver med data.

  • Python Scripts
  • Python Web Scraping
  • Python Web Crawling
  • Scrapy, urllib2, requests, Beutiful Soup, lxml, Selenium
  • Link Extractors
  • Xpath og CSS selectors
  • Parsing af data
  • Export af output til database eller csv filer, json, excel
  • Web Scraping best practices

Projekter

TB Coding har arbejdet på flere web scraping projekter gennem tiden. Her er et overblik af hvilke typer projekter vi har arbejdet med.

  • Web scraping af information fra diverse hjemmesider
  • Web scraping af priser og produkter på webshops
  • Web scraping af jobportaler
  • Web scraping LinkedIn.com
  • Web scraping af indhold på portaler med login