Procházet zdrojové kódy

Refactoring scraper.py: Adding method for retrieving HTML content

David Leonard před 10 roky
rodič
revize
724f3988ce
1 změnil soubory, kde provedl 16 přidání a 0 odebrání
  1. 16 0
      hackathon_starter/hackathon/scripts/scraper.py

+ 16 - 0
hackathon_starter/hackathon/scripts/scraper.py

@@ -7,6 +7,22 @@ import requests
 import itertools 
 from bs4 import BeautifulSoup
 
+def fetchHTML(url):
+	'''
+	Returns HTML retrived from a url.
+
+	Parameters:
+		url: String
+			- The URL to fetch HTML from
+
+	Returns:
+		html: String
+			- The HTML from a given URL
+	'''
+	req = requests.get(url)
+	html = req.text
+	return html
+
 def steamDiscounts():
 	req = requests.get('http://store.steampowered.com/search/?specials=1#sort_by=_ASC&sort_order=ASC&specials=1&page=1')
 	content = req.text