python读取csv中url
作者:野牛程序员:2023-07-24 07:44:08python阅读 3131
要读取一个CSV文件中的URL,你可以使用Python内置的csv模块和requests模块来实现。csv模块用于解析CSV文件,而requests模块用于获取URL的内容。
首先,请确保已经安装了requests模块。如果没有安装,可以使用以下命令来安装:
pip install requests
接下来,假设CSV文件名为urls.csv,其中包含了一个名为url的列,里面存储了要读取的URL。可以按照以下步骤来读取CSV中的URL并获取其内容:
import csv
import requests
def read_urls_from_csv(csv_file):
urls = []
with open(csv_file, 'r') as file:
csv_reader = csv.DictReader(file)
for row in csv_reader:
url = row.get('url')
if url:
urls.append(url)
return urls
def get_url_content(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
print(f"Failed to fetch URL: {url} with status code: {response.status_code}")
return None
except requests.exceptions.RequestException as e:
print(f"Error occurred while fetching URL: {url}, Error: {e}")
return None
if __name__ == "__main__":
csv_file_name = "urls.csv"
urls = read_urls_from_csv(csv_file_name)
for url in urls:
content = get_url_content(url)
if content:
# 这里你可以处理获取到的内容,比如打印、存储到文件等
print(f"Content of {url}:")
print(content)以上代码首先定义了两个函数:read_urls_from_csv用于从CSV文件中读取URL,get_url_content用于获取URL的内容。然后在if __name__ == "__main__":块中,读取CSV文件中的URL,并逐个获取它们的内容并进行处理。
请注意,如果CSV文件不是按照上面的假设组织的,可能需要适当地调整read_urls_from_csv函数中的代码,以确保它正确地从CSV文件中提取URL。
野牛程序员教少儿编程与信息学奥赛-微信|电话:15892516892

- 上一篇:python获取csv文件中某一列
- 下一篇:python读取csv某几列
