零基础学 Python(2023 版)
尹会生
太乙人工智能技术合伙人 & 项目总监
60050 人已学习
新⼈⾸单¥68
课程目录
已完结/共 124 讲
结束语 & 结课测试 (2讲)
零基础学 Python(2023 版)
登录|注册
留言
11
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 88|理论盘点:数据采集的方法与 HTTP 协议
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
课程介绍:这次我们都做了哪些升级?
内容综述:明确学习目的
01|如何配置 Python 开发环境?
02 | 常用 IDE:如何提高开发效率?
03 | 如何站在官方文档的肩膀上自己“造轮子”?
04 | 怎样运行你的第一行代码?
05 | 怎样使用 Gitee 管理你的代码?
06 | 学习编程有问题?去这里找答案!
07|跨越门槛:Python 开发环境总结及实现原理
08 | 修炼基本功:浅析输入输出
09 | 变量:如何让计算机临时存储数据?
10|字符串(上):Python 是如何处理单词的?
11|字符串(下):Python 是如何处理单词的?
12|存储数字应该采用哪种数据类型?
13|何时使用数,何时使用字符串?
14|注释:如何写程序的说明书?
15|小试牛刀:如何制作简单计算器?
16|变量命名规范:如何编写优雅的程序?
17|告别新手村:Python 编程基础知识
18|内置数据类型包括哪几种?
19|列表如何处理同类数据?
20|常见常新:列表的常见操作
21|元组:如何处理一次性数据?
22|常见常新:集合的常见操作
23|字典:如何处理映射类型的数据?
24|常见常新:字典的常见操作(上)
25|常见常新:字典的常见操作(下)
26|小试牛刀:如何利用类型转换实现手机通讯录?(上)
27|小试牛刀:如何利用类型转换实现手机通讯录?(下)
28|常见的内置数据类型都何时使用?
29|避坑指南:内置数据类型的常见错误
30|内置数据类型参考:如何使用官方文档与帮助?
31|再回首:“内置数据类型”单元小结
32|if 语句:数据流程出现分支时,怎样编写程序?
33|match 语句:如何通过 match 关键字来处理程序的分支逻辑?
34|while 循环:需要多次重复执行某段程序时,怎么做?
35|for 循环:如何遍历一个对象里的所有元素?
36|语句嵌套:如何处理多重循环的问题?
37|小试牛刀:如何设计一个飞机大战的程序?
38|避坑指南:判断和循环中的常见错误
39|再回首:“判断循环”单元小结
40|输入:如何接收用户通过键盘输入的数据?
41|格式化输出:如何将执行结果通过屏幕输出?
42|F-strings:如何通过定义好的格式进行输出?
43 | 常见常新:文件的打开
44|文件编码:如何解决不同操作系统的文件乱码问题?
45|常见常新:文件的读写
46|常见常新:文件的关闭
47|小试牛刀:如何使用 Python 合并多个文件?
48|再回首:“输入输出与文件操作”单元小结
49|函数的定义:如何优雅地反复引用同一段代码?
50|函数的参数:怎样实现函数与外部数据通信?
51|函数的参数:当函数操作对象不固定时怎么处理?
52|函数的返回值:如何得到函数的执行结果?
53|小试牛刀:如何利用函数实现电商购物车功能?
54|避坑指南:列表作为参数传递出错了怎么办?
55|高阶函数:函数对象与函数调用的用法区别
56|装饰器:函数嵌套的定义与调用的区别
57|再回首:“函数”单元小结
58|编程思想不同会导致怎样的代码差异?
59|类与实例:如何使用面向对象的思想编写程序?
60|类的继承:如何解决代码重用的问题?
61|类的装饰器:如何改变类方法的功能?
62|小试牛刀:如何开发自动咖啡机?
63|避坑指南:类的常见错误
64|init 方法:如何为对象传递参数?
65|再回首:“类”单元小结
66 | 模块的导入:如何使用其他人编写好的代码功能?
67 | 标准库:Python 默认提供的便捷功能有哪些?
68 | 自定义模块:如何编写一个完整功能?
69 | 第三方模块的使用:如何使用其他人编写的代码?
70 | 小试牛刀:如何使用 Python 为函数求导?
71|再回首:“模块与标准库”单元小结
72|初识异常:异常的产生与分类
73|异常捕获:出现异常时,如何利用程序进行处理?
74|自定义异常捕获:如何定义业务异常?
75|避坑指南:编写捕获异常程序时经常出现的问题
76|再回首:“异常处理”单元小结
77|扩展数据类型:怎样使用更复杂的数据类型?
78|魔术方法:怎样通过类构造自己需要的数据类型?
79|怎样将 Python 和 C++ 结合起来混合编程?
80|怎样将已有算法改造成符合项目的特定算法?
81|设计模式:怎样合理组合多个函数和类?
82|Redis 数据库:怎样使用 NoSQL 数据库?
83|关系型数据库:怎样使用关系型数据库?
84|计算资源充足时,如何通过并行设计提高效率?
85|多进程间如何通信?
86|再回首:“高级数据类型与算法”单元小结
87|理论盘点:数据分析的流程及对应的 Python 库
88|理论盘点:数据采集的方法与 HTTP 协议
89|理论盘点:任务的并行执行原理
90|理论盘点:非规范化数据处理的基础与正则表达式
91|如何获取网页上的数据并存储到文件?
92|小试牛刀:如何将数据进行图形化展示?
93|再回首:“数据分析”单元小结
94|理论盘点:文件类型与对应的 Python 函数库
95|如何批量读取 Excel 文件?
96|如何实现数据的批量格式转换?
97|如何扩展数据类型?
98|再回首:“办公自动化”单元小结
99|理论盘点:Web 客户端与服务端
100|理论盘点:MVC 模型是什么?
101|如何使用Django搭建简单的Web服务器?
102|如何使用Django-admin实现文章上传?
103|如何使用Django实现文章发布?
104|再回首:“Web开发”单元小结
105|理论盘点:人脸识别的一般步骤
106|理论盘点:人脸识别常用的 Python 库有哪些?
107|怎样通过 OpenCV 采集视频信号?
108|如何训练人脸模型?
109|怎样设计人脸识别系统?
110|再回首:“计算机视觉”单元小结
111|聚焦异同:物联网与互联网有啥不一样?
112|理论盘点:基础但不简单的 TCP 协议
113|理论盘点:物模型与模组
114|如何为 ESP32 安装 MicroPython?
115|怎样通过 MQTT 协议构建消息队列?
116|小试牛刀:在 OLED 屏幕和手机远程同时显示室内温度
117|再回首:“物联网”单元小结
118|结束语:人生苦短,我用Pyhon
结课测试|来赴一场满分之约吧!
直播加餐|与AI共同编程,用ChatGPT学Python
直播加餐|用OpenAI API理解Python数据类型
直播加餐|掌握Gradio框架:为 AI Agent 程序定制界面
本节摘要

课后习题
请你使用 requests 库采集一周内的天气(气温 + 降水),存入文本文件中。

课程代码、课件及其他相关资料地址
https://gitee.com/wilsonyin/zero-basics-python

登录 后留言

全部留言(11)

  • 最新
  • 精选
Cy23
import requests from bs4 import BeautifulSoup url = 'https://www.tianqi.com/shenyang/7/' def getHTMLtext(url): """请求获得网页内容""" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"} try: r = requests.get(url, timeout = 30, headers = headers) r.raise_for_status() r.encoding = r.apparent_encoding print("成功访问") return r.text except: print("访问错误") return" " def get_content(html): """处理得到有用信息保存数据文件""" final = "" # 初始化一个列表保存数据 bs = BeautifulSoup(html, "html.parser") # 创建BeautifulSoup对象 body = bs.body ul = body.find('ul', {'class': 'weaul'}) # 找到ul标签且class = weaul li = ul.find_all('li') # 找到左右的li标签 i = 0 # 控制爬取的天数 for day in li: # 遍历找到的每一个li if i < 30 and i > 0: temp = "" # 临时存放每天的数据 date = day.find(attrs={'class':'fl'}).string # 得到日期 temp += date + " " inf = day.find_all(attrs={'class':'weaul_z'}) # 找出li下面的weaul_z,提取第一个weaul_z标签的值,即天气 temp += inf[0].string + " " tem = inf[1].find_all('span') tem_low = tem[0].string # 找到最低温度 tem_high = tem[1].string # 找到最高温度 temp += tem_low+'~'+tem_high+'℃' + "\r" final += temp i = i + 1 return final if __name__ == '__main__': html_text = getHTMLtext(url) data = get_content(html_text) with open('weather.txt', 'w', encoding='UTF-8') as f: f.write(str(data))
2023-01-30
1
你好极客时间
from multiprocessing import Process,Queue import random class Producer(Process): def __init__(self,queue): super().__init__() self.queue = queue def run(self):# 启动任务 self.create() def create(self): num = random.randint(1,10000) self.queue.put(num) class Consumer(Process): def __init__(self,queue): super().__init__() self.queue = queue def run(self):# 启动任务 self.get_result() def get_result(self): random_num = self.queue.get() if random_num % 7 ==0: print("The number is",random_num,", is divisible by 7.") else: print("Generated number", random_num, "is not divisible by 7.") if __name__ == '__main__': queue = Queue() process1 = Producer(queue) process2 = Consumer(queue) process1.start() process2.start() # 启动进程 process1.join() # 结束进程 process2.join()
2024-02-23
Geek_631607
import requests from bs4 import BeautifulSoup import pandas as pd import matplotlib.pyplot as plt # 抓取深圳的天气情况 url = "http://www.weather.com.cn/weather/101280601.shtml" response = requests.get(url) response.encoding = 'UTF-8' # print(response) soup = BeautifulSoup(response.text, 'html.parser') # print(soup) # 解析网页,获取日期、最高温度和最低温度 dates = [item.get_text() for item in soup.select('.t li h1')] dates = [item.get_text() for item in soup.select('.t li h1')] high_temps = [int(item.get_text().replace('℃', '')) for item in soup.select('.t li .tem span')] low_temps = [int(item.get_text().replace('℃', '')) for item in soup.select('.t li .tem i')] # 将数据保存到 DataFrame 中 df = pd.DataFrame({ 'date': dates, 'high_temp': high_temps, 'low_temp': low_temps }) # 将 DataFrame 保存到 CSV 文件中 df.to_csv('shenzhen_weather.csv', index=False) # 从 CSV 文件中读取 DataFrame df = pd.read_csv('shenzhen_weather.csv') # 绘制最高温度和最低温度的折线图 plt.rcParams['font.sans-serif'] = ['Arial Unicode MS'] plt.plot(df['date'], df['high_temp'], label='High Temperature') plt.plot(df['date'], df['low_temp'], label='Low Temperature') plt.xlabel('Date') plt.ylabel('Temperature (℃)') plt.title('Shenzhen Weather') plt.legend() plt.show()
2023-12-11
依托答辩
# 没找到降水的信息在哪 import requests from bs4 import BeautifulSoup import os import json def getHtml(url): header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } try: r = requests.get(url, headers=header) r.raise_for_status() return r.text except: print('请求失败') def getContent(): html = getHtml('https://www.tianqi.com/shanghai/7/') soup = BeautifulSoup(html, 'html.parser') # 找到展示天气的标签 body = soup.body ul = body.find('ul', {'class': 'weaul'}) li = ul.find_all('li') # 每天的天气信息放在li标签中 wea_list = [] for i in li: date = i.find('div', {'class': 'weaul_q'}).text.split('\n')[0] wea_wrapper = i.find('div', {'class': 'weaul_z'}) wea = wea_wrapper.text temp = wea_wrapper.find_next_sibling('div', {'class': 'weaul_z'}).text wea_list.append({ 'date': date, 'temp': temp, 'wea': wea }) return wea_list path = os.getcwd() BASE_PATH = f"{path}/tong_zheng/2023_12_04_homework/" # 绝对路径基本 def saveContent(): with open(f"{BASE_PATH}weather.json", 'w', encoding='utf-8') as f: content = getContent() json.dump(content, f, ensure_ascii=False) saveContent()
2023-12-05
xiaon
有两个地方没明白, 第一,获取数据中的文字,为什么从浏览器F12中的"预览"项中获取,而不是"响应"项 第二,代码中 data = {"ids":[100008801],"with_first_articles":False} 中的 ids 是什么意思啊,为什么不写成 id 或者 abc 呢
2023-11-16
1
MarkG
发现可以通过添加头信息来绕过检查:除了添加User-Agent外,还需要添加 Origin,加上就可以请求的通了
2023-10-28
MarkG
老师,目前按视频中的接口,已经走不通了返回451了
2023-10-28
1
Geek_Mike
import requests import datetime from matplotlib import pyplot def get_data(accesskey, citycode, date): url = f"http://service.envicloud.cn:8082/v2/weatherhistory/{accesskey}/{citycode}/{date}" payload = "" headers = {'cache-control': "no-cache"} response = requests.request("GET", url, data=payload, headers=headers) return response.json() def save_data(data): date = data['date'] tem_max = data['tem_max'] tem_min = data['tem_min'] filename = '/Users/mike/Desktop/zero-basics-python/0/weather_data.txt' with open(filename, 'a') as file: file.write(f'{date},{tem_max},{tem_min}\n') def show_data(): filename = '/Users/mike/Desktop/zero-basics-python/0/weather_data.txt' dates, highs, lows = [], [], [] with open(filename, 'r') as file: line = file.readline() while line: line_list = line.split(',') dates.append(line_list[0]) highs.append(line_list[1]) lows.append(line_list[2]) line = file.readline() fig = pyplot.figure(dpi=128, figsize=(10, 6)) pyplot.plot(dates, highs, c='red', alpha=0.5) pyplot.plot(dates, lows, c='blue', alpha=0.5) pyplot.fill_between(dates, highs, lows, facecolor='blue', alpha=0.1) pyplot.title('Daily high and low tempertures', fontsize=24) pyplot.xlabel('', fontsize=16) fig.autofmt_xdate() pyplot.ylabel('Temperature', fontsize=16) pyplot.tick_params(axis='both', which='major', labelsize=16) pyplot.show() today = datetime.date.today() for i in range(1,8): format_today = today.strftime('%Y%m%d') data = get_data(accesskey='xxx', citycode='xxx', date=format_today) save_data(data) today = today - datetime.timedelta(days=i) show_data()
2023-09-24
Ying
# 请求所在城市7天的天气数据, 并存入本地文本 # https://www.tianqi.com/shenyang/7/ import requests from bs4 import BeautifulSoup urlstr = "https://www.tianqi.com/shanghai/7/" header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" } r = requests.get(urlstr, headers=header) bs = BeautifulSoup(r.text, "html.parser") # bs.body html的主体 # print(bs.body) body = bs.body ul = body.find("ul", {"class": "weaul"}) # print(ul) li = ul.find_all("li") # print(li) temp = "" for day in li: print(day) date = day.find("span", {"class": "fr"}).string temp += date temp += " " temp += day.find("div", {"class": "weaul_z"}).string temp += "\n" print(temp) with open("weather.txt", "w", encoding="UTF-8") as f: f.write(temp)
2023-05-04
Matthew
# 用format()将结果打印输出 def print_data(final_list, num): print("{:^10}\t{:^8}\t{:^8}\t{:^8}\t{:^8}".format('日期', '天气', '最高温度', '最低温度', '风级')) for i in range(num): final = final_list[i] print("{:^10}\t{:^8}\t{:^8}\t{:^8}\t{:^8}".format(final[0], final[1], final[2], final[3], final[4])) # 测试 if __name__ == '__main__': # 中国天气网 url = "http://www.weather.com.cn/weather/101190101.shtml" # 调用函数,爬取网站数据,整合成列表 html = getHTMLText(url) final_list = get_data(html) print_data(final_list, 7) # 将未来7天的日期、天气、最高温度、最低温度、风级数据写入文件 with open("天气.txt", mode='w', encoding='utf-8') as f: f.write(str(final_list))
2023-01-19
收起评论