19｜从正则表达式到CSS选择器：4种网页文本处理手段

澎湃新闻首页应该是改版了，原来的例子抓不到内容，按照老师的思路抓到现在推荐卡片里的新闻标题，交作业了 package main import ( "bufio" "fmt" "io/ioutil" "net/http" "regexp" "golang.org/x/net/html/charset" "golang.org/x/text/encoding" "golang.org/x/text/encoding/unicode" "golang.org/x/text/transform" ) var headerRe = regexp.MustCompile(`<div class="small_cardcontent__BTALp"[\s\S]*?<h2>([\s\S]*?)</h2>`) func main() { url := "https://www.thepaper.cn/" pageBytes, err:= Fetch(url) if err!= nil { fmt.Printf("read content failed %v", err) return } matches := headerRe.FindAllSubmatch(pageBytes, -1) for _, m := range matches { fmt.Println("fetch card news:", string(m[1])) } } func Fetch(url string) ([]byte, error) { resp, err := http.Get(url) if err != nil { panic(err) } defer resp.Body.Close() if resp.StatusCode != http.StatusOK { fmt.Printf("Error status code: %v", resp.StatusCode) } bodyReader := bufio.NewReader(resp.Body) e := DerterminEncoding(bodyReader) //utf-8 utf8Reader := transform.NewReader(bodyReader, e.NewDecoder()) return ioutil.ReadAll(utf8Reader) } func DerterminEncoding(r *bufio.Reader) encoding.Encoding { bytes, err := r.Peek(1024) if err != nil { fmt.Printf("fetch error: %v", err) return unicode.UTF8 } e, _, _ := charset.DetermineEncoding(bytes, "") return e } 运行结果，fetch card news: 长二丁火箭70次发射发发成功，将171颗卫星送入预定轨道 fetch card news: 日本主帅森保一道歉：对不起支持我们的球迷，全力备战西班牙 fetch card news: 豪宅数万“天价电费”何来？台湾地区电价调涨背后的能源困局 fetch card news: 因白俄罗斯外长马克伊去世，俄外长推迟访问白俄罗斯

grep -oP 'order_id=\d+'|grep -oP '\d+'

思考题，mac上通过grep -oE 'order_id=\d+' | grep -oE '\d+' 可以提取orderid

项目代码放哪里了？之前留的找不着了

勘误， fmt.Println("fetch url error:%v", err) 应该为fmt.Printf("fetch url err:%v\n", err)吧

目前，Linux 和 Mac 在原生集成 GUN 套件。应该是GNU吧

老师，澎湃新闻的首页改版了，代码需要调整了。不然运行后没结果。

问下最后这单个 return 含义是啥。 if err != nil { fmt.Println("fetch url error:%v", err) return }

勘误，“下面这段使用 bytes 标准库的代码和上面使用 strings 库的代码在功能上是等价的”，该处实例代码应该是这样吧 numLinks := bytes.Count(body, []byte("<a")) fmt.Printf("homepage has %d links", numLinks) exist := bytes.Contains(body, []byte("疫情")) fmt.Println(exist)

更新之后的： 正则：var headerRe = regexp.MustCompile(`<div class="small_cardcontent__BTALp"[\s\S]*?<h2>([\s\S]*?)</h2>`) Xpath: nodes := htmlquery.Find(doc, `//div[@class="small_cardcontent__BTALp"]//h2`) CSS选择器: doc.Find("div.small_cardcontent__BTALp h2")