• Realm
    2022-12-20 来自浙江
    课程渐入佳境了,知识越来越有趣味了。老师,有时间可以把每节课的思考题答疑下,那就更好了。 思考题: 猜测是用AST抽象语法树+反射,解析js,转成Golang语法。 疑问: ``` type CrawlerStore struct { list []*collect.Task hash map[string]*collect.Task } ``` 这个list的设计是用于做什么?好像程序中没有提到。

    作者回复: 之前写代码时,考虑可以用于任务的优先级排序等功能

    
    
  • 翡翠虎
    2022-12-20 来自广西
    设计一个这样的引擎有什么好处?如果把xpath规则或者正则放到数据库,运行的时候随着任务传递给程序,程序按几个预设配置处理,会不会更好?

    作者回复: 每一个具体的任务的过程都可能有很多个阶段,是比较复杂的,每个阶段还有联系。不能简单的用文本放在数据库中

    
    