• Tommy
    2018-12-31
    能讲讲怎么做埋点嘛,去面试很多人问到
     2
     70
  • HxScript
    2019-01-01
    关于比特币未来走势预测,可以从两个角度考虑:
    1、比特币的生产:价值尺度,生产力和生产成本会影响价格。作为区块链货币,应该具有区块链的属性:会受供给增加机制影响,即产量四年减半。进而会影响产量和挖币成本。但如果区块链协议改变,会直接改变比特币总量。
    2、比特币的交易:作为流通手段和支付手段,主要影响因素可能是税率。但区块如果扩容,会改变交易速度,继而影响交易手续费。

    而以上信息,再按能否用二位表结构来进行逻辑表达,分类为结构化数据和非结构化数据。
    结构化数据:比特币产量(计算得出)、挖币成本(计算得出)、日/周/月交易数(爬取相关交易网站得到,用以预测热度)、交易手续费走势(爬取相关交易网站得到,用以了解交易成本)。
    非结构化数据:比特币相关新闻(都可爬取比特币垂直资讯网站获得)、比特币相关政策(努力固然重要,还要考虑时代的进程)、比特币自身协议变更情况(可爬取比特币垂直资讯网站获得)。

    完全区块链门外汉,如有错误,还望老师同学指出!
    展开
    
     22
  • 蜘蛛的梦呓
    2018-12-31
    据我所知,今年区块链、比特币是在年初时突然间出现了大众的视野,随之比特币高涨,吸引了不少人进场,但是也出现了不少劣币,这些劣币收割了不少韭菜,人们炒币的热度下降了不少,比特币价格大跌,而且政府也有意控制比特币。
    所以,我觉得需要以下的数据来判断比特币的价格走势。

    【所需维度】:
      1. 比特币的价格走势(历史价格和交易数据)
      2. 区块链、比特币的热度指数(分析下降原因,人 们对比特币的使用程度)
      3. 相关的政策(政府的对比特币的态度)
    【如何搜集】:Kaggle、百度指数、各大新闻网站。
    展开

    作者回复: 同意,这道题没有标准答案,不过政策确实是个很大的因素,还有人们对于比特币的信心

     1
     9
  • Destroy、
    2018-12-31
    scrapy也是爬虫的利器。。。

    作者回复: 对 爬虫框架

    
     7
  • ida
    2018-12-31
    【所需的维度】:历史价格、交易人数、交易时间、比特币历史挖掘地点和挖掘大小以及成交量大小
    【收集数据】:用于分析预测的数据可以从Kaggle或者Poloniex上收集到
    
     6
  • 滢
    2019-04-09
    预测比特币的未来走势,可以从以下维度抓取数据
    1.认知度:社会对比特币的认可,抓取百度指数、谷歌搜索量、微博数据等
    2.比特币依赖的技术:作为数字货币,核心技术的完善和认可度占比重较大,可以从区块链相关技术网站爬取数据,也可以从微博爬取(微博也是技术人活跃的交流平台)
    3.供给平衡:比特币虽说是一种数字货币,但仍逃脱不掉是一种商品的本质,商品必然受市场平衡调节影响,所以爬取买入量、抛售量还有历史价格也是一种预测维度
    4.政府政策:政府政策的影响占很大比重,若国家出台政策强制打压或者支持,那么对价格的影响起了根本性作用,所以需要爬取相关的新闻
    5.竞争数字货币:作为一种商品,必然要考虑竞争品的相关情况,需要抓取其它数字货币相关信息如其它货币的价格、交易量。资本在流入其它市场的时候,与之对应的竞品必然会受影响。抓取数据途径:其它货币交易平台
    展开

    作者回复: 分析的不错!

    
     5
  • Mingjie
    2018-12-31
    老师,做数据分析掌握爬虫是必须的嘛?

    作者回复: 爬虫是工具之一,多一种收集数据的方法。如果你定位是算法工程师,可以着重看数据挖掘的部分。

    
     4
  • qinggeouye
    2019-11-03
    1、开放数据源 -- 公开地址直接获取
    单位: 政府/企业/高校
    行业: 交通/金融/能源

    2、爬虫抓取 -- 第三方抓取工具/爬虫编程
    特定网站/APP

    3、传感器 -- 特定设备采集的物理信息

    4、日志采集 -- Web服务器采集/自定义采集
    埋点(第三方工具/自定义埋点)
    展开

    作者回复: 对 这四种是比较重要的数据源

    
     2
  • third
    2019-02-01
    1.历史价格

    比特币价格

    (矿机价格)



    2,历史时点

    1,区块链协议

    2,政策

    3,当时的国际政治环境

    4,经济形势



    3,搜索热度
    展开
    
     2
  • helloling
    2018-12-31
    爬虫不止php,很多编程语言都是可以写的,java、node.js、.net、go等等编程都可以写,R语言也可以写爬虫。只是python上手比较简单,网上几乎都是python的教程,导致有些人认为只有python能写。

    作者回复: 同意,同样数据分析也不止是Python语言,只是用的人多,资料文档还有第三方工具相比于其他语言更完善

    
     2
  • Andre
    2019-06-03
    埋点是怎么一种操作?

    作者回复: 比如使用前端埋点,你可以通过JavaScript获取一些信息,包括页面标题,访问的URL,浏览器的语言,显示的颜色深度,分辨率等。同时你还可以通过埋点获取想要监测的业务数据

    
     1
  • 王彬成
    2019-02-11
    问题:假如你想预测比特币的未来走势,都需要哪些维度的数据源呢?怎样收集到它们呢?
    回答:类似于股票,我认为比特币的走势是与比特币的价值有关,即利用比特币技术能产生收益。所以需要收集与比特币应用相关的新闻。利用百度指数即可得知。
    其次,还需获得比特币的价格走势和挖矿机的价格
    
     1
  • 张国胜
    2019-01-07
    要收集关于比特币的数据:
    1. 比特币历史交易量 —— 开放数据源
    2. 挖矿芯片的价格及出货量 —— 电商
    3. 二手矿机交易量 —— 二手交易平台
    4. 百度搜索指数、google 搜索指数、微博指数
    
     1
  • Frank
    2019-01-04
    希望后面的课程能结合实战具体讲讲本节课提到的各种理论方法,包括爬虫编写,埋点,日志分析等等~

    作者回复: 爬虫编写后面会有,这块很多人都感兴趣

    
     1
  • C J J
    2019-01-03
    app用了友盟,的确是个不错的前端用户行为日志收集利器。可以拿到手机型号,奔溃时间等,极大方便开发人员排查问题,还是免费的。

    作者回复: 是的 基本上现在统计用户行为都会采用第三方工具

    
     1
  • 逗逼师父
    2019-01-02
    国内用Google analysis会不会数据偏差过大?因为有墙啊

    作者回复: 确实使用国内的工具更稳定些

    
     1
  • Kyle
    2018-12-31
    比特币未来预测走势,首先需要知道比特币的历史价格走势(每日周月年的数据),成交交易量,交易人数,以及比特币走势发生重大变化时候的外部环境,比如政府政策,股市交易走势(美股,港股,大陆等的大盘指数);
    比特币的交易数据可以通过一些公开数据源获取,如比特币交易平台,kaggle等,外部环境可以通过Python爬取比特币资讯,查看比特币价格发生重大变化所发生的新闻,以及同期的股票数据通过公开的数据源抓取。
    
     1
  • pencilCool
    2020-01-18
    单位维度的数据源:
    Http://www.census.gov/data.html
    Http://open-data.europa.eu/en/data
    Https://developers.facebook.com/docs/graph-api
    Http://aws.amazon.com/datasets
    Https://www.google.com/finance
    http://opendata.pku.edu.cn/
    Http://www.image-net.org/
    展开
    
    
  • 强者自强
    2020-01-04
    老师,你好,我定位是数据挖掘工程师,爬虫需要掌握到什么程度呢,掌握你接下来文章里提的那些可以吗
    
    
  • 权游记
    2019-12-24
    还有个web scrapper, 我看了官网视频,然后发现非常好用。初期自学的时候,搜索对比了几家数据采集的工具,最终学成的是这个小插件。

    作者回复: 不错的分享

    
    
我们在线,来聊聊吧