13 | 实时统计：链路跟踪实时计算中的实用算法

还是以Restful API举例说明 GET geekbang.com/user/1002312/info => geekbang.com/user/*num*/info_GET PUT geekbang.com/user/1002312/info => geekbang.com/user/*num*/info_PUT DELETE geekbang.com/user/1002312/friend/123455 => geekbang.com/user/*num*/friend/*num*_DEL method: GET/PUT/DELETE url:geekbang.com/user/1002312/info geekbang.com/user/1002312/friend/123455 time: 请求时间,秒 可以用大数据HIVE或者阿里的MaxCompute进行离线分析，这里以我司MaxCompute为例: caoncat/regexp_replace参考文档 https://help.aliyun.com/document_detail/48973.html SELECT processed_url ,COUNT(*) As total_cnt ,MEDIAN(time) AS tp50_time ,AVG(time) As avg_time FROM ( SELECT concat(regexp_replace(url,"\d","*num*"),"_",method) AS processed_url ,time FROM soure_data ) as temp_statistics GROUP BY processed_url; 这里用离线数据分析的SQL举例，如果实时的类似 还有一种可以使用小时表同步方案做离线统计

对SQL不是很了解，接触到的SQL语句大致分为：增insert、删delete 、改update、查select这四类。其中查 select 的操作存在重复的可能性，如果是多人同时查询一个时间或者一个条件的数据，可以考虑根据select的参数聚合归类去重；增insert、删delete 、改update 都是原子操作，这三类操作都具有唯一性，可以提供语句操作模块，然后日志这边通过人工配置替换模板来聚合归类去重。