博文精选 | 架构入门感悟之十二

2021-11-18 17:45:22

F5小安

文章速览:

 

行业:互联网

 

关键字:架构入门感悟

 

摘要:架构入门感悟

 

阅读时长:5分钟

 

 

以下文章来源于InfoQ!作者:莫问

 

 

Questions

  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv     JOIN user u   ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下

Map 函数的输入:表 pageview pageid,userid 每行的记录;表:userid , age 每行的记录;

Map 函数的输出:key 是 user_id,vaule 是 list<表的编号,pageid>;

Reduce 函数的输入:通过 Shuffle sort 将相同的 key,记录到同一个 reduce,然后作为 reduce 函数的输入

Reduce 函数的输出:通过 value,将相同表的编号,后面的 vaule 进行集成,最终形成 pageid、age


 

 

以上是针对架构入门学习感悟的分享,希望对大家有帮助!

 

 

 

阅读原文

 

声明:本文章版权归原作者及原出处所有 。凡本社区注明来源:XXX或转自:XXX”的作品均转载自其它媒体,转载目的在于传递分享更多知识,内容为作者个人观点,仅供参考,并不代表本社区赞同其观点和对其真实性负责。本社区转载的文章,我们已经尽可能的对作者和来源进行了注明,若因故疏忽,造成漏注,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本社区拥有对此声明的最终解释权。

发布评论 加入社群

发布评论

相关文章

博文精选 | TCP 协议灵魂问题,巩固你的网路底层基础

F5小安

2022-01-14 09:11:08 50

博文精选 | 架构师入门感悟之十三

F5小安

2021-11-22 13:19:24 81

博文精选 | 架构入门感悟之十一

F5小安

2021-11-17 11:23:57 92

Login

手机号
验证码
© 2019 F5 Networks, Inc. 版权所有。京ICP备16013763号-1