大数据测试之hadoop单机环境搭建(超级详细版) 置顶

点击链接加入QQ群:https://jq.qq.com/?_wv=1027&k=5C08ATe友情提示:本文超级长,请备好瓜子 Hadoop的运行模式 单机模式是Hadoop的默认模式,在该模式下无需任何守护进程,所有程序都在单个JVM上运行,该模式主要用于开发和调试mapreduce的应用逻辑; 伪分布式模式下,Hadoop守护进程运行在一台机器上,模拟一个小规模的集群。该模式在单机模式...
  2018/02/09   大管家   473

世界杯来了!谁能夺冠?让我们用数据说话

点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5C08ATe 2018年,火热的世界杯即将拉开序幕。在比赛开始之前,我们不妨用 Python 来对参赛队伍的实力情况进行分析,并大胆的预测下本届世界杯的夺冠热门球队。 通过数据分析,可以发现很多有趣的结果,比如: 找出哪些队伍是首次进入世界杯的黑...
2018/06/27   测试帮日记   481

python云计算2

点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5C08ATe ⼀个段⼦理解openstack 1.故事设定 主⻆是⼀个想赚钱的管理员。 他的⼿⾥有着⼤量的物理计算资源,⽆限多的服务器啊,⽆限多的电⼒什么的,⽆限多的硬盘空间,⽆限⼤的带宽啊什么的(勿吐槽,反正⼀切是脑洞⼤开,不如让他⽆限⼤,⽂章的不严谨之处...
2018/06/14   测试帮日记   158

python云计算1

点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5C08ATe 云计算介绍 云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并⾏处理(Parallel Computing)、⽹格计算(Grid Computing)发展来的 ,是⼀种新兴的商业计算模型。⽬前...
2018/06/13   测试帮日记   146

ETL工具之Informatica

点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5C08ATe Informatica是最常用的ETL工具之一,与之类似的工具还有DataStage和kettle;       由于个人只用过Informatica,所以只讨论Informatica。...
2018/04/25   测试帮日记   562

使用Web Scraper 插件,不需要编程,也能爬网

使用Web Scraper 插件,不需要编程,也能爬网,使用Web Scraper插件,能够创建一个网站地图,并能遍历网站,抓取我们感兴趣的数据,比如,我们登陆淘宝,京东等商务网站,我们可以通过 Web Scraper,抓取某一类商品的规格说明,价格,厂家等信息,我们通过Web Scraper可以抓取我们进入头条上的最热门的文章,也可以抓取我们自己的所有文章列表,发布时间,阅读和浏览量等信息,当然...
2018/02/19   大管家   219

大数据告诉你?

现在,主动单身和恐婚人群越来越多,在一些人看来,谈恋爱似乎是很麻烦的事。 很多在爱情中比较迷糊的人,常常踩到雷区,免不了一番争吵。 今天的大数据将告诉你:男女交往哪些行为是低智商的表现;恋爱时,男生女生在想什么?情侣该怎样科学地相处? · 01 · 恋爱中,女生容易踩什么雷区? ▌为别人的爱,从来都不是应该的 恋爱里,男生最讨厌女生把自己的付出视作理所当然,恋爱中没有谁理应当付出更多,彼此都要有...
2018/02/19   xiaoqiang   249

小白学习大数据测试之hadoop hdfs和MapReduce小实战

大数据测试之hadoop单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReduce demo程序来看看效果和处理过程。 大致步骤如下: 新建一个文件test.txt,内容为 Hello Hadoop Hello xiaoqiang Hello testingbang Hello http://xqtesting.sxl.cn 将test.txt上传到hdfs的根目录 /u...
2018/02/09   大管家   227

小白学习大数据测试之ETL

之前发布过一篇关于ETL的文章,无奈被人说太简单。。。。唉,小编也是刚接触啊,自然不能那么高深,所以只是对学习的过程做了记录转换为文章分享给大家,如果对你有帮助,不要吝啬点赞+转发,如果对你没有帮助,那就请转身离开。。。。或者你写一篇更详细的给我,我申请红包给你(邪恶的笑~) 好啦,回归正题,这次作为补充在详细介绍下。ETL是什么?其实ta指的是一个过程,就是大数据中对数据处理的过程(抓取&g...
2018/02/09   大管家   258

小白学习大数据测试之hadoop再次探索

引子 虽然通过《小白学习大数据测试之hadoop初探》以及把hadoop的基本核心说明白了,但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看 大数据粗暴理解 大数据甭管什么,简单粗暴的理解为大!大!大!对,你没看错,不管什么都是大就对了,哈哈哈哈 大数据应用的功能抽象出来基本就是:数据采集、数据存储、数据处理(过滤、拆分、聚合)、数据分析、数据应用。说白了就是对从各处采集的数据经过...
2018/02/09   大管家   222
1/2