大数据测试之hadoop单机环境搭建(超级详细版) 置顶

点击链接加入QQ群:https://jq.qq.com/?_wv=1027&k=5C08ATe友情提示:本文超级长,请备好瓜子 Hadoop的运行模式 单机模式是Hadoop的默认模式,在该模式下无需任何守护进程,所有程序都在单个JVM上运行,该模式主要用于开发和调试mapreduce的应用逻辑; 伪分布式模式下,Hadoop守护进程运行在一台机器上,模拟一个小规模的集群。该模式在单机模式...
  2018/02/09   大管家   179

ETL工具之Informatica

点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5C08ATe Informatica是最常用的ETL工具之一,与之类似的工具还有DataStage和kettle;       由于个人只用过Informatica,所以只讨论Informatica。...
2018/04/25   测试帮日记   87

使用Web Scraper 插件,不需要编程,也能爬网

使用Web Scraper 插件,不需要编程,也能爬网,使用Web Scraper插件,能够创建一个网站地图,并能遍历网站,抓取我们感兴趣的数据,比如,我们登陆淘宝,京东等商务网站,我们可以通过 Web Scraper,抓取某一类商品的规格说明,价格,厂家等信息,我们通过Web Scraper可以抓取我们进入头条上的最热门的文章,也可以抓取我们自己的所有文章列表,发布时间,阅读和浏览量等信息,当然...
2018/02/19   大管家   75

大数据告诉你?

现在,主动单身和恐婚人群越来越多,在一些人看来,谈恋爱似乎是很麻烦的事。 很多在爱情中比较迷糊的人,常常踩到雷区,免不了一番争吵。 今天的大数据将告诉你:男女交往哪些行为是低智商的表现;恋爱时,男生女生在想什么?情侣该怎样科学地相处? · 01 · 恋爱中,女生容易踩什么雷区? ▌为别人的爱,从来都不是应该的 恋爱里,男生最讨厌女生把自己的付出视作理所当然,恋爱中没有谁理应当付出更多,彼此都要有...
2018/02/19   xiaoqiang   72

小白学习大数据测试之hadoop hdfs和MapReduce小实战

大数据测试之hadoop单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReduce demo程序来看看效果和处理过程。 大致步骤如下: 新建一个文件test.txt,内容为 Hello Hadoop Hello xiaoqiang Hello testingbang Hello http://xqtesting.sxl.cn 将test.txt上传到hdfs的根目录 /u...
2018/02/09   大管家   69

小白学习大数据测试之ETL

之前发布过一篇关于ETL的文章,无奈被人说太简单。。。。唉,小编也是刚接触啊,自然不能那么高深,所以只是对学习的过程做了记录转换为文章分享给大家,如果对你有帮助,不要吝啬点赞+转发,如果对你没有帮助,那就请转身离开。。。。或者你写一篇更详细的给我,我申请红包给你(邪恶的笑~) 好啦,回归正题,这次作为补充在详细介绍下。ETL是什么?其实ta指的是一个过程,就是大数据中对数据处理的过程(抓取&g...
2018/02/09   大管家   79
1/3