数码控科技猎奇Iphone动漫星座游戏电竞lolcosplay王者荣耀攻略allcnewsBLOGNEWSBLOGASKBLOGBLOGZSK全部技术问答问答技术问答it问答代码软件新闻开发博客电脑/网络手机/数码笔记本电脑互联网操作系统软件硬件编程开发360产品资源分享电脑知识文档中心IT全部全部分类全部分类技术牛文全部分类教程最新网页制作cms教程平面设计媒体动画操作系统网站运营网络安全服务器教程数据库工具网络安全软件教学vbscript正则表达式javascript批处理更多»编程更新教程更新游戏更新allitnewsJava新闻网络医疗信息化安全创业站长电商科技访谈域名会议专栏创业动态融资创投创业学院 / 产品经理创业公司人物访谈营销开发数据库服务器系统虚拟化云计算嵌入式移动开发作业作业1常见软件all电脑网络手机数码生活游戏体育运动明星影音休闲爱好文化艺术社会民生教育科学医疗健康金融管理情感社交地区其他电脑互联网软件硬件编程开发360相关产品手机平板其他电子产品摄影器材360硬件通讯智能设备购物时尚生活常识美容塑身服装服饰出行旅游交通汽车购房置业家居装修美食烹饪单机电脑游戏网页游戏电视游戏桌游棋牌游戏手机游戏小游戏掌机游戏客户端游戏集体游戏其他游戏体育赛事篮球足球其他运动球类运动赛车健身运动运动用品影视娱乐人物音乐动漫摄影摄像收藏宠物幽默搞笑起名花鸟鱼虫茶艺彩票星座占卜书画美术舞蹈小说图书器乐声乐小品相声戏剧戏曲手工艺品历史话题时事政治就业职场军事国防节日风俗法律法规宗教礼仪礼节自然灾害360维权社会人物升学入学人文社科外语资格考试公务员留学出国家庭教育学习方法语文物理生物工程学农业数学化学健康知识心理健康孕育早教内科外科妇产科儿科皮肤科五官科男科整形中医药品传染科其他疾病医院两性肿瘤科创业投资企业管理财务税务银行股票金融理财基金债券保险贸易商务文书国民经济爱情婚姻家庭烦恼北京上海重庆天津黑龙江吉林辽宁河北内蒙古山西陕西宁夏甘肃青海新疆西藏四川贵州云南河南湖北湖南山东江苏浙江安徽江西福建广东广西海南香港澳门台湾海外地区

【Hadoop问题汇总贴,不定期更新,欢迎大家推荐有代表性的帖子和博文】-CSDN论坛

来源:互联网  责任编辑:小易  
本网有用户碰到这样的问题:【Hadoop问题汇总贴,不定期更新,欢迎大家推荐有代表性的帖子和博文】-CSDN论坛,具体问题如下:

各位2014新年好~~~
为了方便新手、高手、老鸟快速的找到自己想要的问题答案~~~
此贴将汇总论坛中具有价值常见问题,以及CSDN博客中的一些具有代表性的文章~~~
如果你有看到有价值的论坛帖子或CSDN博客文章,请在本帖中回帖,我会把各位的推荐汇总到主贴中~~~

撸大湿祝各位Hadooper在新的一年中身体健康、工资翻番、技术越来越牛B~~~

Hadoop基本介绍
Hadoop百度百科
Hadoop之父Doug Cutting 介绍
Hadoop YARN的发展史与详细解析

第一版:Hadoop常规问题

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
一 基础类 

Hadoop社区版官网:http://hadoop.apache.org/
社区版下载地址:http://apache.claz.org/hadoop/common/

企业发行版(排名不分先后):
Cloudera:http://www.cloudera.com/content/cloudera/en/home.html
UCloud UDDP:http://www.ucloud.cn/product/uddp_main/【国内最早推出基于云服务的Hadoop(Cloudera)厂商】
MapR:http://www.mapr.com/
Amazon EMR:http://aws.amazon.com/cn/elasticmapreduce/【跟楼上是对好基友,不解释】
Inter:http://hadoop.intel.com/
Hortonworks:http://www.hortonworks.com/

Hadoop生态系统中的重要组件

Hive:http://hive.apache.org/ 
如果你擅长SQL或者从事DBA工作,Hive必学!!

Pig:http://pig.apache.org/ 
Hive不熟太麻烦?SQL苦手?那就玩这个吧。Pig部署简单、语法易懂,除了不能Insert.....

Sqoop:http://sqoop.apache.org/ 
Hadoop与RDBMS之间的桥梁,轻松搞定ETL

HBase:http://hbase.apache.org/ 
还在为MySQL如何存储大量业务日志的犯愁吗?分库、分表、分partiton是不是搞得你焦头烂额?HBase助你一臂之力

Chukwa:http://chukwa.apache.org/
一个开源的用于监控大型分布式系统的数据收集系统。

Hadoop环境搭建

yfkiss教你如何在ubuntu搭建hadoop单机环境:Hadoop单机环境搭建笔记(ubuntu)
该方法适用于hadoop版本:0.20.X 1.X.X  2.X.X(非YARN版适用,YARN版往下看)

海兰教你如何在ubuntu搭建Hadoop2.2.X集群(两台):Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
该方法适用于hadoop版本:2.X.X。相比yfkiss,博主为节点机配置了HostName,在生产环境中HostName的配置很重要~~~

Hadoop零基础FAQ

分布式和云计算有什么区别

hadoop的应用场景讨论

Hadoop科普文——常见的45个问题解答

CSDN在线培训

第一期:实战为王 【CSDN在线培训QA】梁堰波解SQL-on-Hadoop疑难杂症

第二期:敬请期待........

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
二 HDFS汇总

由于用户权限问题导致的Permission denied:hadoop 启动报错了,网上实在查不到为什么了

由于HostName配错导致的HDFS启动失败:hadoop启动报错

SSH、HostName、iptable导致的启动失败:
   新手请教个集群搭建的问题
   完全分布式搭建的error(datanode启动不了

9000端口被占用导致HDFS启动失败:Hadoop启动时候报错,报错如下。请大大支招!

通过java api获取hdfs整体信息:如何通过api获取hdfs整体信息

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
三 MapReduce

mapred.job.tracker地址配错导致的MR无法正常启动:http://bbs.csdn.net/topics/370163537

如何在Map和Reduce之间传递静态变量:http://bbs.csdn.net/topics/390418508

如何调试MapReduce:eclipse 不能调试hadoop程序吗?

MapReduce二次排序问题:
    为什么我二次排序排不了呢?代码如下
    100分求解决2个简单的问题3楼


权限问题导致的Eclipse启动MR失败:http://bbs.csdn.net/topics/390534517

hadoop 404 Not Found /jobtracker.jsp:http://bbs.csdn.net/topics/380114884

MapReduce中合并小文件(Hadoop2.X可用):hadoop CombineFileInputFormat

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
四 Hive/Pig/Sqoop

如何退出Hive进程:hive>如何正常并安全退出

如何解决Join非等值匹配问题:Hive面试题

如何在Hive中映射HBase数据表:HIVE和HBASE数据对接

Hive分隔符问题:
   hive 分隔符
   hive建表及导入数据的问题
   Hive查询表 数据全是NULL(Duke147推荐)

Sqoop导入Oracle数据的NULL值处理:SQOOP如何不将空字段填为NULL?

在Hive并行执行脚本:HIVE作业提交的问题

如何在Hive SQL中实现Exists语句:100分求解决2个简单的问题,新手求指导9楼

Pig配置问题:安装PIG出现的问题。

过往记忆介绍Hive 0.11新特性:Hive0.11.0的新特性

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
五 HBase

如何在HBase的表之间做Join操作:Hbase的Join问题

Hfile排序问题导致的数据导入失败:关于mapreduce生成hfile文件

Hadoop Lib库版本不一致导致的HBase启动失败:配置hbase,主节点HMaster启动不起来

如何设置数据的生命周期TTL:亲们,如果设置HBase数据的有效期?

利用HTablePool解决HTable多线程调用不安全的问题:HBase大批量写入报错~~

Client Put 优化相关:Hbase 入库优化 求大神帮忙看看我的代码如何改进

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
六 Mahout

Hadoop集群中的Mahout-distribution-0.7安装与配置(海兰推荐)

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
七 其他问题

如何禁止ZooKeeper的日志信息输出:http://bbs.csdn.net/topics/390471281

本网根据需求用户需求,为用户寻得以下其他网友提供的解决方法,方法仅供参考,具体如下:

解决方案1:

第二版:Hadoop进阶
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
八 Hadoop 2.X 问题汇总

Hadoop2.2 64位源码编译,如果不想自己编译往下看:hadoop2.2.0 centos 编译安装详解

Hadoop2.2 64位二进制包,由于CSDN资源上传有60MB限制,我把二进制包拆成了2个。编译环境 Centos6.4 x64,JDK1.7:hadoop 2.2 64位 二进制包(上)  hadoop 2.2 64位 二进制包(下)

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
九 Hadoop 源码相关问题汇总
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------

十 MapReduce算法讨论

携程面试的一道MapReduce的题目

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
十一 HBase高级开发
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
十二 Storm相关问题汇总

Storm DRPC调用:Storm 远程DRPC 调用失败

Storm人工智能机器学习:Storm 分布式BP神经网络的Demo 博文:Storm 分布式BP神经网络(开源)

--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
十三 Spark相关问题汇总

Spark 1.0.0发布,Spark on Yarn 部署(Hadoop2.4 + Spark 1.0.0):http://blog.csdn.net/tntzbzc/article/details/27817189




解决方案2:

预留占位~~

解决方案3:

牛比闪闪的一个汇总贴

解决方案4:

引用 3 楼 lisw2011 的回复:
牛比闪闪的一个汇总贴

尾随花妹
学习

解决方案5:

紧随周哥步伐!

解决方案6:

这个可以啊,mark!

解决方案7:

引用 4 楼 fudongrifdr 的回复:
Quote: 引用 3 楼 lisw2011 的回复:

牛比闪闪的一个汇总贴

尾随花妹
学习



引用 5 楼 Duke147 的回复:
紧随周哥步伐!



引用 6 楼 huxiweng 的回复:
这个可以啊,mark!


各位有啥好的推荐不?
博客或者论坛帖子,JAVA版的也行阿

解决方案8:

http://bbs.csdn.net/topics/390288457?page=1

以前学习的时候记录了一些,都没有整理。。。

解决方案9:

这个好
学习学习

解决方案10:

我感觉还不错

解决方案11:

解决方案12:

楼主这么吊,你家人知道吗

解决方案13:

引用 12 楼 yinan9 的回复:
楼主这么吊,你家人知道吗

谢谢关注

解决方案14:

我编辑了,误会

解决方案15:


有啥好的帖子和博客能推荐一下嘛

引用 14 楼 yinan9 的回复:
我编辑了,误会

解决方案16:

好东西大家分享

解决方案17:

感谢楼主分享

解决方案18:

引用 4 楼 fudongrifdr 的回复:
Quote: 引用 3 楼 lisw2011 的回复:

牛比闪闪的一个汇总贴

尾随花妹
学习

解决方案19:

好帖!!!收藏!!

解决方案20:

这个可以啊,mark一个~~

解决方案21:

Hadoop集群中的Mahout-distribution-0.7安装与配置
http://blog.csdn.net/hadoop_/article/details/16980707

解决方案22:

引用 21 楼 s060403072 的回复:
Hadoop集群中的Mahout-distribution-0.7安装与配置
http://blog.csdn.net/hadoop_/article/details/16980707


这个可以有,再来一个Mahout-distribution-0.8的吧
凉飕飕。。。

解决方案23:

谢谢楼主!另外能否告知,如果用hadoop布置成一个数据库,应该用什么比较好?

解决方案24:

mark,mark

解决方案25:

引用 23 楼 lvshuchenyin 的回复:
谢谢楼主!另外能否告知,如果用hadoop布置成一个数据库,应该用什么比较好?

hadoop 不是数据库,但可以考虑 hdfs+hbase  如果嫌hadoop麻烦,可以考虑cassandra,最新版也有MR

引用 25 楼 u013302967 的回复:
是个好帖子!!!稍稍顶一下。。

谢谢顶贴,有值得推荐的帖子或博客请留言,谢谢

解决方案26:

MARK一下,,,哈哈。

解决方案27:

太好了,学习!

解决方案28:

恐怖如斯,谢谢楼主分享!

解决方案29:

好,大数据的基础。先留个牙印,以后真可能用

解决方案30:

这个很好,一定要搞起来。。。辛苦楼主

解决方案31:

好帖啊,多谢楼主分享~

解决方案32:

大数据这个概念现在火了  关注一下

解决方案33:

真不错,正想学习这个,这下可以系统的学习下

解决方案34:

果断收藏,楼主威武

解决方案35:

这个好,希望能及时理新,学习了

解决方案36:

好,撸主辛苦,收藏了

解决方案37:

刚想学习hadoop,给力,收藏。

解决方案38:

跟紧组织进程....

解决方案39:

进阶应该还加一个hadoop相关经验总结 

解决方案40:

谢谢楼主分享

解决方案41:

。。。。占座

解决方案42:

楼主辛苦了

解决方案43:

今天才看到,好贴,赞一个,大师真是尽心尽力啊!

解决方案44:

撸大师最牛了!

解决方案45:

32个赞!!向撸大湿学习!!

  • 本文相关:
  • 站长必读,如何真正写好一篇原创文章
  • 互联网之路细嗅蔷薇 资深站长分享掘金之道
  • 企业站的站长的工作重心究竟有哪些
  • 浅析:行业门户网站的一些盈利模式
  • 3000IP的企业网站每天订单不到30个的苦恼
  • 网站想内外兼修?先学习提高网站可用性的6大原则
  • 浅谈网页设计中的简约之美
  • 网页改版实战:日本设计师如何彻底优化旅游网站?
  • 网页改版实战!日本设计师如何彻底优化招聘网站?
  • 2015年值得关注的21个网页设计趋势
  • 免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved