刘家财的个人网站

编程语言,数据库,生活杂谈

2014-09-14   2023-09-24   2908   6 分钟内   理解计算机   mozilla

Mozilla 前世今生

用过 Firefox 的同学多多少少都应该对 Mozilla 有些了解,Mozilla 作为一老牌软件公司,诞生了很多传奇性的故事和人物,本篇文章将带来读者重新回顾上个世纪九

2014-09-07   2023-09-24   2294   5 分钟内   大数据   hadoop

Yarn概述

Yarn是随着hadoop发展而催生的新框架,全称是Yet Another Resource Negotiator,可以翻译为“另一个资源管理器”。yarn取代了以前had

2014-08-16   2023-09-24   2312   5 分钟内   理解计算机   算法

两个水壶问题

问题描述是这样的: 假设有一个池塘,里面有无穷多的水。现有2个空水壶a,b,其容积分别为6升和5升。如何只用这2个水壶从池塘里取得3升的水**

2014-08-06   2023-09-24   3704   8 分钟内   大数据   hadoop

Yarn的安全模式与高可靠性安装总结

最近几天又重新把cdh的安全模块与高可靠性模块重新搭建了一遍,这次用是的目前最新的5.1.0的tar包安装,以前把MRv1搭建了好,这次主要是熟悉安装过程,并且把YARN的安全模块与HA模块成功搭建起来。遇到的错误还是不少,安装过程也是废了我好几天,现在想想很多错误都比较典型,现在此记录下我搭建过程中遇到的错误与心得,一方面为自己以后查阅,另一方面希望也能对遇到同样问题的人有所启发。

2014-07-17   2023-09-24   2366   5 分钟内   大数据   hadoop

hadoop1.0 高可靠性(HA)安装与总结

继上次 安装完Kerberos安全认证后,现在我在这基础上,又给CDH加上了HA(high availability),也就是高可靠性,具体来讲就是双NameNode,双Jobtracker(我还是在MRv1模式下),有了HA后,这下集群的健壮性就能够得到很好的保证了。

我还是按照 官方文档来操作的,有了上次的经验,建议大家在具体操作实施前,先快速阅读一遍,做到心中有数,我还阅读了 Apache官方的说明,也不用怎么详细,大概知道怎么回事就行了。

2014-07-15   2023-09-24   3096   7 分钟内   大数据   hadoop

hadoop1.0 安全认证(kerberos)安装与总结

俗话说得好,万事开头难。在软件开发中,环境部署要算是第一门槛了。我最近折腾了一周时间把cdh5.0.2.tar.gz版本在MRv1模式下,成功集成了Kerberos安全认证,并且是在全分布式模式下。经过这次安装过程,对hadoop的了解又深入了一层。现在趁着自己刚搭建完环境,脑子还时不时的闪现遇到的错误,把我的安装过程记录于此,一方面方便自己今后查阅,另一方面希望对今后遇到同样问题人有所启发。

2014-07-12   2023-09-24   3352   7 分钟内   编程语言   Java

JVM 的类初始化机制

当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但里面的细节很多,