yunman
yunmanfan · 共 78 篇文章
hadoop 监控--hadoop hbase metric名全申明
体系参数监控metrics load_one 每分钟的体系均匀负载 load_fifteen 每15分钟的体系均匀负载 load_five 每5分钟的体系均匀负载 boottime 体系启动时候,正确到秒 bytes_in 收集接管速度,单位bytes/sec bytes_out 收集发送速度,单位bytes/sec cpu_aidle 启动的余暇CPU百分比 cpu_idle 余暇CPU百分比 cpu_nice 用户过程空间内改变过优先级的过程占用CPU百分比 cpu_num CPU线程总数 cpu_report CPU应用景象汇总呈报 cpu_speed CPU速度(MHz) cpu_s…
2014-07-04 09:36 · 博客收藏(转) · 评论(0)
事务,JDBC,ORACLE
本文是在 http://www.blogjava.net/William/archive/2006/06/30/56053.html 的基础上整理的,并参考了 http://www.builder.com.cn/2007/0907/495308.shtml 这篇文章,再次感谢 事务 事务是数据库并发控制的单位,是用户定义的一个操作序列。这些操作要么都做,要么都不做,是一个不可分割的工作单位,以便保证数据完整性。 事务具有 ACID 特性: (A)原子性 指的是事务中的整个活动序列必须被全部完成或全部放弃。事务不能部分地完成。与隔离性相结合后(见表1),原子性指的是任意一个事务将查看任何其他同…
2014-06-23 11:03 · 评论(0)
maven 加载本地jar的方法
mvn install:install-file -DgroupId=FCKeditor -DartifactId=FCKeditor -Dversion=2.3 -Dpackaging=jar -Dfile=d:\FCKeditor-2.3.jar mvn install:install-file -DgroupId=trove -DartifactId=trove -Dversion=2.0.2 -Dpackaging=jar -Dfile=E:\soft\maven\maven_lib\trove\trove\trove-2.0.2.jar
2014-06-21 21:25 · 评论(0)
pentaho集成hbase
最近在上hbase,数据是通过pentaho的数据集成工具spoon进入hbase的,这里还真是的感谢pentaho这家公司,他们这个工具真是神奇,就相当于spring,把所有的输出都整和进来了,包裹大数据这块,hadoop,hbase,hive等,周边系统。 我们就是要用spoon把数据从淘宝open平台拉下来写到hbase,然后通过MR做分析。但是pentaho最新的社区开源版本是4.4, 他集成的hadoop,hbase的版本都是偏低的。hadoop是。0.2.几的版本,hbase更是0.90.几的版本,所有跟我们搭建的集群就落后了。我们都是最新的版本,问题就来了,我们把zookeep…
2014-04-18 14:46 · 博客收藏(转) · 评论(0)
centos上 CVS安装
1.查看是否安装cvs rpm -qa | grep cvs 一般安装在/usr/bin/cvs,如果未安装,到www.cvshome.org下载一个最新的rpm安装即可 2.建立cvs用户组,便于管理cvs用户 groupadd cvs 3.建立cvsroot用户,属于cvs组(组名必须为cvs),根目录为/home/cvsroot,不许登陆 useradd -g cvs -s /sbin/nologin cvsroot 4.改变/home/cvsroot的目录属性 chmod 775 /home/cvsroot 5.初始化cvs源代码库,此操作生成目录/home/cvsroot/CVSR…
2014-04-18 14:46 · 评论(0)
oracle的一些常见操作
发现一个问题,无法创建tablespace ‘users’,原因是创建表的时候没有建立单独的tablespace,导致一直使用users的空间,并且无法利用客户端pl/sql developer登录。(tns超时) 解决办法: 在oracle服务器本机登录 sqlplus / as sysdba; 1.表空间查看 表空间,文件id,文件名,已经占用的表空间大小,表空间总的大小 select tablespace_name, file_id, file_name,round(bytes/(1024*1024),0) total_space from dba_data_files order b…
2014-04-18 14:45 · 评论(0)
W3C-XML SCHEMA的一些小结
nillable:表示XML某个元素的取值是否可以为空 minOccurs=0:表示XML文档中可以没有某个元素 定义和用法 group 元素用于定义在复杂类型定义中使用的元素组。 元素信息 出现次数 无限制 父元素 schema、choice、sequence、complexType、restriction (complexContent)、extension (complexContent) 内容 annotation、all、choice、sequence 语法 <group id=ID name=NCName ref=QName maxOccurs=nonNegativeIntege…
2014-03-28 08:55 · 评论(0)
sqoop 使用心得
sqoop是干嘛的,就不在这里浪费笔墨了,这里主要讲下一个新手接触到sqoop碰到的问题。 一 业务场景 Hive 查询Hql的结果进入MySql,目前本人是通过两步来实现的, 1 把hive查询结果直接进入Hive的表a(a表需要创建,结构需要和b一样) 2 通过sqoop把表a的内容导入到MySql表b(b表已经存在), 这个时候你需要现在hive上创建a表,假如b表字段很多,你需要一个一个字段写到建表语句。我是不想写。估计你也是,都是通过sqoop直接把MySQL的b表导入到hive,因为hive表默认的分隔符是'\001',所以倒过来的时候要注意,带上表分隔符参数 --fields-…
2014-03-25 16:52 · 评论(0)
hbase分页查询
最近比较忙,隔了一段时间没有更新博客了。今天拿点时间来分享下关于hbase分页查询的实现思路,自己已经应用了该hbase分页查询。 从所周知,hbase通过scan来扫描表,通过startKey,stopKey来确定范围,hbase官方提供了一个PageFilter来支持一次scan可以返回多少条数据即每页的行数。假如一页是10条,这样是第一页还好,但是第二页呢,如果不改变PageFilter的pageSize,那返回的还是第一页的数据,如果改变pageSize为20,则返回了第一页10多余的数据,在客户端要过滤掉,性能不好。那怎么办呢,方法就是在查询下一页时,指定下一页的startKey,…
2014-03-25 16:47 · 评论(0)
hbase rowkey 设计(三维有序)
看这篇文章,你首先要了解hbase的基本存储模型,不懂的可以看我的文章,有做特别的说明。 今天难得有时间,写博文,特地总结下一直想写hbase的实践经验,在用hbase的过程中,我们都知道,rowkey设计的好坏,是我们能最大发挥hbase的架构优势,也是我们是否正确理解hbase的一个关键点。闲话少说,进入正题。 hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的三维有序存储。 先 说rowkey,我们知道rowkey是行的主键,而且hbase只能用个rowkey,或…
2014-03-25 16:43 · 博客收藏(转) · 评论(0)
hbase0.98安装
hbase0.98的安装 各种蛋疼,各种焦虑。 首先在官网下载 http://hbase.apache.org/ Parent Directory - hbase-0.94.16/ 19-Jan-2014 14:02 - hbase-0.94.17/ 26-Feb-2014 09:31 - hbase-0.96.1.1/ 20-Dec-2013 03:50 - hbase-0.98.0/ 07-Feb-2014 09:26 - stable/ 26-Feb-2014 09:31 - to_remove/ 08-Apr-2013 04:38 - HEADER.html 需要注意的是选择性的版本…
2014-03-13 11:33 · 技术学习 · 评论(0)
大数据使用的各种云计算技术整理
1.Hadoop http://hadoop.apache.org/ http://mirrors.cnnic.cn/apache/hadoop/common/ 版本众多,有0.2.x,1.0.x,,1.2.x,2.0.x,2.2.x,2.3.x。在安装是需要考虑各个版本的和其他产品的兼容性,比如hbase,hive,pig。现在官网上的稳定版本是2.2.0. 本次采用安装2.3.x 1、这里我们搭建一个由三台机器组成的集群: 10.3.216.79 ubuntu/123456 hadoop.main nn/snn/rm ubuntu 64bit 10.3.216.78 ubuntu/123…
2014-03-13 10:26 · 技术学习 · 评论(0)
Topic Modeling for Java Developers
In this example, I import data from a file, train a topic model, and analyze the topic assignments of the first instance. I then create a new instance, which is made up of the words from topic 0, and infer a topic distribution for that instance. Note that this example requires the latest developmen…
2012-11-22 10:23 · 主题模型 · 评论(0)
Topic Modeling of Topic Modeling
Topic models provide a simple way to analyze large volumes of unlabeled text. A "topic" consists of a cluster of words that frequently occur together. Using contextual clues, topic models can connect words with similar meanings and distinguish between uses of words with multiple meanings. For a gen…
2012-11-22 10:22 · 主题模型 · 评论(0)
linux shell 的执行
命令前加上bash 或 sh 或 ./ .代表当前目录,如果执行程序或脚本没有加入环境变量PATH,在当前目录时前面要加"./"
2012-11-03 17:29 · 评论(0)