ITeye博客

Tree

翻滚吧--少年 · 共 13 篇文章

如何解决java工程中多个版本的包冲突问题

背景 最近工作上需要实现从mysql到hbase的实时数据同步的功能。经过多方了解,整理出解决方案:使用canal作为实时的数据源,然后开发一个client来完成与canal的对接,并将数据写入hbase数据库中。 问题 在开发接近尾声时,发现连接canal时需要使用protobuf-java-2.4.1.jar包,而连接hbase时则需要使用protobuf-java-2.5.0.jar。并且两者jar包无法兼容,使用任何一个jar都无法正常启动程序。 解决思路 为了程序能够正常运行,需要同时加载两个jar包。但是我们都知道,一个class在jvm内存中只有一份。 1.首先想到的是将can…

2014-11-19 23:44 · Java · 评论(1)

thrift的使用介绍

http://gemantic.iteye.com/blog/1199214

2014-08-19 20:23 · 评论(0)

linux计划任务之crontab

语法: crontab file crontab { -e | -l | -r } 说明: crontab命令是为个人用户用于设置周期性被执行的指令。每一个用户都可以有自己的crontab。 如果/etc/cron.allow文件存在,该文件中所列用户允许使用crontab命令。 如果/etc/cron.allow文件不存在,而/etc/cron.deny文件存在,该文件中所列用户不允许使用crontab命令。 如果 /etc/cron.allow和 /etc/cron.deny 都不存在, 根据配置参数的不同,仅有超级用户允许使用这个命令或者所有的用户都允许使用。 如果 /etc/cron…

2014-08-19 11:39 · Linux · 评论(0)

Linux下使用ssh非交互式远程执行命令脚本

机器1:192.168.201.241 机器2:192.168.201.222 在241上执行:ssh 192.168.201.222 test.sh,运行结果: JAVA_HOME environment variable is not set test.sh如下: #!/bin/sh # --------------------------------------------------------------------------------- # -- Set Java Home Environment variable # ----------------------------…

2014-08-08 19:06 · Java · Linux · 评论(0)

Mysql数据库备份

MySQL数据库备份命令 备份MySQL数据库的命令 mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql 备份MySQL数据库为带删除表的格式 备份MySQL数据库为带删除表的格式,能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > backupfile.sql 直接将MySQL数据库压缩备份 mysqldump -hhostname -uusername -ppass…

2014-07-09 11:14 · 数据库 · Mysql · 评论(0)

利用udf函数将hive统计结果直接插入到mysql

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。 今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。 步骤为 hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar; Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path Added resource: /usr/lib/hive/lib/hiv…

2014-06-12 15:21 · Hive · 评论(0)

linux nohup命令详解

linux nohup命令详解 nohup命令及其输出文件 nohup命令:如果你正在运行一个进程,而且你觉得在退出帐户时该进程还不会结束,那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂起的意思( n ohang up)。 一般都是在linux下nohup格式: nohup command 或者 nohup command & 这之间的差别是带&的命令行,即使terminal(终端)关闭,或者电脑死机程序依然运行(前提是你把程序递交到服务器上); 它把标准输出(STDOUT)和标准错误(STDERR)结果输出到nohup.txt文件这个…

2014-06-12 09:50 · Linux · 评论(0)

异常解决:bin/sh^M: bad interpreter: No such file or directory

原因是.sh脚本在windows 系统 下用记事本文件编写的。不同系统的编码格式引起的。 转行文件的编码格式: 1、确保用户对文件有读写及执行权限 chmod a+x test.sh 2、然后修改文件格式 (1)使用vi工具 vi test.sh (2)利用如下命令查看文件格式 :set ff 或 :set fileformat 可以看到如下信息,fileformat=dos 或 fileformat=unix (3) 利用如下命令修改文件格式 :set ff=unix 或 :set fileformat=unix :wq (存盘退出) 3、最后再执行 ./test.sh

2014-06-09 20:42 · Linux · 评论(0)

Sybase数据库类型转Java类型

Java程序通过ResultSetMetaData类的getColumnTypeName()和getColumnType()方法分别取出类型名和类型。 类型转化详见附件! Sybase数据类型: http://quqtalk.iteye.com/blog/347852

2013-04-27 11:25 · 数据库 · Sybase · 评论(0)

oracle/db2/sqlserver/sybase/mysql 数据库取前几条数据写法

数据库取前几条记录的语句 1. ORACLE SELECT * FROM TABLE1 WHERE ROWNUM<=N 2. INFORMIX SELECT FIRST N * FROM TABLE1 where 1=1 3. DB2 SELECT * ROW_NUMBER() OVER(ORDER BY COL1 DESC) AS ROWNUM WHERE ROWNUM<=N 或者 SELECT COLUMN FROM TABLE where 1=1 FETCH FIRST N ROWS ONLY 4. SQL SERVER SELECT TOP N * FROM TABLE1 where…

2013-04-26 14:30 · 数据库 · 评论(0)

Shuffle过程剖析及MapReduce性能优化

Shuffle过程剖析及性能优化 MapReduce确保每个reducer的输入都按键排序。 Shuffle:系统执行排序的过程—将map输出作为输入传给reducer(如图1、图2)。 图1 图2 如图1、图2所示,从map输出到reduce输入就是shuffle阶段。但实际执行过程远比上图所示复杂。 Shuffle 是指从Map 产生输出开始,包括系统执行排序以及传送Map 输出到Reducer 作为输入的过程。 详细执行如图3所示: 图3 1. Map端 当Map 开始产生输出时,它并不是简单的把数据写到磁盘,因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂,数据首先是写到内存…

2012-08-17 14:50 · Hadoop · 评论(0)

关于DB2 jdbc连接数据库,ResultSet自动关闭猜想

问题:java使用db2jcc.jar和db2jcc_license_cu.jar驱动连接DB2数据库,在程序中抛如下异常: com.ibm.db2.jcc.c.SqlException: 操作无效:已关闭 result set。 at com.ibm.db2.jcc.c.wf.mb(wf.java:3193) at com.ibm.db2.jcc.c.wf.c(wf.java:247) at com.ibm.db2.jcc.c.wf.next(wf.java:234) 第一次接触DB2,痛苦万分。。。 对上面的异常我表示很不可思议,反复检查代码,发现在抛出该异常之前并为关闭resultse…

2012-05-14 20:37 · 数据库 · DB2 · 评论(1)

windows下通过Runtime.getRuntime().exec.()执行linuxshell脚本

执行Runtime.getRuntime().exec("ps -ef|grep indexer"); 一直抛ERROR: Unsupported SysV option. 于是便去就按照这个error信息去百度、google找答案,未果。。。 看到网上相关问题解决方法(如下),我尝试Runtime.getRuntime().exec("eval ps -ef|grep indexer"); 再次失败。。。抓狂中。。。 CMND="ps -ef" $CMND 是可以正常执行地。 CMND="ps -ef|grep sshd" $CMND 就会得到上面的错误了。 因为 "ps -ef|grep…

2012-05-07 21:07 · Java · Linux · 评论(1)