sxyqhyt的博客
sxyqhyt · 共 41 篇文章
rabbitmq安装
Mq安装 wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.0/rabbitmq-server-3.6.0-1.noarch.rpm wget http://erlang.org/download/otp_src_17.0.tar.gz yum -y install make ncurses-devel gcc gcc-c++ unixODBC unixODBC-devel openssl openssl-devel ./configure --prefix=/usr/local/erlang --enable-smp-su…
2017-08-28 14:38 · rabbitmq · 评论(0)
spark读取hbase数据
package ceshi import java.io.IOException import java.util import java.util.{Random, UUID} import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client._ import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache…
CDH节点断开时间过长连接不上处理方案
节点断开时间过长处理方法: [root@slave1 ~]# /etc/init.d/cloudera-scm-agent status cloudera-scm-agent dead but pid file exists [root@slave1 ~]# service httpd status httpd is stopped [root@slave1 ~]# service httpd restart Stopping httpd: [FAILED] Starting httpd: [ OK ] cloudera-scm-agent dead but pid file exists …
2017-04-24 09:20 · CDH · 评论(0)
python升级后pip升级
1、安装pip wget https://pypi.python.org/packages/7e/71/3c6ece07a9a885650aa6607b0ebfdf6fc9a3ef8691c44b5e724e4eee7bf2/pip-7.1.0.tar.gz --no-check-certificate tar -zxvf pip-7.1.0.tar.gz cd pip-7.1.0 python setup.py install 2、修改pip文件 cd /usr/bin/ 把pip2.7修改为pip2.7 #!/usr/bin/python # EASY-INSTALL-ENTRY-SCR…
2017-04-17 16:21 · pip · 评论(0)
distribute_setup.py安装
wget https://pypi.python.org/packages/source/d/distribute/distribute-0.7.3.zip --no-check-certificate unzip distribute-0.7.3.zip cd distribute-0.7.3 python2.7 setup.py install
Python2.6.6升级到Python2.7.3
1、现在tar包 http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz 2、解压,安装 tar -zxvf Python-2.7.3.tgz 建立安装目录 mkdir /usr/local/python2.7.3 编译、安装 cd Python-2.7.3 ./configure --prefix=/usr/local/python2.7.3 make make install 3、将原来/usr/bin/python链接改为别的名字 mv /usr/bin/python /usr/bin/python_old 4、建立新版本pyth…
hbase统计表的行数
1、count命令 hbase(main):001:0> count 'mobile_info' hbase(main):001:0> count 'mobile_info',INTERVAL=2000 //INTERVAL:行数间隔 2、hbase自带的mapreduce -bash-4.1# hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'mobile_info'
2016-11-08 14:22 · hbase · 评论(0)
社交软件实现查看附近的人
转 http://www.cnblogs.com/iforever/p/4061095.html http://www.sxrczx.com/pages/my.oschina.net/853294317/blog/296594.html
2016-09-14 17:01 · 社交软件 · 评论(0)
gfortran在linux下安装
在 http://gfortran.meteodat.ch/download/x86_64/nightlies/gcc-trunk.tar.xz 下载 gfortran wget http://gfortran.meteodat.ch/download/x86_64/nightlies/gcc-trunk.tar.xz xz -d gcc-trunk.tar.xz tar -zxvf gcc-trunk.tar 把gcc-trunk文件移动到opt下面 mv gcc-trunk /opt 新建文件f.sh if [ -z "$LD_LIBRARY_PATH" ] ; then export …
Intellij IDEA中文问题
1、编辑器修改fileEncoding File->settings->Editor->File Encoding IDE Encoding和Project Encoding修改为UTF-8 2、IDEA窗口乱码修改 linux系统增加中文字体(见上一篇文章) 在IDEA中,进入File->settings->Appearance & Behavior->Appearance 在右边勾选上“Override default fonts by”,并在Name中选择字体SumSun字体,保存,就可以显示中文了。
2015-11-09 10:44 · linux · intellij IDEA · 评论(0)
linux中文字体安装
1、下载中文字体 2、查看当前系统中已经安装的字体 fc-list :lang=zh 3、在/usr/share/fonts/建立目录truetype,复制字体到/usr/share/fonts/truetype 4、生成字体索引信息 [root@master truetype]# mkfontscale [root@master truetype]# mkfontdir [root@master truetype]# ll total 10264 -rw-r--r--. 1 root root 189 Nov 9 09:27 fonts.dir -rw-r--r--. 1 root roo…
2015-11-09 09:40 · linux · 评论(0)
spark streaming准实时计算demo
package com.chexun.statistic import java.sql.{Connection, DriverManager} import java.util.Date import com.chexun.statistic.RealTimeAdv._ import kafka.serializer.StringDecoder import org.apache.commons.lang.time.DateFormatUtils import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spa…
spark streaming使用数据源方式插入mysql数据
import java.sql.{Connection, ResultSet} import com.jolbox.bonecp.{BoneCP, BoneCPConfig} import org.slf4j.LoggerFactory object ConnectionPool { val logger = LoggerFactory.getLogger(this.getClass) private val connectionPool = { try{ Class.forName("com.mysql.jdbc.Driver") val config = new BoneCPConfig…
linux中-jar参数运行时classpath设置方法
当用java -jar chexun.jar来运行一个应用程序时,会找不到第三方的jar包。实际上当使用-jar参数运行时,JVM会屏蔽所有的外部classpath,而只以内部的class作为类的寻找范围。 解决方法:BootStrap class扩展方案 java -Xbootclasspath/a: /usrhome/thirdlib.jar: -jar yourJarExe.jar 例如: java -Xbootclasspath/a:./lib/mysql-connector-java-5.1.34.jar: -jar static_article_category.jar >> s…
2015-05-27 15:39 · java · 评论(0)
spark查看历史任务的信息
1、在spark-default.conf中增加: spark.eventLog.enabled true spark.eventLog.dir hdfs://10.0.0.37:9000/sparklogs spark.eventLog.compress true 2、在spark-env.sh中增加: export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://10.0.0.37:9000/sparklogs" (加入改行可以在start-history-server.sh启动中,不再加入hdfs://10.0.0.…
2015-05-18 15:56 · spark · 评论(0)