ITeye博客

LC

cherishLC · 共 181 篇文章

eclipse小技巧

对比外部文件或文件夹: 参见 https://mcuoneclipse.com/2013/11/28/compare-external-files-in-eclipse/ 需要设置快捷键才能用: Select the menu Window > Preferences > General > Keys and assign a shortcut key for ‘Compare with Other Resource‘ 然后选中需要比较的文件或文件夹,按设置的快捷键弹出对话框对比即可。

2019-08-20 14:33 · eclipse · 评论(0)

C++函数中的静态变量

在C++中,可以在成员函数中使用静态变量,从而间接达到在hpp中定义属于某个类的静态变量的目的(无需再在cpp文件中初始化) 然而,这中方案在速度上会有一定的损耗。 1、该变量首次使用时才进行初始化 When do function-level static variables get allocated/initialized?: https://stackoverflow.com/questions/55510/when-do-function-level-static-variables-get-allocated-initialized **2、每次使用都多出一个if语句及atomi…

2019-07-19 11:22 · C++ · 评论(0)

通过multiprocessing模块及时释放tensorflow的资源

在使用tf.data等模块时,tensorflow会产生内存泄露;当内存泄露发生时,我们期望及时保存checkpoint,返回相应的状态,然后重新启动tensorflow进行增量训练。 如果采用subprocess.call()方案在子进程中调用tensorflow,需要自行实现参数、结果的序列化和反序列化,比较麻烦。 本文给出一种通过multiprocessing模块在子进程中调用tensorflow的实现,传参数so easy 话不多说,上代码: # coding=utf-8 ''' Created on Sep 18, 2018 @author: colinliang ''' from…

2018-09-18 13:29 · Python · tensorflow · 评论(0)

python subprocess shell=True False 的异同

参见: https://stackoverflow.com/questions/3172470/actual-meaning-of-shell-true-in-subprocess 一直对python的subprocess中shell=True 和shell=False(默认)一知半解,现在通过穷举各种用例来融会贯通 个人理解: 1、subprocess.call 中的命令参数是list,如果命令是str,则被自动转为只有一个元素的list 2、subprocess.call(str,shell=True) 等效于 os.system(str) 3、subprocess.call(str,s…

2018-09-13 10:21 · Python · 评论(0)

dmlc分布式线性模型编译笔记

1、使用第三方修改后的wormhole工程 原始工程wormhole: https://github.com/dmlc/wormhole 文档: https://media.readthedocs.org/pdf/wormhole/latest/wormhole.pdf 在线文档: https://wormhole.readthedocs.io/en/latest/ 下面的这个虽然比较新,但是。。。根本没开发完成!!! difacto: https://github.com/dmlc/difacto 第三方修改过的: https://github.com/CNevd/Difacto_DMLC…

2018-06-06 10:37 · C++ · dmlc · 评论(0)

hadoop yarn 内存配置

1、running beyond virtual memory 需要修改mapred-site.xml中的内存配置: https://blog.csdn.net/wqhlmark64/article/details/75090365 以及 yarn-site.xml中关闭虚拟内存检测: https://blog.csdn.net/T1DMzks/article/details/78818874 2.清除HDFS的所有文件 引用自: http://bluebubble.iteye.com/blog/1827434 开启hadoop的start-all.sh脚本后,执行例子,出现properti…

2018-06-01 11:02 · spark · hadoop · 评论(0)

vim 相关

1、中文显示乱码 在~/.vimrc 文件中,加入以下内容: set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936 set termencoding=utf-8 set encoding=utf-8 参考自: http://www.cnblogs.com/joeyupdo/archive/2013/03/03/2941737.html 2、保存readonly的文件 :w !sudo tee % https://stackoverflow.com/questions/28635647/how-can-i-save-a-file-i-…

2018-03-22 15:29 · linux · vim · 评论(0)

redis笔记

1、教程 http://www.runoob.com/redis/redis-tutorial.html redis数据类型: https://redis.io/topics/data-types 2、常用命令 官网: https://redis.io/commands redis-cli -h 110.120.119.995 -p 9895 -a 89 根据IP和端口链接远程redis-server, 密码为 -a 后的字符串,没密码可以不填-a选项 redis-cli 链接本地redis-server FLUSHDB 删除当前数据库的所有key DBSIZE 存储的key的数量 RAND…

2018-02-24 15:55 · 评论(0)

C++中读取控制台输出,并将文件指针FILE*转换为istream

解决的问题: 1、通过执行系统的bash命令后,获取其输出(类似python的subprocess模块) 2、将输出从FILE*转换为std::istream,方便按照C++的方式进行处理 获取bash命令的输出: http://www.cnblogs.com/caosiyang/archive/2012/06/25/2560976.html 将文件指针FILE*转换为istream: https://stackoverflow.com/questions/2746168/how-to-construct-a-c-fstream-from-a-posix-file-descriptor 本文…

2017-11-27 15:03 · C++ · 评论(0)

eclipse 设置 Intellij IDEA样式的主题

具体步骤如下: 1、安装安装 eclipse color theme插件 在 Eclipse menu -> Help-> Eclipse Marketplace 中搜索安装 eclipse color theme插件 2、下载“Intellij Dracula”主题 在 Eclipse menu -> Window -> Preferences -> General -> Appearance -> Color Theme中 点击进入http://www.eclipsecolorthemes.org/, 并搜索“Intellij Dracula”,进入页面后下载XML文件, 再在Color…

2017-11-09 14:49 · eclipse · 评论(0)

c++中使用boost库在共享内存中存储map

boost库中的interprocess包可以在共享内存中创建map等复杂类型的数据, 但是不能用std::map,主要原因时其中的指针用的绝对位置,而非相对的 用boost的map,vector等类型,必须显示的指定allocator,因而复杂了不少。 代码小而全的一个实现: http://blog.csdn.net/dx2880/article/details/7315761 我在学习的过程中参考了错误的代码,走了不少弯路。这里贴出的示例主要是将 创建共享内存 和 使用共享内存中的数据 两部分分离成为了两个程序,更符合一般的使用场景(但其实类定义应该引用一个文件): **注意:**经测试…

2017-11-09 11:37 · C++ · 评论(0)

hadoop、yarn常用命令

1、hadoop 官网: https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/FileSystemShell.html hadoop fs 下的命令都比较常用,去官网看一遍吧 查看.gz 的文件内容: 无需解压整个文件: hadoop fs -cat /hdfs_location/part-00000.gz | zcat | head -n 20 或者 hadoop fs -cat /hdfs_location/part-00000.gz | zmore 需要解压整个文件:hadoop fs -tex…

2017-08-15 15:14 · spark · 评论(0)

Spark DataFrame处理数据倾斜问题

由于爬虫抓取等原因,会导致单一ID的日志条数过多。在spark中,同一ID的日志会被shuffle到单一的节点上进行处理,导致系统运行缓慢! 因为这些用户的访问本来就是无效的,所以可以直接过滤掉这部分用户。 话不多说,scala的DataFrame版输出和代码如下(参考链接见代码注释): spark version: 1.6.1 Original DataFrame (with fake users): +---------+------+ | id| movie| +---------+------+ | u1|WhoAmI| | u2|Zoppia| | u2| Lost| |FakeU…

2017-08-15 14:32 · spark · 评论(0)

linux 定时任务--crontab

网上资料很多,只做摘录: 排版最好的: http://www.cnblogs.com/chen-lhx/p/5996781.html crontab会每分钟检测一遍当前用户对应的crontab文件中是否有命令符合定时条件,如果有,就执行该命令。 编辑crontab 文件: crontab -e 列出当前用户的所有定时任务: crontab -l 删除所有定时任务: crontab -r crontab 文件中的一行格式如下: minute hour day month week /home/xx/command.sh [list] [ ]星号( ):代表所有可能的值,例如month字段如果是…

2017-08-14 18:05 · linux · 评论(0)

IntelliJ IDEA Spark相关资料汇总

1、maven 相关 解决代码提示错误(某些外部依赖库名称红色显示): 需要设置external library自动导入: 不设置的话spark等library都无法进行代码提示 方法1:在File->Settings 中搜索maven,在importing页卡中勾选"Import Maven projects automatically" 参见: https://stackoverflow.com/questions/11454822/import-maven-dependencies-in-intellij-idea 方法2:右键工程->Maven->Reimport 2、scala多版…

2017-08-09 11:52 · spark · 评论(0)