（说在前边，AI Studio真是个好东西） 最近开始使用百度AI Studio，由于对飞桨现在还不熟悉，所以想先跑一下基于keras的模型。不过AI Studio上没有预装keras和tensorflow，得自己装一下。 有两个背景原因先介绍一下： 在notebook中使用pip命令安装的库在环境下次启动时候就没有了。 现在已经没法在notebook中安装tensorflow了，不被允许，所以tf的安装必须在终端里进行。 现在说一下解决方案，以便能够安装和长期使用自己安装的库： 建立一个external-libraries的文件夹 将keras和tensorflow-gpu用pip方式安装并定位在这个文件夹中 之后运行程序的时候，在notebook中使用sys添加之前的文件夹到path中 （注：此方法也适用于其他库） 具体按步骤放一下代码，对于步骤1和2，如果是在终端中操作，用直接复制代码即可；如果是在notebook中，需要在代码前添加叹号“!”（tf的安装必须在终端里进行）： 建立文件夹 mkdir /home/aistudio/external-libraries 安装keras和tensorflow-gpu，把PACKAGE_NAME换为对应的库的名字即可 pip install PACKAGE_NAME -t /home/aistudio/external-libraries 在Notebook开头加入以下代码即可 import sys sys.path.append(‘/home/aistudio/external-libraries’) 其他需要说明的问题： 感觉在AI Studio里使用python/python3，pip/pip3没啥区别； 我在安装keras和tensorflow的时候提示# ERROR: paddlepaddle 1.7.1 has requirement scipy<=1.3.1; python_version >= “3.5”, but you’ll have scipy 1.4.1 which is incompatible.不过并没有对结果产生什么影响，因为后续会用keras和tf，所以这个ERROR应该问题不大； 我参考的网页里还提到了以下错误，不过我没有遇到TypeError: init() got an unexpected keyword argument ‘serialized_options’。解决方法是使用!pip install -U […]
Tag: tensorflow
Basic information In this article, I will show you how can we specify which GPU should be used for training models. My experiments are in the following environment: Local PC: Windows 10 IDE: PyCharm 2017.2.3 Python interpreter: Remote Python 3.4.3 on Linux Server API: keras 2.0.8 Backend: theano or tensorflow Before specifying the GPU Before […]
由于Theano从十月起停止更新（LINK），我开始着手把我使用Keras时的backend从Theano转到Tensorflow。以下是今天在同事LY的指导下进行backend转换的一点总结（同时对她表示感谢）。 安装环境：Linux服务器上的虚拟环境中（详见：在linux系统上设置虚拟环境Virtual Environment） 首先我根据Keras官网的介绍对keras.json文件进行设置（LINK）。在命令框中输入： vi .keras/keras.json 然后按着如下代码编辑，主要是把backend改为tensorflow。（其实Keras默认的backend就是tensorflow，只是因为我之前改成了theano，所以现在要改回来。） { “image_data_format”: “channels_last”, “epsilon”: 1e-07, “floatx”: “float32”, “backend”: “tensorflow” } 另外如果你还没有安装GPU版本的tensorflow，则需要首先进行安装。由于我们实验室的server上不兼容1.3版本的tensorflow，我这里对安装的版本进行了控制 pip install tensorflow-gpu==1.2 成功安装之后，就可以在你的.py文件的代码里加入如下语句进行tensorflow的backend的调用和设置了，设置好之后像平常一样运行文件即可。 import tensorflow as tf import keras.backend.tensorflow_backend as KTF os.environ[“CUDA_VISIBLE_DEVICES”] = “3” #设置需要使用的GPU的编号 config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.4 #设置使用GPU容量占GPU总容量的比例 sess = tf.Session(config=config) KTF.set_session(sess) 为了观察程序是否确实在使用GPU，可以使用在《Linux上的一点小技巧》中提到的命令gpustat或者watch -n1 –color gpustat进行查看程序是否真的运行在GPU上。 […]
2018年4月更新： 这篇文章原写于2017年10月。据称目前（2018年4月）Tensorflow在windows上已经支持3.6版本，我还没有自己尝试，相关讨论请参考https://stackoverflow.com/questions/40884668/installing-tensorflow-on-windows-python-3-6-x. 今后做实验要开始接触深度学习了，那当然免不了要安装Python和Tensorflow，另外因为需要LSTM方法，我也需要安装Keras。这篇文章就是关于最近安装这些东西的一个小结。 如果你懒得看后文，我其实就一句话，从头开始就用Anaconda吧！！！ （直接跳转到“最简安装过程”部分） 用Windows遇到的坑 首先总结一下用windows过程中的坑： Tensorflow目前在windows上只支持Python3.5版本（高了低了都不行） Scipy在windows上用命令行安装出错。因为安装Keras时会安装Scipy，所以无法成功安装Keras 我的坎坷经历 不卖关子了，简而言之，在windows上最好是使用Scientific Python distributions来安装和管理各种库，这是我后来才发现的。由于始终没法成功安装Scipy，我找到了Scipy的这个官网安装介绍，windows系统的同学可以直接拖到最后看下。而Scientific Python distributions的介绍在页面的开头，我直接使用的第一个，也就是Anaconda. 使用Anaconda要注意，因为它的首页上是下载集成了3.6版本的Python的，而tensorflow在windows上只支持3.5版本，所以这个要想办法解决。根据Anaconda的介绍（How do I get the latest Anaconda with Python 3.5?）可以用以下三种方法： A) We recommend downloading the latest […]
