网络爬虫-requests库

网络爬虫-requests库

官方中文文档链接基本get请求import requests params = { 'wd':'python' } # 带参数请求 res = requests.get("http://dict.baidu.com/s",params = params)带参数请求在参数少时可直接写成res = requests.get("http://dict.bai...

默认分类 2019-05-30 PM 98次 0条
网络爬虫中的编码问题

网络爬虫中的编码问题

大多数情况下requests能按照正确的解码方式解码服务器返回的response对象的内容,但当requests的解码方式和服务器响应时的编码方式不同时就会出现中文乱码的情况,这种情况下,开发者可以先通过response.content获取response对象的二进制(字节)格式的内容,再通过decode(‘解码方式’)指定用哪种编码方式来解码;也可以指定response.encoding属...

默认分类 2019-05-30 PM 74次 0条
大数据环境搭建-Ubuntu集群搭建

大数据环境搭建-Ubuntu集群搭建

大数据环境搭建-Ubuntu集群搭建一、创建Hadoop用户安装界面美化工具sudo apt-get install gnome-tweaks或者在 软件 搜索gnome-tweaks安装创建hadoop用户sudo useradd -m hadoop -s /bin/bash-m 创建用户主目录 -s 指定账户登录shell删除用户sudo userdel -r bigdata001-r...

大数据 2019-05-28 AM 131次 0条
VirtualBox安装虚拟机问题记录

VirtualBox安装虚拟机问题记录

官方网站:centos中文网Ubuntu虚拟机分辨率无法调整导致鼠标光标错位问题描述:操作虚拟机时发现鼠标有些错位,尝试调整屏幕分辨率,而此时由于鼠标错位的原因分辨率也调整无法调整,出现“Unknown Display”的情况。解决办法:命令行修改屏幕分辨率,将屏幕分辨率改为1680x1050xrandr -s 1680x1050安装Centos虚拟机鼠标无效问题描述:安装Centos虚拟机...

Linux,工具 2019-05-27 PM 224次 0条
五月的总结

五月的总结

和程老师聊了很多,关于课程、实习、考研等等,很庆幸自己的头脑是清醒的。大学这三年里,我醒悟地太晚,或者说一开始就不明白自己该做什么,在有限的时间里,做了很多没有实际意义的事情。导致这一切地原因就是没有以学习技术为第一目标、没有和优秀的同学在一起、没有主动地争取资源。三月份才意识到自己该准备实习了,而在这之前我是打算6月份开始准备的,显然,我太落后了。很多同学早就开始准备了,当然大部分都是21...

生活 2019-05-27 PM 112次 0条