Python中安装Scrapy遇到问题,一个下午都没搞定怎么办?
哎,新手想学习 scrapy,结果一个下午都耗费在安装上了
先是在 pycharm 里面直接安装,提示安装不了,也不知道啥原因,一堆红字
然后跑去下载了一个 Anaconda3,几百兆大小,下载好了之后,按照官方的教程
conda install -c scrapinghub scrapy
结果提示 conda 不存在,又去折腾设置环境变量,conda 能用了,scrapy 安装上也能用了
用 cmd 玩了记下命令行的 scrapy 正常
又跑回去 pycharm,结果 import scrapy 出错,提示 No module named ‘scrapy’
网上一堆百度 google,找到个设置 run 选项的,
https://blog.csdn.net/l1336037686/article/details/78471856
哎,还是不行,差不多快放弃了。。
求 v 友安慰
Python中安装Scrapy遇到问题,一个下午都没搞定怎么办?
哈哈,不好意思,没忍住
遇到Scrapy安装问题确实挺烦的,我帮你理一下最常见的坑和解决办法。
1. 先确保环境干净
如果之前折腾过,建议用虚拟环境重试,避免依赖冲突:
python -m venv scrapy_env
source scrapy_env/bin/activate # Linux/Mac
# 或 scrapy_env\Scripts\activate (Windows)
2. 分步安装依赖
Scrapy依赖的Twisted和lxml有时会卡住,可以手动先装:
pip install --upgrade pip setuptools wheel
pip install twisted lxml cryptography pyopenssl
如果Twisted报错,去 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载对应版本的.whl文件手动安装。
3. 最后装Scrapy
pip install scrapy
4. 验证安装
scrapy version
# 或跑个简单测试
python -c "import scrapy; print(scrapy.__version__)"
如果还不行,把具体的错误信息贴出来,我帮你看。
总结:用虚拟环境,分步装依赖。
在 pycharm 里面设置一下环境指向 anaconda 里面的 Python 就可以在 pycharm 中用你在 anaconda 里面装的 scrapy 了
你可以直接搜索如何安装 scrapy…
或者看文档
然后看看红字是什么,看不懂可以翻译嘛
折腾是正常的,想当年刚学 Python 就装了 Ubuntu,还各种扩展 Vim,系统不知道重装了多少次,差点就砸电脑了。
我为啥 pip install scrapy 就可以了
一句话点通我了。。pycharm 用的也不熟,不过设置了下环境,可以了,谢谢*1024
装不上主要是网络差。。网络差主要原因是。。。。
拒绝反动脚本语言从我做起,支持国产中文编程。
装 whl 也不行…………
都是这么过来的,只不过你的可能更坎坷一点
- anaconda pip 都有国内源,你为什么不折腾下?
2. TG Python 中文交流群问一句大家都愿意帮你,求什么安慰?
3. PyCharm 你按 Alt + Enter 都会提示你安装 scrapy 的选项吧?
4. 新手用什么 PyCharm ?尤其是你这种环境设置都不知道修改的?
5. 心灵脆弱就不要来学编程
6. 搜索和变通不仅仅是编程需要的技能,你想在这个世界好好活下去就需要。
截图:

快速解决:装个 Linux 先
不要求安慰了,我当年自己搞 Android Eclipse 开发环境搞了三个月都没求安慰。
- 另外,如果你这么喜欢看某搜索引擎和某 SDN 的话,强烈建议不要学编程了真的,这两个网站的内容质量呵呵哒。
https://www.lfd.uci.edu/~gohlke/pythonlibs/
记住这个网址~你用的包人家早已帮你打包成了 whl~直接 pip 就可以了
从坑里爬出来了就好了,哈哈哈
这点就算受到打击了?
#10 说的可能不是很好听,但在理
顺带吐槽 CSDN。下午谷歌搜了下一个库怎么配置,国内博客站清一色的使用类 A,特别有几篇 CSDN 文章还是新的。然而我发现根本就没有这个类。再往下翻,看到 10 年 StackOverflow 的提问:类 A 被标记过时了怎么办 
你是用 windows 环境吧,参考这个帖子 http://www.zues.pub/archives/25/
常规操作
Windows 上装这个确实挺恶心的
别在新人面前秀你的优越感
你的优越感?呵呵。
win 上想用上 python 里的 scrapy 就别想了,还是买台 MB 吧……
我觉得新手 不应该直接安装 python、pip 然后来先跑起来么? 直接安装这俩应该坑稍微少点吧。
#21 #10 其实回答了问题还提供了不少有用的信息…挺好的。
别瞎说,我就用的好好的。在 windows 上装其实就一个小坑是装 twisted。
把这个 Twisted-17.9.0-cp36-cp36m-win_amd64.whl 下到本地用 pip 装就可以了
支持
反正我怎么都没办法把 twisted 给装上,把 python 降回 2.7x 也没成功。
TG Python 是啥?
答案都在红字里,在第一条路里就能解决。
一般都是没有 VC++编译器
Twisted 装了,剩下的 pip 就行。
#29 Telegram Python 群
pip install scrapy
不行吗?
命令行能跑就行了呗。干嘛偏要用 IDE
Telegram
把报错的包单独用 whl 装就行了
14 楼正解
python 用什么 ide。。。vim+pylint 解决一切
也许是你没有计算机的基础才装得这么辛苦吧,有的问题,比如环境变量的设置,pip 安装包,应该是常识的,但是你却需要临时搜。。。。没关系,被 cao 过几次,你就能举一反三了。
主要不是 scrapy 的问题
而是你用的是 windows
新手用 Linux 反倒是最简单的
小哥,学编程不是来求安慰的。遇的坎解决它,记录下来问题,以后其他人遇到了,你也可以帮助其他人。
别用 windows 啊 游戏机系统搞开发就跟去 ps4 上炒股一样
csdn 上清一色都是互相抄,有些东西根本没实践过也能写出来,最近简书也有这样的趋势
Ubuntu 你先高个,一个 sudo apt — get install scrapy 就结束了
求你用 linux, 毕竟以后做开发部署大多数情况下都是 Linux。
高中没毕业,职校读一半吧。
一下午搭环境也算事?
我曾经有个同事,想做 Python 开发,结果环境已经装不对,于是一怒之下去写 PHP 了……
新手折腾 Python 遇到的问题,绝大多数是因为 Windows 系统……
开始折腾的时候,搭建环境确实是个费事费力的活
基本操作, 玩多了就熟悉了
1.好好先学英语
2.再学基础 python
3.再搞这个
真用 linux 了,都不知道怎么死的
别用 Windows 啊
学编程别用 Windows
还有,要有耐心
过两年你再回来看的时候肯定觉得搞笑的
如果你是个 Python 新手,建议不要一上来就折腾那些 IDE 和框架。Windows 上装 Scrapy 是没问题的,就是可能会有一些坑需要填一下。另外现在 wsl 貌似也比较稳定了,你可以试试这个。
conda create --name env
soucre activate env
conda install scrapy
pycharm 配置环境解释器
之前搞 python 的时候,windows 就是最大的问题。
我还记得,我前老板说的那句话:遇到什么问题,别怕,弄就行,一次不行两次,总有弄好的时候,碰见能别你一下的问题才有意思,一帆风顺的学不到嘛
看到楼主的描述…
我默默赞了一楼.
不要用 Windows
#17 都 8012 年了,,还用中文社区,,简直浪费时间
https://www.douban.com/note/664537261/
按照这篇文章,即可成功
如果用的是 linux 系统或者虚拟机,会方便很多
膜拜大牛
用 pip 就好了,pyCharm 自带的解释器,和你 cmd 的解释器,如果指向不一样,就会有这种问题
路由器$$,装各种东西一步到位
Pycharm 根据你选的 Python 解释器创建一个虚拟环境 Conda 或者 virtualenv, 你需要在 settings-project 里面下载需要的包自动安装到你的虚拟环境. 大部分情况下跟用 Windows 还是 Linux 无关.
另外不要在意很多老哥的几连问号和嘲笑, 什么不懂搜什么, 搜不到就问.
linux 吧,windows 下面新手基本都要被坑
Linux 就很方便 233
推荐 装个虚拟机 manjaro 开发。。


