批量抓取新发地菜价

发表于 | 分类于 | 评论数： | Views：
本文字数： 23k | 阅读时长 ≈ 21 分钟
此篇是之前写的另外一个爬虫项目，只不过后来又了若干版本的演变，因此记录下来。 技术点 多线程 asyncio aiohttp aiofiles 逻辑该项目抓取的逻辑比较简单，直接根据api获取数据后存储即可，无需从源代码上筛选节点。 多线程的方式 需要注意线程数量和limit值，否则容易把网站搞崩 ...
阅读全文 »

批量抓取免费小说

发表于 | 分类于 | 评论数： | Views：
本文字数： 38k | 阅读时长 ≈ 35 分钟
之前尝试过用scrapy抓取过一些网站，实在有点杀鸡焉用牛刀。现在用asyncio的方式再来一遍。 技术点任务使用到的技术点： asyncio aiohttp lxml shutil 所使用的技术点基本和之前的文章差不多，此处不再过多介绍。 逻辑起初是想抓取一本小说，后来决定就选择整个专栏吧 ...
阅读全文 »

批量抓取优美图库

发表于 | 分类于 | 评论数： | Views：
本文字数： 27k | 阅读时长 ≈ 25 分钟
以前尝试过一些多线程的方式进行爬虫，现在体验一下协程的方式。 技术点协程的概念协程，Coroutine，又称微线程，是一种用户态的轻量级线程。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复之前保存的寄存器上下文和栈。因此协程能保留上一次调用 ...
阅读全文 »

视频技术的简单理解

发表于 | 评论数： | Views：
本文字数： 7.2k | 阅读时长 ≈ 7 分钟
前言之前看到一些视频类APP可以播放VIP或者付费视频，当时很奇怪怎么做到的。只能确定一点，APP的作者肯定不是用的自己的服务器作为播放源。后来看到一些课程，才逐步明白了其中的一些道理。因此，记录一下这一历程。 思考问题一、为什么不能直接使用<video src="xxx.mp4&q ...
阅读全文 »

将Python作为一个便利工具的应用——抢购

发表于 | 分类于 | 评论数： | Views：
本文字数： 12k | 阅读时长 ≈ 11 分钟
前言近来无意中看到一些Python的应用场景——抢购。这的确是一个恰当的应用，因此本文从一个开源项目库来入手分析项目是如何运行的。 结构解析 入口123456789101112131415161718192021222324252627if __name__ == '__main__': a ...
阅读全文 »

Kubernetes的最佳实践

发表于 | 更新于 | 分类于 | 评论数： | Views：
本文字数： 21k | 阅读时长 ≈ 19 分钟
Kubernetes 作为最流行的容器编排系统已经成为大部分运维需要掌握的一项基本技能。而很好的掌握它应该做什么和不应该做什么，将是一个很好的开局。 程序开发使用命名空间使用不同的命名空间，以限制组的访问控制以及可能发生任何错误的爆炸半径。还可以针对命名空间配置limitRange对象，以定义命名空 ...
阅读全文 »

深入剖析kubernetes笔记

发表于 | 更新于 | 分类于 | 评论数： | Views：
本文字数： 12k | 阅读时长 ≈ 11 分钟
编排永远是容器云项目的灵魂所在，也是kubernetes社区持久生命力的源泉。 服务类型 IaaS 基础设施服务，Infrastucture-as-a-servicePasS 平台服务，Platform-as-a-serviceSaaS 软件服务，Software-as-a-service ...
阅读全文 »