一日一技：写XPath也并不总是这么简单 文章讲述初级爬虫工程师使用模拟浏览器处理动态生成的弹出框问题，并介绍通过DrissionPage工具在模拟浏览器中直接操作解决无法获取动态HTML代码的难题。... 2025-7-26 19:35:43 | 阅读: 16 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 浏览器 爬虫 源代码 左键

一日一技：如何正确渲染大模型返回的Markdown？ 文章讨论了大模型返回的非标准Markdown在渲染时存在的问题（如列表换行和缩进错误），并介绍了通过更换更宽容的markdown库（如mistune）来解决这些问题的方法。... 2025-6-4 20:43:21 | 阅读: 42 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 模型 缩进 空行 mistune python

一日一技：Scrapy如何发起假请求？ 这篇文章介绍了如何在Scrapy中使用假请求（data:,）来避免真正发起HTTP请求，并展示了这种方法在处理数据和定时任务中的应用。通过发送假请求，爬虫可以在不依赖外部网络的情况下直接进入数据处理阶段。此外，文章还讨论了如何结合asyncio.sleep实现非阻塞的定时任务，并指出新版本Scrapy已支持异步start方法。... 2025-5-26 21:50:47 | 阅读: 26 | 收藏 | 谢乾坤 | Kingname - www.kingname.info scrapy 数据 asyncio 爬虫 pymongo

一日一技：如何正确解析超大JSON列表 文章讨论了处理超大JSON文件的挑战，并介绍了三种解决方案：逐字符读取、数括号算法和使用ijson库。重点介绍了ijson库的高效性和简便性。... 2025-5-6 23:38:55 | 阅读: 27 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 数据 crawled 超大 供应商 笔记

一日一技：315晚会曝光的获客软件是什么原理 文章揭示了获客软件通过多种技术手段非法获取个人信息的原理。这些手段包括利用撞库、社工库、社会工程学、WIFI探针、快递订单和运营商数据等方法。文章指出，爬虫技术仅能获取公开数据，而真正的信息泄露来自数据的非法收集和处理。... 2025-3-16 01:41:12 | 阅读: 50 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 数据 信息 爬虫 商场 社工

一日一技：我的Cursor开发经验 使用Cursor开发新闻网站前后端，强调多写文档少聊天的最佳实践。通过生成前端代码、改写代码、创建API文档及前后端对接完成开发。... 2025-3-13 22:48:19 | 阅读: 78 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 数据 改写 shadcn 详情页 甩手

一日一技：如何实现临时密码？ 文章描述了一款智能门锁的临时密码功能：用户可通过手机App生成8位数字的临时密码，该密码仅限使用一次且30分钟内有效。由于门锁无法联网且手机与门锁在配对后不再通信，作者探讨了如何验证临时密码合法性的问题，并推测可能通过时间戳和密钥加密生成密码的方式实现。... 2025-2-24 21:45:32 | 阅读: 47 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 门锁 1800 密码锁 配对 timespan

一日一技：如何使用Cursor学习开源项目 大家肯定经常在微信公众号里面看到类似于《30秒使用Cursor开发xxx》这种文章。典型的标题党装逼货，大家当个笑话看就行了。Cursor目前还没有强到真的让一个完全不懂代码的人轻... 2025-1-29 16:34:0 | 阅读: 19 | 收藏 | 谢乾坤 | Kingname - www.kingname.info cline 模型 python calculate multiply

一日一技：如何用编程的方式来编排工作流 使用过Dify的同学都知道，你可以在上面拖动方框和箭头来编排... 2025-1-22 16:14:54 | 阅读: 21 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 装饰 crewai uppertask routerflow

一日一技：如何使用大模型提取结构化数据 经常有同学在微信群里面咨询，如何使用大模型从非结构化的信息里面提取出结构化的内容。最常见的就是从网页源代码或者长报告中提取各种字段和数据。最直接，最常规的方法，肯定就是直接写Pro... 2025-1-20 13:30:49 | 阅读: 20 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 模型 数据 instructor pydantic litellm

一日一技：超简单方法显著提高大模型答案质量 很多人都知道Prompt大神李继刚，他使用Lisp语法来写Prompt，把大模型指挥得服服帖帖。但我们很多时候没有办法把自己业务场景的Prompt改造成伪代码的形式。相信不少人跟我... 2024-12-26 14:31:14 | 阅读: 14 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 模型 数据 概览 文学家

一日一技：如何正确对Python第三方库做二次开发 今天，有同学在知识星球上给我提了一个问题：如何在Simplemind中接入Azure的GPT接口。如下图所示。在使用Python时经常会出现这样的情况，某一个第三方库，满足我们9... 2024-12-23 16:49:9 | 阅读: 25 | 收藏 | 谢乾坤 | Kingname - www.kingname.info openai simplemind gpt 模型 azureopenai

一日一技：为什么我很讨厌LangChain 一说到RAG或者Agent，很多人就会想到LangChan或者LlamaIndex，他们似乎觉得这两个东西是大模型应用开发的标配。但对我来说，我特别讨厌这两个东西。因为这两个东西就... 2024-12-14 14:56:49 | 阅读: 15 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 数据 数据库 bark 控制 llamaindex

一日一技：Python类型标注的高级用法 假设你正在写后端代码，其中一个函数的功能是传入文章id，返回... 2024-11-13 05:20:33 | 阅读: 24 | 收藏 | 谢乾坤 | Kingname - www.kingname.info tag1 tag2 overloaddef

一日一技：如何实现高性能自动补全？ 我们知道，在写Python时，使用IDE的自动补全功能，可以... 2024-11-11 01:51:32 | 阅读: 9 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 补全 python yyy typing ccc

一日一技：如何正确修复有异常的JSON？ 2024-11-1 06:34:28 | 阅读: 16 | 收藏 | 谢乾坤 | Kingname - www.kingname.info salary 斜杠 python 模块 repair

一日一技：使用大模型实现全自动爬虫（一） 在文章一日一技：图文结合，大模型自动抓取列表页中，我提到可以使用大模型实现一个全自动爬虫。只需要输入起始URL加上需求，就可以借助模拟浏览器自动完成所有的抓取任务。在实现的过程中，... 2024-10-17 16:33:3 | 阅读: 21 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 详情页 爬虫 模型 翻页 全自动

一日一技：图文结合，大模型自动抓取列表页 熟悉我的同学都知道，GNE可以自动化提取任意文章页面的正文，专业版GnePro的准确率更是在13万个网站中达到了90%。但GNE一直不支持列表页的自动抓取。这是因为列表页的列表位置... 2024-10-15 06:45:59 | 阅读: 12 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 模型 glm 4v 爬虫 源代码

一日一技：如何使用大模型提高开发效率 前两天，有同学在微信群里面问怎么识别下图所示的验证码：一般爬虫验证码我会使用ddddocr来解析，在大模型出来之前，这个工具基本上是Python下面效果最好的免费验证码识别工具了... 2024-8-28 06:35:55 | 阅读: 17 | 收藏 | 谢乾坤 | Kingname - www.kingname.info 模型 glm 编程 爬虫 问答

一日一技：如何正确保护Python代码 去年我写过一篇文章《一日一技：如何对Python代码进行混淆... 2024-7-30 05:41:38 | 阅读: 8 | 收藏 | 谢乾坤 | Kingname - www.kingname.info pyarmor 加密 脚本 pyminifier 1pyarmor