RPA(影刀)无需写代码抓取某东的商品信息

news/2024/5/20 6:13:16 标签: 爬虫, RPA, 自动化

大家好,我是翔宇!

有的小伙伴不会写代码,但也想采集一些数据,RPA就是一个最好的选择。今天我就带大家用RPA(影刀)无需写代码抓取某东的商品信息,主要采集到的数据有以下字段,数据达到近5000条。

采集主页(翻页采集):

在这里插入图片描述

采集结果:当然这里就只单纯采集了三个字段,需要更多字段原理一致。
在这里插入图片描述

效果【视频】
视频在csdn上传了三次都上不来,请前往同名公众号观看

  1. 思路

RPA作为办公自动化的新方案,它的功能还是比较强大的。实际上,用影刀进行抓取网页上的数据下来,它和Python中的selenium着实很像,只是selenium用写代码的方式进行自动化操作,而RPA则是不需要你写代码(也不绝对不写代码,有些功能在里面写Python代码更方便,可以对比进行使用)。

​ 整个采集的过程,模仿人用鼠标与键盘的操作,进入到数据信息所在的页面后,通过获取元素或者同时拿到相似元素之间的文本内容的方式进行获取数据,得到字段值后,通过写入csv或者xlsx的方式写入excel表格。

  1. 实践

    2.1新建应用
    在这里插入图片描述

​ 2.2 设计流程

进入到数据所在的网页
在这里插入图片描述

拿到第一页中想要的几个字段数据。
在这里插入图片描述

例如获取一页中的价格信息
在这里插入图片描述

获取手机标题和评论条数同样原理

将第一页的数据存进excel表

在这里插入图片描述

循环从第二页开始采集每一页的数据存进excel表(csv)
在这里插入图片描述

  1. 结束语

通过20分钟左右的抓取,将近5000条数据顺利存进excel中,总的来说,配置用了近2个小时,数据成功拿到,整体效率还是比较高,对于一般的数据抓取需求还是比较容易满足,本次实践效果已经在文章开头展现

需要此RPA的配置流程的请在同名公众号后台回复【OPPO】获取。

我是翔宇,下期再见!


http://www.niftyadmin.cn/n/1359875.html

相关文章

卧槽,一行代码就可将网页直接转pdf保存下来(pdfkit)

大家好,我是翔宇! 今天给大家分享一个神器,这个神器可以将网页直接进行保存成pdf下来,可以是网站上的在线网页,可以是本地的html文件,还可以是你想要放进去的文本内容。 这个神器就是pdfkit,而…

MySQL中的文本处理函数整理,收藏速查

大家好,我是翔宇! 前言 ​ 今天整理了一下MySQL中中的文本处理函数,当然如果翔宇整理漏掉了麻烦后台留言。不管是在哪一个编程语言,对文本的处理都是及其重要的,因为大家都是知道,日常遇到的数据中&#…

Python中的mapfilterreduce函数实例

在很多语言中大家都会发现会有这样几个函数,至少总是会有map和reduce函数,而几乎在这些语言中,他们的作用都差不多。 很多时候,如果我们对某一个知识点觉得抽象不容易理解的时候,一般来说只是因为例子看少了或者是没有…

耗时三个月,用flask写了一个带推荐系统的旅游社交平台

大家好,我是翔宇! 今天我决定展现一下自己耗时三个周用Python的flask开发的旅游社交平台,实际上专门写代码的时间也不多,也就那么几个晚上而已,但是从选完题开始设计包括爬数据、设计数据库、现补一个flask的知识到最…

js下拉加载更多

<!DOCTYPEhtml> <html> <head> <script type"text/javascript" src"1/js/jquery-2.1.0.min.js" ></script> </head> <body> <div>下拉加载更多</div> <ul class"main" styl…

解决json-server的Cannot GET问题

初次使用json-server&#xff0c;按照其github上的操作进行操作后&#xff0c;在启动服务后&#xff0c;就掉了坑 执行 json-server --watch db.json执行以上代码了以后&#xff0c;我使用http://localhost:3000/posts在浏览器上访问本地3000端口下的posts资源&#xff0c;得到…

commons-dbutils:1.6 ——java.sql.SQLException: 不支持的特性

描述&#xff1a;使用jdbc创建连接后&#xff0c;使用commons-dbutils-1.6 数据库工具类&#xff0c;查询报错如下&#xff1a;java.sql.SQLException: 不支持的特性 Query:经过测试跟踪在commons-dbutils-1.6包里面QueryRunner类中一个query方法中的getParameterMetaData()语。…

【文文殿下】[BZOJ4327] JSOI2012 玄武密码

SAM裸题。这道题卡空间。要小心数组别开炸了。 #include<cstdio> #include<cstring> typedef long long ll; const int maxn 2e720; int par[maxn],mx[maxn],tr[maxn][4]; int cnt1,last1; inline int change (char ch) {if(chE) return 0;else if(chS) return 1;…