当前位置:首 页>常见问题>织梦后台的采集功能详细操作步骤>

织梦后台的采集功能详细操作步骤

首先我们打开织梦网后台点击: 采集——采集节点管理——增加新节点

1.png

这里我们以采集“普通文章”为例,我们选择:普通文章,然后确定

2.png


我们进入了采集的设置页面,填写:节点名称,就是给这个新节点取个名字,这里你可以任意填写。(一般是:采集网站名—节点名称)


然后打开你想要采集的文章列表页,这里我们以“大连新闻网”官网为例

http://www.dlxww.com/news/node_2448.htm   打开这个页面“民生”列表,右键——查看源文件找到目标页面编码,就在charset后面

或者操作点击鼠标右键---编码----查看: ● GB2312       UTF-8          其他

3.png
“节点基本信息”填完了,其他的一般就不用管了,如图

4.png

现在我们来填写“列表网址获取规则”看看文章列表第一页的地址

http://www.dlxww.com/news/node_2448.htm

对比第二页的地址http://www.dlxww.com/news/node_2448_2.htm 

我们发现了他们除了/node_2448_后面的数字不一样,其他的都一样,所以我们可以这样写http://www.dlxww.com/news/node_2448_(*).htm 

就是把1换成了(*) 因为这里有20页,所以我们就填从0到20,每页递增当然是1了,1-0...是等于1吧这里我们就填写完了

image.png

可能大家采集的有些列表没有规则,那就只有手工指定列表网址了,如图

每行写一个指定列表页面地址

image.png

列表规则写完了,

我们就开始写文章网址匹配规则了,回到“文章列表页”鼠标右键查看源文件, 找到区域开始的HTML,就是找文章列表开始的标志。

我们很容易的找到了如图中的“详细页主题部分” 。

<div class="list_con_left">内容开始点,从这里开始,后面就是文章列表里,

image.png

我们再找文章列表的结束HTML标志

<div id="displaypagenum"> 就是这个了,一个很容易找到的标志

image.png

如果链接中含有图片:不处理       采集为缩略图       这里根据自己的需要选择对区域网址进行再次筛选:(使用正则表达式)必须包含: (优先级高于后者)不能包含:打开源文件,我们可以很清楚的看到,文章链接都是以.html结束的所以,我们在必须包含后面填.html 如果遇到有些列表很麻烦,还可以填写后面的不能包含

我们点击保存信息进入下一步设置,可以看到我们获得的文章网址,看到这些就是对的了

image.png

我们保存信息进入第二步:设置内容字段获取规则我们看看文章有没有分页,随便进入一篇文章看看。。我们看到这里的文章没有分页所以这里的我们就默认了

image.png

我们现在来找文章标题等等 随便进入一篇文章,右键查看源文件看看这些

image.png

依照源码填写

image.png

我们再来填写文章内容的开始标志,结束标志和上面的一样,找到开始和结束标志

开始:

image.png

结束:

image.png

填写如下图:

image.png

你想过滤文章中的什么内容就到过滤规则里写吧,比如要过滤文章中的图片,选择常用规则,

image.png

再勾选IMG然后确定

image.png

这样我们就把正文中的图片过滤了设置完毕后,点击保存设置并预览

image.png

这样一个采集规则就写好了,包括列表页采集规则和内容页采集规则。

很简单吧,有些网站很难写,可要多下点功夫了哦填写采集指定节点:每页采集(5)条,间隔时间(10)秒

image.png我们点保存并开始采集——开始采集网页 一会的功夫就采集完了image.png

我们看看我们采集到的文章

image.png

看来是成功了,我们点击导出数据吧,

首先选择要导入到的栏目,按“请选择”那里即可在弹出的窗口中选择你需要导入的栏目发布选项这里一般默认即可,除非你不想马上发布。每批导入默认是30条,这里修改与否都无所谓,附带选项一般选“排除重复标题”,至于自动生成HTML那个选项建议先别生成,因为我们还要去批量提取摘要和关键字。

image.png