文章目录
项目需求
- 爬取第三个API数据,将数据进行过滤后,添加到mysql数据库;
- 设置为定时任务;
- 多个接口多个数据表爬取和入库;
生产环境
- php+mysql语言开发;
- 宝塔控制面板;
一、php定时任务
php是世界上最好的语言,但是最不擅长的恐怕就是定时任务了吧?PHP只能被用户触发,被调用,调用后会自动退出内存,没有常驻内存。如果系统访问量大,可以当用户访问的时候,进行事件触发做定时任务;但是如果基本上没有访问量,就是纯设置定时任务怎么办?
二、实战开发
1.创建mysql数据表
代码如下:
--
-- 表的结构 `po_log`
--
CREATE TABLE IF NOT EXISTS `po_log` (
`log_id` int(11) NOT NULL,
`user_name` varchar(64) DEFAULT NULL,
`logs` varchar(255) DEFAULT NULL,
`equipment` varchar(50) DEFAULT NULL,
`log_time` int(11) DEFAULT NULL,
`log_ip` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系统操作日志';
2.入库封装函数
基于前后端分离的业务场景,采用API接口的形式进行开发。
(1)封装入库
public function putLogs()
{
//添加日志
$rand_Name = serial_num(rand(0, 61));
addlogs($rand_Name, rand(0, 61), 'LOCKDATAV机器人模拟数据', time(), getip());
$res["data"] = "OK";
die(json_encode_lockdata($res));
}
(2)入库操作
function addlogs($user_name = 'LOCKDATA', $logs = '', $equipment = '', $logtime = '', $logip = '')
{
global $db;
dbc();
if (!class_exists('getEquipmentInfo')) {
require '../libs/equipment.class.php';
}
$newobj = new getEquipmentInfo();
if ($equipment == "") {
$equipment = "操作系统:" . $newobj->GetOs() . ",浏览器:" . $newobj->GetBrowser() . ",语言:" . $newobj->GetLang();
}
$db->insert('log', array('user_name' => $user_name, 'logs' => $logs, 'equipment' => $equipment, 'log_time' => $logtime, 'log_ip' => $logip));
}
3.定时任务的实现
(1)$ajax异步调用法
采用$ajax异步调用API接口,进行数据更新入库,采用该方法的原因:
- 将$ajax封装函数,进行定时轮询,从而刷新API接口予以更新数据;
- 将该页面设置为实时页面,实现定时刷新的目的;
缺点在于:
需要单独打开该页面,在客户端浏览器不断的刷新。无论是运行在服务器端还是单独一个客户端运行该页面,都存在弊端。为此,舍弃该方式。
//API调用说明
$(function () {
$.ajax({
type: 'get',
url: "http://test.com/cron/api/api.php?act=putLogs&token=3cab7ce41***",
data: {},
dataType: "json",
success: function (res) {
console.log(res);
},
error: function (err) {
console.log(err);
}
});
})
(2)宝塔定时访问url
能否设置定时任务,直接访问http://test.com/cron/实现呢?
宝塔–计划任务–添加计划任务
我们发现计划执行成功了,但是却没有执行$ajax。其原因在于:宝塔访问url是通过curl方式抓取页面的,无法执行js客户端代码。本方案失败!
(3)宝塔定时直接访问API(★★★)
设置为定时2分钟访问php的API接口,数据定时更新成功。
(4)Shell脚本访问php(★★★)
- 新建php原生脚本corn.php
require 'conf/dbc.php';
require 'conf/common.php';
$rand_Name = serial_num(rand(0, 10));
addlogs($rand_Name, rand(0, 10), 'LOCKDATAV机器人模拟数据--SHELL', time(), getip());
- 新增shell任务
/www/server/php/55/bin/php /www/wwwroot/lbs.lockdata.cn/cron/cron.php
/www/server/php/55/bin/php指PHP运行环境
/www/wwwroot/lbs.lockdata.cn/cron/cron.php 指访问的php文件
- 成功入库
总结
在实际测试的过程中,还尝试了curl语法以及常见的不顾死活的php定时方式。取决于项目需求的限制,目前采用的方式就是上述★★★的解决方案:一种匹配API接口的方式直接访问url;一种是直接访问php脚本。@漏刻有时