淘先锋技术网

首页 1 2 3 4 5 6 7


项目需求

  • 爬取第三个API数据,将数据进行过滤后,添加到mysql数据库;
  • 设置为定时任务;
  • 多个接口多个数据表爬取和入库;

生产环境

  • php+mysql语言开发;
  • 宝塔控制面板;

一、php定时任务

php是世界上最好的语言,但是最不擅长的恐怕就是定时任务了吧?PHP只能被用户触发,被调用,调用后会自动退出内存,没有常驻内存。如果系统访问量大,可以当用户访问的时候,进行事件触发做定时任务;但是如果基本上没有访问量,就是纯设置定时任务怎么办?

二、实战开发

1.创建mysql数据表

代码如下:

--
-- 表的结构 `po_log`
--
CREATE TABLE IF NOT EXISTS `po_log` (
  `log_id` int(11) NOT NULL,
  `user_name` varchar(64) DEFAULT NULL,
  `logs` varchar(255) DEFAULT NULL,
  `equipment` varchar(50) DEFAULT NULL,
  `log_time` int(11) DEFAULT NULL,
  `log_ip` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系统操作日志';

2.入库封装函数

基于前后端分离的业务场景,采用API接口的形式进行开发。

(1)封装入库

   public function putLogs()
    {
        //添加日志
        $rand_Name = serial_num(rand(0, 61));
        addlogs($rand_Name, rand(0, 61), 'LOCKDATAV机器人模拟数据', time(), getip());
        $res["data"] = "OK";
        die(json_encode_lockdata($res));
    }

(2)入库操作

function addlogs($user_name = 'LOCKDATA', $logs = '', $equipment = '', $logtime = '', $logip = '')
{
    global $db;
    dbc();
    if (!class_exists('getEquipmentInfo')) {
        require '../libs/equipment.class.php';
    }
    $newobj = new getEquipmentInfo();
    if ($equipment == "") {
        $equipment = "操作系统:" . $newobj->GetOs() . ",浏览器:" . $newobj->GetBrowser() . ",语言:" . $newobj->GetLang();
    }
    $db->insert('log', array('user_name' => $user_name, 'logs' => $logs, 'equipment' => $equipment, 'log_time' => $logtime, 'log_ip' => $logip));
}

3.定时任务的实现

(1)$ajax异步调用法

采用$ajax异步调用API接口,进行数据更新入库,采用该方法的原因:

  • 将$ajax封装函数,进行定时轮询,从而刷新API接口予以更新数据;
  • 将该页面设置为实时页面,实现定时刷新的目的;

缺点在于:

需要单独打开该页面,在客户端浏览器不断的刷新。无论是运行在服务器端还是单独一个客户端运行该页面,都存在弊端。为此,舍弃该方式。

  //API调用说明
    $(function () {
        $.ajax({
            type: 'get',
            url: "http://test.com/cron/api/api.php?act=putLogs&token=3cab7ce41***",
            data: {},
            dataType: "json",
            success: function (res) {
                console.log(res);
            },
            error: function (err) {
                console.log(err);
            }
        });
    })

(2)宝塔定时访问url

能否设置定时任务,直接访问http://test.com/cron/实现呢?
宝塔–计划任务–添加计划任务
在这里插入图片描述
我们发现计划执行成功了,但是却没有执行$ajax。其原因在于:宝塔访问url是通过curl方式抓取页面的,无法执行js客户端代码。本方案失败!
在这里插入图片描述

(3)宝塔定时直接访问API(★★★)

在这里插入图片描述
设置为定时2分钟访问php的API接口,数据定时更新成功。
在这里插入图片描述

(4)Shell脚本访问php(★★★)

  • 新建php原生脚本corn.php
require 'conf/dbc.php';
require 'conf/common.php';

$rand_Name = serial_num(rand(0, 10));
addlogs($rand_Name, rand(0, 10), 'LOCKDATAV机器人模拟数据--SHELL', time(), getip());
  • 新增shell任务
/www/server/php/55/bin/php /www/wwwroot/lbs.lockdata.cn/cron/cron.php

在这里插入图片描述
/www/server/php/55/bin/php指PHP运行环境
在这里插入图片描述
/www/wwwroot/lbs.lockdata.cn/cron/cron.php 指访问的php文件
在这里插入图片描述

  • 成功入库
    在这里插入图片描述

总结

在实际测试的过程中,还尝试了curl语法以及常见的不顾死活的php定时方式。取决于项目需求的限制,目前采用的方式就是上述★★★的解决方案:一种匹配API接口的方式直接访问url;一种是直接访问php脚本。@漏刻有时