完善信息

src/SyncService.php

@@ -58,7 +58,7 @@ abstract class SyncService
     /**
      * @var array 有哪些字段需要特殊处理的, 将json字符串转化成json
      */
-    protected array $json_fields = ['title', 'content', 'addrress'];
+    protected array $json_fields = [];
 
     /**
      * Redis key, 格式: key + 表名
@@ -80,15 +80,15 @@ abstract class SyncService
     public function sync(): bool
     {
         try {
-            // 获取上次同步时间
+            // 获取上次同步时间 - 增加防御性处理
             $lastSyncTime = $this->getLastSyncTime();
-            Log::info("更新 {$this->getTable()} 表开始, 最后更新时间: " . $lastSyncTime->format('Y-m-d H:i:s'));
+            $this->logInfo("更新 {$this->getTable()} 表开始, 最后更新时间: " . $lastSyncTime->format('Y-m-d H:i:s'));
 
             // 从A服务器获取更新数据
             $response = $this->fetchUpdatesFromServer($lastSyncTime);
 
             if ($response['err'] > 0 || empty($response['data'])) {
-                Log::info("远程 {$this->getTable()} 表无更新数据");
+                $this->logInfo("远程 {$this->getTable()} 表无更新数据");
                 $this->updateLastSyncTime(Carbon::now());
                 return true;
             }
@@ -97,16 +97,14 @@ abstract class SyncService
             $this->processMeetingData($response['data']);
 
             // 更新最后同步时间
-            $latestUpdate = $response['latest_update']
-                ? Carbon::createFromFormat('Y-m-d H:i:s', $response['latest_update'])
-                : Carbon::now();
+            // 避免使用可能有问题的latest_update，直接使用当前时间
+            $currentTime = Carbon::now();
+            $this->updateLastSyncTime($currentTime);
+            $this->logInfo("更新 {$this->getTable()} 表完成. 最后更新时间: " . $currentTime->format('Y-m-d H:i:s'));
 
-            $this->updateLastSyncTime($latestUpdate);
-
-            Log::info("更新 {$this->getTable()} 表成功. 最后更新时间: " . $latestUpdate->format('Y-m-d H:i:s'));
             return true;
         } catch (\Exception $e) {
-            Log::error("数据表 {$this->getTable()} 更新失败: " . $e->getMessage());
+            $this->logError("数据表 {$this->getTable()} 更新失败: " . $e->getMessage());
             return false;
         }
     }
@@ -140,30 +138,46 @@ abstract class SyncService
      */
     protected function processMeetingData(array $meetings): void
     {
-        foreach ($meetings as $meetingData) {
-            // 处理字段
-            $processedData = $this->processJsonFields($meetingData);
+        foreach ($meetings as $index => $meetingData) {
+            try {
+                // 确保数据是数组
+                if (!is_array($meetingData)) {
+                    continue;
+                }
 
-            $id = $processedData[$this->key]; // 主键
+                // 处理字段
+                $processedData = $this->processJsonFields($meetingData);
 
-            // 状态为0表示需要删除
-            if ($this->is_delete($processedData)) {
-                $this->handleDeletion($id);
-                Log::info("删除数据, id=" . $id);
-                continue;
-            }
+                // 检查主键是否存在
+                if (!isset($processedData[$this->key])) {
+                    $this->logError("缺少主键字段，跳过此记录");
+                    continue;
+                }
 
-            // 检查记录是否存在
-            $meeting = $this->_model->find($id);
-
-            if ($meeting) {
-                // 更新现有记录，保留B服务器特有字段
-                $this->updateMeeting($meeting, $processedData);
-                Log::info("更新数据, id=" . $id);
-            } else {
-                // 创建新记录，设置B服务器特有字段默认值
-                $this->createMeeting($processedData);
-                Log::info("创建数据, id=" . $id);
+                $id = $processedData[$this->key]; // 主键
+
+                // 状态为0表示需要删除
+                if ($this->is_delete($processedData)) {
+                    $this->handleDeletion($id);
+                    $this->logInfo("删除数据, id=" . $id);
+                    continue;
+                }
+
+                // 检查记录是否存在
+                $meeting = $this->_model->find($id);
+                if ($meeting) {
+                    // 更新现有记录，保留B服务器特有字段
+                    $this->updateMeeting($meeting, $processedData);
+                    $this->logInfo("更新数据, id=" . $id);
+                } else {
+                    // 创建新记录，设置B服务器特有字段默认值
+                    $this->createMeeting($processedData);
+                    $this->logInfo("创建数据, id=" . $id);
+                }
+            } catch (\Exception $e) {
+                $this->logError("处理单条记录时发生未捕获的异常: " . $e->getMessage());
+                // 继续处理下一条记录
+                continue;
             }
         }
     }
@@ -179,32 +193,136 @@ abstract class SyncService
     }
 
     /**
-     * 处理JSON字段
+     * 处理JSON字段 - 采用智能策略尝试解析JSON数据，失败时进行清理
      */
     protected function processJsonFields(array $data): array
     {
-        // 先删除字段
-        $data = Arr::except($data, array_keys($this->mapping_add));
-        $data = Arr::except($data, $this->filter);
-        // 再替换字段名
-        foreach ($this->mapping_replace as $key_serv => $key_local) {
-            if (isset($data[$key_serv])) {
-                $data[$key_local] = $data[$key_serv]; // 赋值给本地字段
-                unset($data[$key_serv]); // 删除原服务器字段，避免冲突
+        try {
+            // 先删除字段
+            $data = Arr::except($data, array_keys($this->mapping_add));
+            $data = Arr::except($data, $this->filter);
+
+            // 再替换字段名
+            foreach ($this->mapping_replace as $key_serv => $key_local) {
+                if (isset($data[$key_serv])) {
+                    $data[$key_local] = $data[$key_serv]; // 赋值给本地字段
+                    unset($data[$key_serv]); // 删除原服务器字段，避免冲突
+                }
+            }
+
+            // 智能处理JSON字段
+            foreach ($this->json_fields as $field) {
+                // 检查字段是否存在
+                if (!isset($data[$field])) {
+                    $data[$field] = [];
+                    $this->logInfo("处理后JSON字段 - {$field}: 字段不存在，已设置为空数组");
+                    continue;
+                }
+
+                // 如果已经是数组，不需要解析
+                if (is_array($data[$field])) {
+                    $this->logInfo("处理后JSON字段 - {$field}: 已是数组格式，无需解析");
+                    continue;
+                }
+
+                // 如果是null或空字符串，设置为空数组
+                if ($data[$field] === null || $data[$field] === '') {
+                    $data[$field] = [];
+                    $this->logInfo("处理后JSON字段 - {$field}: 为null或空，已设置为空数组");
+                    continue;
+                }
+
+                // 确保是字符串
+                if (!is_string($data[$field])) {
+                    $data[$field] = [];
+                    $this->logInfo("处理后JSON字段 - {$field}: 非字符串格式，已设置为空数组");
+                    continue;
+                }
+
+                // 尝试正常解析JSON
+                $parsed = json_decode($data[$field], true);
+                if (json_last_error() === JSON_ERROR_NONE && is_array($parsed)) {
+                    $data[$field] = $parsed;
+                    $this->logInfo("处理后JSON字段 - {$field}: JSON解析成功");
+                    continue;
+                }
+
+                // 解析失败，尝试清理JSON字符串
+                $cleanedJson = $this->cleanJsonString($data[$field]);
+
+                // 尝试解析清理后的JSON
+                $parsed = json_decode($cleanedJson, true);
+                if (json_last_error() === JSON_ERROR_NONE && is_array($parsed)) {
+                    $data[$field] = $parsed;
+                    $this->logInfo("处理后JSON字段 - {$field}: 清理后JSON解析成功");
+                    continue;
+                }
+
+                // 所有尝试都失败，设置为空数组
+                $data[$field] = [];
+                $this->logInfo("处理后JSON字段 - {$field}: 清理后仍解析失败，已设置为空数组");
+            }
+
+            return $data;
+        } catch (\Exception $e) {
+            $this->logError("处理JSON字段时出错: " . $e->getMessage());
+
+            // 创建一个全新的数据数组，只保留主键，其他字段都设置为安全值
+            $safeData = [];
+            if (isset($data[$this->key])) {
+                $safeData[$this->key] = $data[$this->key];
+            }
+
+            // 确保所有json字段都设置为空数组
+            foreach ($this->json_fields as $field) {
+                $safeData[$field] = [];
             }
+
+            return $safeData;
         }
-        // json字符串 => json
-        foreach ($this->json_fields as $field) {
-            if (isset($data[$field]) && is_string($data[$field])) {
-                $data[$field] = json_decode($data[$field], true);
-                // 容错：若JSON解码失败，保留原字符串（避免数据丢失）
-                if (json_last_error() !== JSON_ERROR_NONE) {
-                    Log::warning("JSON解码失败，字段: {$field}，值: {$data[$field]}");
-                    $data[$field] = $data[$field]; // 保留原字符串
+    }
+
+    /**
+     * 清理JSON字符串以修复可能的格式问题
+     * @param string $json 原始JSON字符串
+     * @return string 清理后的JSON字符串
+     */
+    private function cleanJsonString(string $json): string
+    {
+        try {
+            // 移除首尾空白字符
+            $json = trim($json);
+
+            // 检查是否是有效的数组或对象格式
+            if (!preg_match('/^\[.*\]$|^\{.*\}$/s', $json)) {
+                // 如果不是有效的数组或对象，检查是否需要添加括号
+                if (substr($json, 0, 1) !== '[' && substr($json, 0, 1) !== '{') {
+                    // 尝试作为对象处理
+                    if (strpos($json, ':') !== false) {
+                        $json = '{"' . str_replace([':', ','], ['":"', '","'], $json) . '"}';
+                    } else {
+                        // 尝试作为数组处理
+                        $json = '[' . $json . ']';
+                    }
                 }
             }
+
+            // 处理常见的JSON格式问题
+            // 1. 移除末尾的逗号
+            $json = preg_replace('/,(\s*[}\]])/', '$1', $json);
+
+            // 2. 确保所有键都有引号
+            $json = preg_replace('/([{,])\s*([\w\-]+)\s*:/', '$1"$2":', $json);
+
+            // 3. 确保字符串值有引号
+            $json = preg_replace('/:\s*([^"\'\[\{\s][^\[\{\s]*)/', ': "$1"', $json);
+
+            return $json;
+        } catch (\Exception $e) {
+            $this->logError("清理JSON字符串时出错: " . $e->getMessage());
+            // 出错时返回空对象
+            return '{}';
         }
-        return $data;
     }
 
     /**
@@ -236,7 +354,7 @@ abstract class SyncService
     protected function afterUpdate($id): void {
         //$this->_model->getOne($id, true);
     }
-    
+
     /**
      * 创建后处理数据
      * @param $id
@@ -260,16 +378,23 @@ abstract class SyncService
     /**
      * 获取上次同步时间
      */
-    protected function getLastSyncTime(): bool|Carbon
+    protected function getLastSyncTime(): \Illuminate\Support\Carbon|bool
     {
-        $lastSync = Redis::get(self::REDISKEY . $this->getTable());
+        try {
+            $redisKey = self::REDISKEY . $this->getTable();
+            $lastSync = Redis::get($redisKey);
+
+            if (!$lastSync) {
+                // 如果没有同步记录，默认使用系统最早时间
+                return Carbon::createFromFormat('Y-m-d H:i:s', '2000-01-01 00:00:00');
+            }
 
-        if (!$lastSync) {
-            // 如果没有同步记录，默认使用系统最早时间
+            return Carbon::createFromFormat('Y-m-d H:i:s', $lastSync);
+        } catch (\Exception $e) {
+            $this->logError("获取Redis数据失败: " . $e->getMessage());
+            // Redis操作失败时使用默认时间
             return Carbon::createFromFormat('Y-m-d H:i:s', '2000-01-01 00:00:00');
         }
-
-        return Carbon::createFromFormat('Y-m-d H:i:s', $lastSync);
     }
 
     /**
@@ -277,10 +402,41 @@ abstract class SyncService
      */
     protected function updateLastSyncTime(Carbon $time): void
     {
-        Redis::set(self::REDISKEY . $this->getTable(), $time->format('Y-m-d H:i:s'));
+        try {
+            $redisKey = self::REDISKEY . $this->getTable();
+            $timeString = $time->format('Y-m-d H:i:s');
+
+            // 增加Redis操作的异常处理
+            Redis::set($redisKey, $timeString);
+        } catch (\Exception $e) {
+            $this->logError("更新Redis同步时间失败: " . $e->getMessage());
+            // 即使Redis更新失败，也不中断整个同步过程
+        }
     }
 
     protected function getTable(): string {
         return $this->_model->getTable();
     }
+
+    /**
+     * 记录信息级别日志
+     * 子类可以重写此方法来自定义日志行为
+     *
+     * @param string $message 日志消息
+     */
+    protected function logInfo(string $message): void
+    {
+        Log::info($message);
+    }
+
+    /**
+     * 记录错误级别日志
+     * 子类可以重写此方法来自定义日志行为
+     *
+     * @param string $message 日志消息
+     */
+    protected function logError(string $message): void
+    {
+        Log::error($message);
+    }
 }