忽略https警告；国外版力扣题库拉取失败问题修复；其他小问题修复

Author: zhangbk1

README.md

@@ -1,46 +1,46 @@
-# 力扣题库（完整版）
-
-> 最后更新日期： **2024.06.26**
->
-> 使用脚本前请务必仔细完整阅读本 `README.md` 文件
-
-### 仓库介绍
-
-使用 Python 脚本分批将力扣（`leetcode.com` 和 `leetcode-cn.com`）上面的题目保存下来，方便没有网的时候进行学习。（仅包含可以在网页上直接打开的公开题目，不包含 VIP 题目）
-
-
-
-### 仓库目录结构
-
-国外版力扣题库，在仓库 `leetcode/problem` 文件夹下；国内版力扣题库，在仓库  `leetcode-cn/problem (Chinese)` 和 `leetcode-cn/problem (English)` 文件夹下。（部分题目只有中文版，无对应英文版）。
-
-
-
-### 特别注意！
-
-#### 版权相关
-
-**所有版权都为 LeetCode (及力扣中国) 官方所有，此处仅供学习使用，不要他用。也请大家不要滥用，不要侵犯力扣平台的合法权益。**
-
-**感谢 LeetCode 平台为我们提供大量的算法题目进行练习与提升。如果大家经济条件允许，请大家多多支持力扣，例如冲冲会员等。**
-
-力扣题库的权益归属力扣，使用力扣题库，需要遵循力扣使用条例，若您不同意此条例，请立即关闭当前网页，不要继续使用本题库。
-
-力扣（LeetCode）• 使用条例： https://leetcode-cn.com/terms-c/
-
-LeetCode Terms of Service： https://leetcode.com/terms/
-
-
-
-#### 脚本原作者
-
-Python脚本是在网上教程的基础上进行二改得到的，原版地址：https://blog.csdn.net/weixin_37267014/article/details/81429057
-
-
-
-#### 其他
-
-由于脚本运行时会向力扣网站发出大量请求，所以请大家不要随便尝试此脚本，以免影响力扣网站正常运行。
-
-因为使用此脚本所造成的一系列问题，责任由您自己承担，作者不承担相应责任。
-
+# 力扣题库（完整版）
+
+> 最后更新日期： **2024.06.26**
+>
+> 使用脚本前请务必仔细完整阅读本 `README.md` 文件
+
+### 仓库介绍
+
+使用 Python 脚本分批将力扣（`leetcode.com` 和 `leetcode-cn.com`）上面的题目保存下来，方便没有网的时候进行学习。（仅包含可以在网页上直接打开的公开题目，不包含 VIP 题目）
+
+
+
+### 仓库目录结构
+
+国外版力扣题库，在仓库 `leetcode/problem` 文件夹下；国内版力扣题库，在仓库  `leetcode-cn/problem (Chinese)` 和 `leetcode-cn/problem (English)` 文件夹下。（部分题目只有中文版，无对应英文版）。
+
+
+
+### 特别注意！
+
+#### 版权相关
+
+**所有版权都为 LeetCode (及力扣中国) 官方所有，此处仅供学习使用，不要他用。也请大家不要滥用，不要侵犯力扣平台的合法权益。**
+
+**感谢 LeetCode 平台为我们提供大量的算法题目进行练习与提升。如果大家经济条件允许，请大家多多支持力扣，例如充充会员等。**
+
+力扣题库的权益归属力扣，使用力扣题库，需要遵循力扣使用条例，若您不同意此条例，请立即关闭当前网页，不要继续使用本题库。
+
+力扣（LeetCode）• 使用条例： https://leetcode-cn.com/terms-c/
+
+LeetCode Terms of Service： https://leetcode.com/terms/
+
+
+
+#### 脚本原作者
+
+Python脚本是在网上教程的基础上进行二改得到的，原版地址：https://blog.csdn.net/weixin_37267014/article/details/81429057
+
+
+
+#### 其他
+
+由于脚本运行时会向力扣网站发出大量请求，所以请大家不要随便尝试此脚本，以免影响力扣网站正常运行。
+
+因为使用此脚本所造成的一系列问题，责任由您自己承担，作者不承担相应责任。
+

leetcode-cn.py

@@ -8,9 +8,15 @@
 from requests.exceptions import RequestException
 from bs4 import BeautifulSoup
 
+import urllib3
+urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
+
 def get_proble_set(url):
     try:
-        response = requests.get(url)
+        # response = requests.get(url)
+        response = requests.get(url, headers = {
+            'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
+        }, verify=False)
         if response.status_code == 200:
             return response.text
         return None
@@ -34,9 +40,9 @@ def parse_proble_set(problemSet):
         continue
 
 def construct_url(problemTitle):
-    url = "https://leetcode.cn/problems/"+ problemTitle + "/"
+    url = "https://leetcode.cn/problems/" + problemTitle + "/"
     # print(url)
-    get_proble_content(url,problemTitle)
+    get_proble_content(url, problemTitle)
 
 def save_problem(title,content, editorType = ""):
     #content = bytes(content,encoding = 'utf8')
@@ -118,7 +124,11 @@ def saveJSON(data, filename):
 
 def main():
     url = "https://leetcode.cn/api/problems/all/"
-    html = json.loads(get_proble_set(url))
+    jsonContent = get_proble_set(url)
+    if jsonContent == None:
+        print('列表请求失败！')
+        return
+    html = json.loads(jsonContent)
     saveJSON(html, "origin-data.json")
 
     # html = json.load(open("origin-data.json", 'r', encoding='utf-8'))

leetcode.py

@@ -8,10 +8,13 @@
 from requests.exceptions import RequestException
 from bs4 import BeautifulSoup
 
+import urllib3
+urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
+
 def get_proble_set(url):
     try:
         response = requests.get(url, headers = {
-            'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.41 Safari/537.36 Edg/101.0.1210.32"
+            'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
         }, verify=False)
         if response.status_code == 200:
             return response.text
@@ -28,18 +31,23 @@ def parse_proble_set(problemSet):
             print(i, "has been parsed.")
             # print("The question has been parsed: {}".format(title))
             continue
+        elif "paid_only" in problemSet[i]:
+            paid_only = problemSet[i]["paid_only"]
+            if paid_only:
+                print(i, '付费题目，跳过')
+                continue
         #construct_url(title)
         # time.sleep(0.5)
         time.sleep(1)
-        t =threading.Thread(target=construct_url,args=(title,))
+        t = threading.Thread(target=construct_url, args=(title,))
         t.start()
         print(i, "is done.")
         continue
 
 def construct_url(problemTitle):
-    url = "https://leetcode.com/problems/"+ problemTitle + "/description/"
+    url = "https://leetcode.com/problems/" + problemTitle + "/description/"
     # print(url)
-    get_proble_content(url,problemTitle)
+    get_proble_content(url, problemTitle)
 
 def save_problem(title,content):
     #content = bytes(content,encoding = 'utf8')
@@ -49,16 +57,16 @@ def save_problem(title,content):
 
 def get_proble_content(problemUrl,title):
     response = requests.get(problemUrl, headers = {
-        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36"
-    })
+        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
+    }, verify=False)
     setCookie = response.headers["Set-Cookie"]
     '''
     print(setCookie)
     setCookie = json.loads(setCookie)
     print(type(setCookie))
     '''
     try:
-        pattern = re.compile("csrftoken=(.*?);.*?",re.S)
+        pattern = re.compile("__cf_bm=(.*?);.*?",re.S)
         csrftoken = re.search(pattern, setCookie)
         url = "https://leetcode.com/graphql"
         data = {
@@ -105,7 +113,11 @@ def saveJSON(data, filename):
 
 def main():
     url = "https://leetcode.com/api/problems/all/"
-    html = json.loads(get_proble_set(url))
+    jsonContent = get_proble_set(url)
+    if jsonContent == None:
+        print('列表请求失败！')
+        return
+    html = json.loads(jsonContent)
     saveJSON(html, "origin-data.json")
 
     # html = json.load(open("origin-data.json", 'r', encoding='utf-8'))