update .gitignore

.gitignore

+yconf/
+log/
\ No newline at end of file

crawler.py

@@ -10,11 +10,13 @@ import cyaml
 
 #获取需要爬数据的企业 百度1
 def GetCompany(types):
-    response = requests.get(cyaml.data["env"]["url"]+cyaml.data["php-api"]["getcompany"], "type="+str(types), headers={"Content-Type": "application/json"})
+    response = requests.get(cyaml.data[cyaml.data["env"]]["url"]+cyaml.data["php-api"]["getcompany"]+"?type="+str(types), headers={"Content-Type": "application/json"})
+    print(response)
+    print(cyaml.data[cyaml.data["env"]]["url"]+cyaml.data["php-api"]["getcompany"]+"?type="+str(types))
     if response.status_code == 200:
         response_data = response.json()
-        if response_data.get('name') is not None:
-            return response_data["data"]["company_name"],response_data["data"]["url"]
+        # if response_data.get('name') is not None:
+        return response_data["data"]["company_name"],response_data["data"]["url"]
     return "", ""
 
 
@@ -28,7 +30,7 @@ def SaveCompanyData(name,types,intro):
         "type": types
     }
     json_data = json.dumps(post_data)
-    response = requests.post(cyaml.data["env"]["url"]+cyaml.data["php-api"]["getcompany"], data=json_data, headers={"Content-Type": "application/json"})
+    response = requests.post(cyaml.data[cyaml.data["env"]]["url"]+cyaml.data["php-api"]["getcompany"], data=json_data, headers={"Content-Type": "application/json"})
 
     # 检查响应状态码
     if response.status_code == 200:
@@ -46,7 +48,7 @@ def SaveCompanyData(name,types,intro):
 def CrawlerLaunch():
     while True:
         now = datetime.datetime.now()
-        randomtime = random.randint(3, 120)
+        randomtime = random.randint(3, cyaml.data[cyaml.data["env"]]["randomtime"])
         print(str(now) + ":启动等待时间"+str(randomtime))
         time.sleep(randomtime)
         res1 = crawler_baidu.CrawlerBaidu()

log/2023-08-29.txt

-大成生化科技集团有限公司-获取到百度数据：[]
-大成生化科技集团有限公司:百度数据，写入失败
-威诚国际控股有限公司-获取到百度数据：[]
-威诚国际控股有限公司:百度数据，写入失败
-吉林九台农村商业银行股份有限公司-获取到百度数据：['\n吉林九台农村商业银行股份有限公司于2008年12月16日成立。法定代表人高兵,公司经营范围包括：吸收人民币公众存款；发放人民币短期、中期和长期贷款；办理国内结算；办理票据承兑与贴现；代理发行、代理兑付、承销政府债券；买卖政府债券、金融债券，参与货币市场；从事同业拆借；代理收付款项及代理保险业务；提供保险箱服务；代理买卖基金、信托产品及其他理财产品；基金销售；从事银行卡业务；外汇借款、外汇票据的承兑和贴现、外汇担保、自营及代客外汇买卖、外汇存款、外汇贷款、外汇汇款、外币兑换、国际结算、同业外汇拆借和资信调查、咨询、见证，外汇借款、外汇票据的承兑和贴现、外汇担保、即期结售汇、自营及代客外汇买卖；经中国银行业监督管理委员会批准的其他业务；信息服务业务（不含固定网信息服务业务项目）等。\n\xa0\n\n']
-吉林九台农村商业银行股份有限公司:百度数据，写入成功
-中国枫叶教育集团有限公司-获取到百度数据：[]
-中国枫叶教育集团有限公司:百度数据，写入失败
-company_detail_el.count():0
-亿和精密工业控股有限公司:boss数据，写入成功
-美皓医疗集团有限公司-获取到百度数据：[]
-美皓医疗集团有限公司:百度数据，写入失败
-company_detail_el.count():3
-美皓医疗集团有限公司
-绿景物业
-
-绿景物业-获取到boss数据：深圳市绿景物业管理有限公司成立于1997年，是深圳市绿景地产（绿景中国HK00095）全资子公司，具有国家物业管理企业一级资质。目前管理项目遍布深圳各区，在珠海、惠阳、化州、苏州、益阳等地设有子分公司，涵盖住宅、写字楼、商场、产业园等业态，管理总面积超过400万平方米。未来，绿景物业将以绿景地产的发展为依托，继续秉承“客户至上、精诚服务”的服务宗旨，遵循“专为本、和致远”的价值主张，逐步打造具有自身特色的核心竞争力，成为一个具有行业影响力的物业管理品牌。
-人才是绿景物业宝贵的资产。我们提供具有社会竞争力的薪酬福利待遇，以及广阔的发展空间和培训机会，热忱欢迎物业管理精英的加盟，共同开创属于我们的事业。
-绿景(中国)地产投资有限公司:boss数据，写入成功
-上海证大房地产有限公司-获取到百度数据：['\n上海证大房地产有限公司于1992年11月9日成立，是一家主要从事物业业务的香港投资控股公司。\n\xa0\xa0\n']
-上海证大房地产有限公司:百度数据，写入成功

yconf/config.yaml

-#dwp-生产 test-测试 dev-开发
-env: "dwp"
-env-dwp:
-  randomtime: 120
-  url: "https://test.dwp.galaxy-immi.com/api"
-env-test:
-  randomtime: 120
-  url: "https://test.dwp.galaxy-immi.com/api"
-env-dev:
-  randomtime: 120
-  url: "https://test.dwp.galaxy-immi.com/api"
-php-api:
-  getcompany: "/smart-writing/company/spider-company"