Commit cd864674 authored by jimmy's avatar jimmy

update .gitignore

parent 5ea2b89c
yconf/
log/
\ No newline at end of file
......@@ -10,11 +10,13 @@ import cyaml
#获取需要爬数据的企业 百度1
def GetCompany(types):
response = requests.get(cyaml.data["env"]["url"]+cyaml.data["php-api"]["getcompany"], "type="+str(types), headers={"Content-Type": "application/json"})
response = requests.get(cyaml.data[cyaml.data["env"]]["url"]+cyaml.data["php-api"]["getcompany"]+"?type="+str(types), headers={"Content-Type": "application/json"})
print(response)
print(cyaml.data[cyaml.data["env"]]["url"]+cyaml.data["php-api"]["getcompany"]+"?type="+str(types))
if response.status_code == 200:
response_data = response.json()
if response_data.get('name') is not None:
return response_data["data"]["company_name"],response_data["data"]["url"]
# if response_data.get('name') is not None:
return response_data["data"]["company_name"],response_data["data"]["url"]
return "", ""
......@@ -28,7 +30,7 @@ def SaveCompanyData(name,types,intro):
"type": types
}
json_data = json.dumps(post_data)
response = requests.post(cyaml.data["env"]["url"]+cyaml.data["php-api"]["getcompany"], data=json_data, headers={"Content-Type": "application/json"})
response = requests.post(cyaml.data[cyaml.data["env"]]["url"]+cyaml.data["php-api"]["getcompany"], data=json_data, headers={"Content-Type": "application/json"})
# 检查响应状态码
if response.status_code == 200:
......@@ -46,7 +48,7 @@ def SaveCompanyData(name,types,intro):
def CrawlerLaunch():
while True:
now = datetime.datetime.now()
randomtime = random.randint(3, 120)
randomtime = random.randint(3, cyaml.data[cyaml.data["env"]]["randomtime"])
print(str(now) + ":启动等待时间"+str(randomtime))
time.sleep(randomtime)
res1 = crawler_baidu.CrawlerBaidu()
......
大成生化科技集团有限公司-获取到百度数据:[]
大成生化科技集团有限公司:百度数据,写入失败
威诚国际控股有限公司-获取到百度数据:[]
威诚国际控股有限公司:百度数据,写入失败
吉林九台农村商业银行股份有限公司-获取到百度数据:['\n吉林九台农村商业银行股份有限公司于2008年12月16日成立。法定代表人高兵,公司经营范围包括:吸收人民币公众存款;发放人民币短期、中期和长期贷款;办理国内结算;办理票据承兑与贴现;代理发行、代理兑付、承销政府债券;买卖政府债券、金融债券,参与货币市场;从事同业拆借;代理收付款项及代理保险业务;提供保险箱服务;代理买卖基金、信托产品及其他理财产品;基金销售;从事银行卡业务;外汇借款、外汇票据的承兑和贴现、外汇担保、自营及代客外汇买卖、外汇存款、外汇贷款、外汇汇款、外币兑换、国际结算、同业外汇拆借和资信调查、咨询、见证,外汇借款、外汇票据的承兑和贴现、外汇担保、即期结售汇、自营及代客外汇买卖;经中国银行业监督管理委员会批准的其他业务;信息服务业务(不含固定网信息服务业务项目)等。\n\xa0\n\n']
吉林九台农村商业银行股份有限公司:百度数据,写入成功
中国枫叶教育集团有限公司-获取到百度数据:[]
中国枫叶教育集团有限公司:百度数据,写入失败
company_detail_el.count():0
亿和精密工业控股有限公司:boss数据,写入成功
美皓医疗集团有限公司-获取到百度数据:[]
美皓医疗集团有限公司:百度数据,写入失败
company_detail_el.count():3
美皓医疗集团有限公司
绿景物业
绿景物业-获取到boss数据:深圳市绿景物业管理有限公司成立于1997年,是深圳市绿景地产(绿景中国HK00095)全资子公司,具有国家物业管理企业一级资质。目前管理项目遍布深圳各区,在珠海、惠阳、化州、苏州、益阳等地设有子分公司,涵盖住宅、写字楼、商场、产业园等业态,管理总面积超过400万平方米。未来,绿景物业将以绿景地产的发展为依托,继续秉承“客户至上、精诚服务”的服务宗旨,遵循“专为本、和致远”的价值主张,逐步打造具有自身特色的核心竞争力,成为一个具有行业影响力的物业管理品牌。
人才是绿景物业宝贵的资产。我们提供具有社会竞争力的薪酬福利待遇,以及广阔的发展空间和培训机会,热忱欢迎物业管理精英的加盟,共同开创属于我们的事业。
绿景(中国)地产投资有限公司:boss数据,写入成功
上海证大房地产有限公司-获取到百度数据:['\n上海证大房地产有限公司于1992年11月9日成立,是一家主要从事物业业务的香港投资控股公司。\n\xa0\xa0\n']
上海证大房地产有限公司:百度数据,写入成功
#dwp-生产 test-测试 dev-开发
env: "dwp"
env-dwp:
randomtime: 120
url: "https://test.dwp.galaxy-immi.com/api"
env-test:
randomtime: 120
url: "https://test.dwp.galaxy-immi.com/api"
env-dev:
randomtime: 120
url: "https://test.dwp.galaxy-immi.com/api"
php-api:
getcompany: "/smart-writing/company/spider-company"
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment