job-scraper / app.py
joedac-netvigie
add description
bf67806
Raw History Blame Contribute Delete
8.46 kB
import gradio as gr
import requests
from bs4 import BeautifulSoup
import time
import random
import pandas as pd
def get_job_description(job_url, headers):
"""
Récupère la description d'une offre d'emploi à partir de son URL.
Args:
job_url (str): L'URL de l'offre d'emploi
headers (dict): Les headers pour la requête HTTP
Returns:
str: La description de l'offre d'emploi ou un message d'erreur
"""
try:
response = requests.get(job_url, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.content, 'html.parser')
description_container = soup.find('div', class_='show-more-less-html__markup')
if description_container:
description = description_container.get_text(strip=True, separator=' ')
print(f"✅ Description récupérée pour {job_url[:50]}...")
print(f"Aperçu: {description[:200]}...")
return description
else:
print(f"❌ Balise de description non trouvée pour {job_url}")
return "Description non disponible"
except requests.RequestException as e:
print(f"❌ Erreur lors de la récupération de {job_url}: {str(e)}")
return f"Erreur lors de la récupération: {str(e)}"
except Exception as e:
print(f"❌ Erreur inattendue pour {job_url}: {str(e)}")
return f"Erreur inattendue: {str(e)}"
def scrape_linkedin_jobs(keyword, location, num_pages=1, include_description=True):
"""
Scrape les offres d'emploi sur LinkedIn en fonction des mots-clés et de l'emplacement spécifiés.
Args:
keyword (str): Le mot-clé pour la recherche d'emploi (ex: Python, Data Scientist)
location (str): L'emplacement pour la recherche d'emploi (ex: Paris, France)
num_pages (int, optional): Le nombre de pages à scraper. Par défaut à 1.
include_description (bool, optional): Si True, récupère aussi les descriptions. Par défaut à True.
Returns:
pandas.DataFrame ou str: Un DataFrame contenant les offres d'emploi trouvées ou un message d'erreur
"""
base_url = "https://www.linkedin.com/jobs/search/"
jobs = []
headers = {
"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36"
}
for page in range(num_pages):
print(f"🔍 Scraping page {page + 1}...")
params = {
"keywords": keyword,
"location": location,
"start": page * 25
}
try:
response = requests.get(base_url, params=params, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.content, 'html.parser')
job_cards = soup.find_all('div',
class_='base-card relative w-full hover:no-underline focus:no-underline base-card--link base-search-card base-search-card--link job-search-card')
if not job_cards:
return f"Avertissement: Aucune offre d'emploi trouvée sur la page {page + 1}. La structure de la page a peut-être changé."
print(f"📋 {len(job_cards)} offres trouvées sur la page {page + 1}")
for i, card in enumerate(job_cards):
title = card.find('h3', class_='base-search-card__title')
company = card.find('h4', class_='base-search-card__subtitle')
location_elem = card.find('span', class_='job-search-card__location')
link = card.find('a', class_='base-card__full-link')
if title and company and location_elem and link:
job_data = {
'Titre': title.text.strip(),
'Entreprise': company.text.strip(),
'Lieu': location_elem.text.strip(),
'Lien': link['href']
}
print(f"📄 Traitement de l'offre {i + 1}: {job_data['Titre']} chez {job_data['Entreprise']}")
if include_description:
print(f"🔗 Récupération de la description...")
job_data['Description'] = get_job_description(job_data['Lien'], headers)
time.sleep(random.uniform(1, 2))
jobs.append(job_data)
time.sleep(random.uniform(1, 2))
except requests.RequestException as e:
return f"Une erreur s'est produite lors de la récupération de la page {page + 1}: {str(e)}"
print(f"✅ Scraping terminé! {len(jobs)} offres récupérées au total")
return pd.DataFrame(jobs)
def dataframe_to_html(df):
"""
Convertit un DataFrame en tableau HTML basique avec des liens cliquables.
Args:
df (pandas.DataFrame): Le DataFrame à convertir
Returns:
str: Représentation HTML du DataFrame
"""
if not isinstance(df, pd.DataFrame):
return f"<p>{df}</p>"
html = "<table border='1' style='border-collapse: collapse; width: 100%;'><thead><tr>"
for col in df.columns:
html += f"<th style='padding: 8px; background-color: #f2f2f2;'>{col}</th>"
html += "</tr></thead><tbody>"
for _, row in df.iterrows():
html += "<tr>"
for col in df.columns:
if col == "Lien":
html += f'<td style="padding: 8px;"><a href="{row[col]}" target="_blank">Voir l\'offre</a></td>'
elif col == "Description":
# Limiter l'affichage de la description pour le tableau
desc = str(row[col])[:200] + "..." if len(str(row[col])) > 200 else str(row[col])
html += f"<td style='padding: 8px; max-width: 300px;'>{desc}</td>"
else:
html += f"<td style='padding: 8px;'>{row[col]}</td>"
html += "</tr>"
html += "</tbody></table>"
return html
def linkedin_scraper_interface(keyword, location, num_pages, include_description):
"""
Interface pour le scraper LinkedIn qui valide les entrées et formate les résultats.
Args:
keyword (str): Le mot-clé pour la recherche d'emploi
location (str): L'emplacement pour la recherche d'emploi
num_pages (int): Le nombre de pages à scraper
include_description (bool): Si True, récupère aussi les descriptions
Returns:
str: Résultats formatés en HTML avec des liens cliquables ou message d'erreur
"""
if not keyword or not location:
return "Veuillez saisir un mot-clé et un lieu."
try:
num_pages = int(num_pages)
if num_pages < 1:
return "Le nombre de pages doit être d'au moins 1."
except ValueError:
return "Le nombre de pages doit être un nombre entier."
print(f"🚀 Début du scraping: '{keyword}' à '{location}' sur {num_pages} page(s)")
print(f"📝 Récupération des descriptions: {'Oui' if include_description else 'Non'}")
results = scrape_linkedin_jobs(keyword, location, num_pages, include_description)
if isinstance(results, str):
return results
if isinstance(results, pd.DataFrame) and len(results) == 0:
return "Aucun résultat trouvé. Essayez de modifier vos critères de recherche."
return dataframe_to_html(results)
# Interface Gradio
with gr.Blocks(title="Job Scraper") as demo:
"""
Crée l'interface utilisateur Gradio pour le scraper d'offres d'emploi.
"""
gr.Markdown("# Job Scraper")
gr.Markdown("Recherchez des offres d'emploi en fonction de mots-clés et d'emplacements")
with gr.Row():
with gr.Column():
keyword_input = gr.Textbox(label="Mot-clé (ex: Python, Data Scientist)", placeholder="Entrez un mot-clé")
location_input = gr.Textbox(label="Lieu (ex: Paris, France)", placeholder="Entrez un lieu")
pages_input = gr.Number(label="Nombre de pages à scraper", value=1, minimum=1, maximum=5)
description_checkbox = gr.Checkbox(label="Récupérer les descriptions des offres", value=True)
submit_button = gr.Button("Rechercher")
output = gr.HTML(label="Résultats")
submit_button.click(
fn=linkedin_scraper_interface,
inputs=[keyword_input, location_input, pages_input, description_checkbox],
outputs=output
)
if __name__ == "__main__":
demo.launch(mcp_server=True)