import gradio as gr import requests from bs4 import BeautifulSoup import time import random import pandas as pd def get_job_description(job_url, headers): """ Récupère la description d'une offre d'emploi à partir de son URL. Args: job_url (str): L'URL de l'offre d'emploi headers (dict): Les headers pour la requête HTTP Returns: str: La description de l'offre d'emploi ou un message d'erreur """ try: response = requests.get(job_url, headers=headers) response.raise_for_status() soup = BeautifulSoup(response.content, 'html.parser') description_container = soup.find('div', class_='show-more-less-html__markup') if description_container: description = description_container.get_text(strip=True, separator=' ') print(f"✅ Description récupérée pour {job_url[:50]}...") print(f"Aperçu: {description[:200]}...") return description else: print(f"❌ Balise de description non trouvée pour {job_url}") return "Description non disponible" except requests.RequestException as e: print(f"❌ Erreur lors de la récupération de {job_url}: {str(e)}") return f"Erreur lors de la récupération: {str(e)}" except Exception as e: print(f"❌ Erreur inattendue pour {job_url}: {str(e)}") return f"Erreur inattendue: {str(e)}" def scrape_linkedin_jobs(keyword, location, num_pages=1, include_description=True): """ Scrape les offres d'emploi sur LinkedIn en fonction des mots-clés et de l'emplacement spécifiés. Args: keyword (str): Le mot-clé pour la recherche d'emploi (ex: Python, Data Scientist) location (str): L'emplacement pour la recherche d'emploi (ex: Paris, France) num_pages (int, optional): Le nombre de pages à scraper. Par défaut à 1. include_description (bool, optional): Si True, récupère aussi les descriptions. Par défaut à True. Returns: pandas.DataFrame ou str: Un DataFrame contenant les offres d'emploi trouvées ou un message d'erreur """ base_url = "https://www.linkedin.com/jobs/search/" jobs = [] headers = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36" } for page in range(num_pages): print(f"🔍 Scraping page {page + 1}...") params = { "keywords": keyword, "location": location, "start": page * 25 } try: response = requests.get(base_url, params=params, headers=headers) response.raise_for_status() soup = BeautifulSoup(response.content, 'html.parser') job_cards = soup.find_all('div', class_='base-card relative w-full hover:no-underline focus:no-underline base-card--link base-search-card base-search-card--link job-search-card') if not job_cards: return f"Avertissement: Aucune offre d'emploi trouvée sur la page {page + 1}. La structure de la page a peut-être changé." print(f"📋 {len(job_cards)} offres trouvées sur la page {page + 1}") for i, card in enumerate(job_cards): title = card.find('h3', class_='base-search-card__title') company = card.find('h4', class_='base-search-card__subtitle') location_elem = card.find('span', class_='job-search-card__location') link = card.find('a', class_='base-card__full-link') if title and company and location_elem and link: job_data = { 'Titre': title.text.strip(), 'Entreprise': company.text.strip(), 'Lieu': location_elem.text.strip(), 'Lien': link['href'] } print(f"📄 Traitement de l'offre {i + 1}: {job_data['Titre']} chez {job_data['Entreprise']}") if include_description: print(f"🔗 Récupération de la description...") job_data['Description'] = get_job_description(job_data['Lien'], headers) time.sleep(random.uniform(1, 2)) jobs.append(job_data) time.sleep(random.uniform(1, 2)) except requests.RequestException as e: return f"Une erreur s'est produite lors de la récupération de la page {page + 1}: {str(e)}" print(f"✅ Scraping terminé! {len(jobs)} offres récupérées au total") return pd.DataFrame(jobs) def dataframe_to_html(df): """ Convertit un DataFrame en tableau HTML basique avec des liens cliquables. Args: df (pandas.DataFrame): Le DataFrame à convertir Returns: str: Représentation HTML du DataFrame """ if not isinstance(df, pd.DataFrame): return f"
{df}
" html = "| {col} | " html += "||
|---|---|---|
| Voir l\'offre | ' elif col == "Description": # Limiter l'affichage de la description pour le tableau desc = str(row[col])[:200] + "..." if len(str(row[col])) > 200 else str(row[col]) html += f"{desc} | " else: html += f"{row[col]} | " html += "