自托管

# .env

# ===== 必需的环境变量 ======
NUM_WORKERS_PER_QUEUE=8 
PORT=3002
HOST=0.0.0.0

#使用docker自托管时，使用redis://redis:6379。本地运行时，使用redis://localhost:6379
REDIS_URL=redis://redis:6379

#使用docker自托管时，使用redis://redis:6379。本地运行时，使用redis://localhost:6379
REDIS_RATE_LIMIT_URL=redis://redis:6379 
PLAYWRIGHT_MICROSERVICE_URL=http://playwright-service:3000/html

## 要启用数据库身份验证，您需要设置supabase。
USE_DB_AUTHENTICATION=false

# ===== 可选的环境变量 ======

# Supabase设置（用于支持数据库身份验证、高级日志记录等）
SUPABASE_ANON_TOKEN= 
SUPABASE_URL= 
SUPABASE_SERVICE_TOKEN=

# 其他可选项
# 如果您已设置身份验证并想使用真实的API密钥进行测试
TEST_API_KEY=
# 如果您想测试抓取速率限制，请设置
RATE_LIMIT_TEST_API_KEY_SCRAPE=
# 如果您想测试爬取速率限制，请设置
RATE_LIMIT_TEST_API_KEY_CRAWL=
# 如果您想使用Scraping Bee处理JS阻止，请设置
SCRAPING_BEE_API_KEY=
# 添加用于LLM依赖功能（图像alt生成等）
OPENAI_API_KEY=
BULL_AUTH_KEY=@
# 如果您正在使用logtail配置基本日志记录，请使用
LOGTAIL_KEY=
# 如果您有想用于解析PDF的llamaparse密钥，请设置
LLAMAPARSE_API_KEY=
# 如果您想发送slack服务器健康状态消息，请设置
SLACK_WEBHOOK_URL=
# 如果您想发送posthog事件（如作业日志），请设置
POSTHOG_API_KEY=
# 如果您想发送posthog事件（如作业日志），请设置
POSTHOG_HOST=

# 如果您想使用fire engine封闭测试版，请设置
FIRE_ENGINE_BETA_URL=

# Playwright的代理设置（或者您可以使用像oxylabs这样的代理服务，它会在每个请求上轮换IP）
PROXY_SERVER=
PROXY_USERNAME=
PROXY_PASSWORD=
# 如果您想阻止媒体请求以节省代理带宽，请设置
BLOCK_MEDIA=

# 使用FireCrawl的自托管版本时，将此设置为您的webhook URL
SELF_HOSTED_WEBHOOK_URL=

# 用于事务性电子邮件的Resend API密钥
RESEND_API_KEY=

# LOGGING_LEVEL决定系统将输出的日志详细程度。
# 可用级别有：
# NONE - 不输出日志。
# ERROR - 用于记录表示特定操作失败的错误消息。
# WARN - 用于记录可能有害但不一定是错误的情况。
# INFO - 用于记录突出应用程序进度的信息性消息。
# DEBUG - 用于记录系统流程的详细信息，主要用于调试。
# TRACE - 用于记录比DEBUG级别更详细的信息。
# 将LOGGING_LEVEL设置为上述选项之一以控制日志输出。
LOGGING_LEVEL=INFO

curl -X POST http://localhost:3002/v0/crawl \
    -H 'Content-Type: application/json' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'

[YYYY-MM-DDTHH:MM:SS.SSSz]ERROR - Attempted to access Supabase client when it's not configured.
[YYYY-MM-DDTHH:MM:SS.SSSz]ERROR - Error inserting scrape event: Error: Supabase client is not configured.

[YYYY-MM-DDTHH:MM:SS.SSSz]WARN - You're bypassing authentication

docker logs [容器名称]