📌 Baca Juga (AI Coding): Transformasi Kode Legacy Python Anda: 5 Teknik AI untuk Refactoring Lebih Cepat & Bersih
Mengapa Integrasi LLM API Penting untuk Aplikasi Modern?
Large Language Models (LLM) seperti GPT, Claude, atau LLaMA telah merevolusi pengembangan aplikasi cerdas. Dengan mengintegrasikan API LLM ke dalam aplikasi Flask atau FastAPI, Anda dapat menambahkan fitur canggih seperti pemrosesan bahasa alami, analisis sentimen, atau generasi konten dinamis. Namun, integrasi yang sukses memerlukan lebih dari sekadar panggilan API—Anda perlu menangani kesalahan, mengoptimalkan performa, dan menerapkan batasan laju (rate limits) untuk menghindari biaya berlebih atau downtime.
Persiapan Dasar: Pilih Framework dan LLM API
Sebelum mulai, pastikan Anda telah:
- Memilih framework (Flask atau FastAPI)
- Mendapatkan API key dari penyedia LLM (OpenAI, Anthropic, dll.)
- Menginstal dependensi:
pip install flask requests fastapi httpx
Integrasi LLM API di Flask: Panduan Langkah demi Langkah
1. Buat Endpoint Dasar dengan Error Handling
Contoh endpoint Flask yang memanggil LLM API dengan penanganan kesalahan:
from flask import Flask, jsonify
import requests
app = Flask(__name__)
API_KEY = "your_api_key_here"
LLM_ENDPOINT = "https://api.example-llm.com/v1/generate"
@app.route("/generate-text", methods=["POST"])
def generate_text():
try:
payload = {"prompt": "Jelaskan kecerdasan buatan dalam 3 kalimat", "max_tokens": 100}
headers = {"Authorization": f"Bearer {API_KEY}"}
response = requests.post(LLM_ENDPOINT, json=payload, headers=headers, timeout=10)
response.raise_for_status()
return jsonify({"result": response.json()["choices"][0]["text"]})
except requests.exceptions.Timeout:
return jsonify({"error": "Timeout saat menghubungi LLM API"}), 504
except requests.exceptions.HTTPError as e:
return jsonify({"error": f"Gagal: {str(e)}"}), 400
except Exception as e:
return jsonify({"error": "Kesalahan internal"}), 500
if __name__ == "__main__":
app.run(debug=True)
2. Implementasi Rate Limiting di Flask
Gunakan flask-limiter untuk mencegah penyalahgunaan:
from flask_limiter import Limiter
from flask_limiter.util import get_remote_address
limiter = Limiter(
app=app,
key_func=get_remote_address,
default_limits=["200 per day", "50 per hour"]
)
@limiter.limit("10/minute")
@app.route("/generate-text", methods=["POST"])
... # endpoint sebelumnya
Integrasi LLM API di FastAPI: Pendekatan Asinkron
1. Endpoint Asinkron dengan Error Handling
FastAPI ideal untuk aplikasi berperforma tinggi:
from fastapi import FastAPI, HTTPException
import httpx
app = FastAPI()
API_KEY = "your_api_key_here"
LLM_ENDPOINT = "https://api.example-llm.com/v1/generate"
@app.post("/generate-text")
async def generate_text():
try:
async with httpx.AsyncClient() as client:
response = await client.post(
LLM_ENDPOINT,
json={"prompt": "Apa manfaat AI dalam kesehatan?", "max_tokens": 80},
headers={"Authorization": f"Bearer {API_KEY}"},
timeout=15
)
response.raise_for_status()
return {"result": response.json()["choices"][0]["text"]}
except httpx.TimeoutException:
raise HTTPException(status_code=504, detail="Timeout LLM API")
except httpx.HTTPError as e:
raise HTTPException(status_code=400, detail=f"Gagal: {str(e)}")
2. Rate Limiting dengan SlowAPI
Tambahkan batasan laju menggunakan slowapi:
from slowapi import Limiter, _rate_limit_exceeded_handler
from slowapi.util import get_remote_address
limiter = Limiter(key_func=get_remote_address)
app.state.limiter = limiter
app.add_exception_handler(429, _rate_limit_exceeded_handler)
@app.post("/generate-text", tags=["LLM"])
@limiter.limit("10/minute")
async def generate_text():
... # endpoint sebelumnya
Best Practices untuk Integrasi LLM API yang Handal
- Keamanan API Key: Simpan key di environment variables (gunakan
python-dotenv) - Caching: Implementasikan caching untuk respons yang sering diminta
- Logging: Lacak semua panggilan API dan kesalahan dengan
loggingatau Sentry - Validasi Input: Gunakan Pydantic di FastAPI untuk validasi data masuk
- Retri Policy: Tambahkan logika retry dengan backoff eksponensial untuk error sementara
💡 Baca Juga & Rekomendasi Jaringan AI Network:
- Gunakan racikan prompt profesional di SolusiAI.my.id (Rekomendasi Tools & Otomatisasi AI).
- Pelajari tutorial skrip dan otomatisasi teknis di PromptHack.my.id (Kumpulan AI Prompt & Content Growth).
Kesimpulan
Integrasi LLM API ke dalam Flask atau FastAPI membuka potensi aplikasi cerdas yang skalabel. Dengan menerapkan error handling yang ketat dan rate limiting, Anda memastikan sistem tetap stabil dan biaya-efisien. Mulailah dengan contoh di atas, sesuaikan sesuai kebutuhan, dan selalu monitor performa di produksi. Selamat membangun aplikasi AI generasi berikutnya!
Posting Komentar