class DocumentProcessor:
    """문서 처리 및 청킹 파이프라인"""
    
    def __init__(self, chunk_size=1000, chunk_overlap=200):
        self.chunk_size = chunk_size
        self.chunk_overlap = chunk_overlap
        
    def process_document(self, file_path):
        """메인 문서 처리 함수"""
        
        # 1. 파일 형식 감지
        file_type = self.detect_file_type(file_path)
        
        # 2. 문서 파싱
        if file_type == 'pdf':
            text = self.parse_pdf(file_path)
        elif file_type == 'docx':
            text = self.parse_docx(file_path)
        elif file_type == 'html':
            text = self.parse_html(file_path)
        else:
            text = self.parse_text(file_path)
        
        # 3. 텍스트 전처리
        cleaned_text = self.clean_text(text)
        
        # 4. 청킹
        chunks = self.create_chunks(cleaned_text)
        
        return chunks
    
    def create_chunks(self, text):
        """고정 크기 + 중첩 청킹"""
        
        chunks = []
        start = 0
        
        while start < len(text):
            # 청크 끝 위치 계산
            end = start + self.chunk_size
            
            # 문장 단위로 자르기 위해 마지막 마침표 찾기
            if end < len(text):
                last_period = text.rfind('.', start, end)
                if last_period > start:
                    end = last_period + 1
            
            # 청크 생성
            chunk = text[start:end].strip()
            if chunk:
                chunks.append({
                    'text': chunk,
                    'start_pos': start,
                    'end_pos': end,
                    'chunk_id': len(chunks)
                })
            
            # 다음 시작점 (중첩 고려)
            start = max(start + 1, end - self.chunk_overlap)
        
        return chunks

# 사용 예시
processor = DocumentProcessor(chunk_size=1000, chunk_overlap=200)
chunks = processor.process_document("company_policy.pdf")

print(f"총 {len(chunks)}개 청크 생성")
for i, chunk in enumerate(chunks[:3]):
    print(f"\nChunk {i+1}: {chunk['text'][:100]}...")