AIStudy Home AIStudy 데이터마이닝 (Data Mining) KDD & AI ENGINE
KNOWLEDGE DISCOVERY IN DATABASES (KDD) & CORE FOUNDATION OF MODERN AI / LLM

Data Mining (데이터 마이닝)

"Data mining은 데이터 (Data)에서 패턴 (patterns), 연관 (associations), 변화 (changes), 예외 (anomalies), 규칙 (rules), 통계적으로 중요한 구조와 사건 (event) 들을 찾아내는 반자동(semi-automatic) 시스템이다. 즉 데이터에서 지식을 추출해 내려는 시도이며 여러 가지 면에서 전통적인 통계와는 다르다......"

Data Mining이란 대량의 데이터로부터 새롭고 의미 있는 정보와 지식을 추출하여 합리적 의사결정에 활용하는 분석 작업입니다. 'Mining'이란 "광물을 캐내다"라는 뜻으로, 거대한 데이터베이스라는 광산 속에서 가치 있는 금괴(지식)를 캐낸다는 의미를 지닙니다. 자동화되고 지능을 갖춘 분석 기법으로 90년대 초반부터 지식발견(KDD: Knowledge Discovery in Databases)이라는 용어와 혼용되어 왔으며, 오늘날 인공지능(AI), 머신러닝, 그리고 빅데이터 (Big Data) 환경에서 대형 언어 모델(LLM)을 비롯한 첨단 AI 시스템의 성능을 결정짓는 핵심 엔진으로 자리잡았습니다.

[ 인공지능(AI)과 데이터 마이닝의 핵심 관계 ]

• 데이터베이스와 기계학습의 교량: 기계학습이 실험실의 정제된 트레이닝 세트에서 규칙을 찾는 연역/귀납 과정이라면, 데이터 마이닝은 현실 세계의 방대하고 잡음(Noise)이 가득한 대규모 데이터베이스에 이를 적용하여 실질적 가치를 도출합니다.

• AI의 핵심 전처리 및 특징 공학(Feature Engineering): 인공지능 모델이 스스로 학습하기 전에 의미 있는 변수(Feature)를 추출하고 차원을 축소하여 학습 효율과 정확도를 극대화합니다.

• LLM 제작의 승패를 결정하는 필터링 엔진: 수조 토큰의 원시 웹 데이터(Common Crawl 등)에서 중복을 제거(Deduplication)하고 저품질/유해 텍스트를 마이닝하여 제거해야만 강력하고 안전한 거대 언어 모델이 탄생합니다.

📌 1. 데이터 마이닝의 정의와 KDD 핵심 원리

DEFINITION & ARCHITECTURE

데이터 마이닝은 단순한 데이터 조회가 아니라, 대규모 데이터 집합(Big Data) 내에 숨겨져 있는 비자명하고(Non-trivial), 암묵적이며(Implicit), 사전에 알려지지 않았으나(Previously Unknown), 잠재적으로 유용한(Potentially Useful) 지식과 패턴을 컴퓨팅 알고리즘을 통해 탐색해 내는 과학이자 공학입니다.

💡 지식발견(KDD)과 데이터 마이닝(Data Mining)의 관계

Usama Fayyad 교수를 비롯한 학계 표준에 따르면, KDD(Knowledge Discovery in Databases)는 데이터 준비부터 최종 지식 활용까지의 전체 엔드투엔드(End-to-End) 프로세스를 의미합니다. 반면 데이터 마이닝(Data Mining)은 이 거대한 지식발견 전체 여정 중에서 패턴을 직접 찾아내는 핵심 분석 단계(전체 노력의 15%~25%에 해당)를 지칭합니다.

🔄 글로벌 표준 데이터 마이닝 프로세스 (CRISP-DM 6단계)

1

비즈니스 이해 (Business Understanding)

해결해야 할 문제 정의, 분석 목적 수립, 데이터 마이닝 성공 기준 및 프로젝트 계획 수립.

2

데이터 이해 (Data Understanding)

원시 데이터 수집, 데이터 속성 및 분포 탐색(EDA), 데이터 품질 평가 및 결측치 파악.

3

데이터 준비 (Data Preparation)

이상치 처리, 정규화, 결측치 대체, 범주형 인코딩, 파생 변수 생성 및 트레이닝 셋 분할 (전체 노력의 70% 소요).

4

모델링 (Modeling)

분류, 군집화, 연관성, 회귀 등 목적에 맞는 최적의 알고리즘 선택 및 하이퍼파라미터 튜닝.

5

평가 (Evaluation)

도출된 모델과 패턴이 비즈니스 목표를 만족하는지 검증 (정밀도, 재현율, ROC-AUC, 실무 적합성).

6

배포 및 모니터링 (Deployment)

현장 시스템에 모델 통합, 실시간 의사결정 파이프라인 구축 및 지속적인 모델 성능 모니터링.

⚙️ 데이터 마이닝의 6대 핵심 분석 원리 및 알고리즘

Core Principle 01

🛒 연관 규칙 분석 (Association Rules)

트랜잭션 데이터에서 사건 간의 동시 발생 패턴을 탐색합니다. (예: "기저귀를 산 고객은 맥주도 함께 산다"). 지지도(Support), 신뢰도(Confidence), 향상도(Lift) 지표와 Apriori 알고리즘, FP-Growth 알고리즘이 대표적입니다.

Core Principle 02

🏷️ 분류 분석 (Classification)

레이블이 부여된 과거 데이터를 기반으로 새로운 데이터의 소속 범주를 예측합니다. C4.5 / CART(의사결정나무), 다층 퍼셉트론 (Multilayer Perceptron), 랜덤 포레스트(Random Forest), SVM(서포트 벡터 머신) 등이 활용됩니다.

Core Principle 03

👥 군집화 분석 (Clustering)

사전 정답 레이블 없이 데이터 간의 유사도(거리)를 측정하여 자율적으로 그룹을 형성합니다. K-평균 군집화 (K-Means), 밀도 기반의 DBSCAN, 계층적 군집화, 자기조직화 맵 (SOM)이 핵심입니다.

Core Principle 04

📈 회귀 분석 (Regression Analysis)

독립 변수들과 연속형 종속 변수 간의 수학적 함수 관계를 모델링합니다. 선형/비선형 회귀분석, 과적합을 억제하는 정규화 회귀(Ridge, Lasso, ElasticNet)를 통해 미래 수치값을 정량적으로 예측 (Prediction)합니다.

Core Principle 05

🚨 이상치 탐지 (Anomaly Detection)

대다수 데이터가 따르는 정상 패턴에서 현저하게 벗어나는 특이점을 포착합니다. 금융 신용카드 사기 결제(FDS), 네트워크 침입 탐지(IDS), 산업 장비의 이상 진동 감지에 Isolation Forest, One-Class SVM 등이 사용됩니다.

Core Principle 06

📉 차원 축소 (Dimensionality Reduction)

수백~수만 차원의 고차원 데이터에서 정보 손실을 최소화하며 핵심 잠재 변수를 추출합니다. 선형/비선형 주성분 분석(PCA), t-SNE, UMAP 등을 통해 '차원의 저주'를 극복하고 모델 연산 속도를 가속합니다.

🤖 2. 인공지능(AI)에서 데이터 마이닝의 핵심 활용

AI & DATA MINING SYNERGY

인공지능(AI)과 데이터 마이닝은 뿌리가 닿아 있는 상호 보완적 관계입니다. 인공지능과 머신러닝이 지능적 판단을 내리는 '알고리즘적 두뇌'라면, 데이터 마이닝은 복잡한 데이터 광산에서 가치 있는 특징(Feature)과 규칙을 추출하여 두뇌에 영양분을 공급하는 '지식 채굴 파이프라인'입니다.

🧪 1. 머신러닝 특징 공학 (Feature Engineering)

원시 로그 데이터에서 유의미한 변수를 마이닝하고 상관관계 분석과 다중공선성(VIF) 검증을 통해 최적의 독립 변수 조합을 선별합니다. 우수한 특징 마이닝은 복잡한 딥러닝 모델의 학습 시간과 파라미터 요구량을 수배 이상 절감합니다.

🎯 2. 지능형 개인화 추천 시스템 (Recommender Systems)

넷플릭스, 유튜브, 아마존, 쿠팡 등에서 수억 명 사용자의 클릭·구매 로그를 연관 분석(Association Mining)과 협업 필터링(Collaborative Filtering)으로 마이닝하여 사용자별 취향 군집을 형성하고 다음 행동을 정밀 추천합니다.

🛡️ 3. 금융 사기 방지 및 이상 거래 탐지 (FDS)

초당 수만 건씩 쏟아지는 은행 이체 및 카드 결제 데이터 스트림에서 밀리초(ms) 단위로 이상 패턴을 마이닝합니다. 정상 사용자의 소비 반경과 다른 위치나 이상 결제 시퀀스를 실시간으로 차단하여 금융 사고를 예방합니다.

🏥 4. 헬스케어 & 바이오 의료 데이터 마이닝

전자의무기록(EMR/EHR)과 임상 시험 데이터를 마이닝하여 특정 약물의 부작용 상관관계를 밝혀내고, 유전체 염기서열 빅데이터에서 특정 암 유발 유전자 변이 패턴을 발굴하여 맞춤형 정밀 의료를 실현합니다.

🏭 5. 산업용 스마트 팩토리 및 예지 보전

반도체 공정, 발전소 터빈, 고속철도의 사물인터넷(IoT) 센서가 수집한 시계열 진동·온도 데이터를 마이닝하여 부품 마모와 미세 균열의 전조 증상을 포착하고 기계 고장을 사전에 방지합니다.

🌐 6. 지식 그래프 (Knowledge Graph) 구축

뉴스, 논문, 특허 문서 등 비정형 텍스트에서 개체명 인식(NER)과 관계 추출(Relation Extraction)을 수행하여 거대한 지식 그래프를 구성함으로써, 인공지능이 사실(Fact) 기반의 논리적 추론 (Reasoning)을 수행할 수 있도록 지원합니다.

🚀 3. [심층] 초거대 언어 모델(LLM) 제작에서 데이터 마이닝의 결정적 역할

CRITICAL ROLE IN LLM PIPELINE

최근 AI 패러다임은 모델 아키텍처 중심(Model-Centric)에서 데이터 중심(Data-Centric AI)으로 완전히 전환되었습니다. GPT-4, LLaMA, Claude와 같은 최신 거대 언어 모델(LLM)의 압도적인 성능과 안정성은 고도화된 텍스트 데이터 마이닝 파이프라인에 의해 좌우됩니다. LLM 라이프사이클의 5대 핵심 단계별 데이터 마이닝의 역할을 정리합니다.

LLM 구축 단계 핵심 데이터 마이닝 작업 (Tasks) 달성되는 효과 및 모델에 미치는 영향
1. 대규모 사전학습
(Pre-training) 데이터 마이닝		 • 웹 크롤링 코퍼스 정제: HTML 태그, 광고성 보일러플레이트 제거
• 품질 분류기(Quality Classifier): 고품질 위키백과/도서 기반의 선별 마이닝
• 휴리스틱 마이닝: 기호 비율, 평균 단어 길이, Perplexity 필터링 		수십 페타바이트의 원시 인터넷 데이터(Common Crawl)에서 학습 가치가 높은 수조 토큰(Tokens)의 정제된 코퍼스를 추출하여 언어 모델의 지적 기반 구축.
2. 대규모 중복 제거
(Deduplication Mining)		 • 문서 단위 중복 제거: MinHash + Locality Sensitive Hashing (LSH)
• 부분 문자열 중복 제거: Suffix Array 기반 긴 일치 구문 마이닝
• 정확 일치(Exact Match) 및 유사 일치(Fuzzy Match) 마이닝 		중복된 웹 문서로 인한 모델의 단순 암기(Memorization) 방지, 학습 수렴 속도 대폭 향상, 데이터 다양성 극대화 및 저작권 침해 위험 감소.
3. 안전성 & 개인정보
(Safety & PII Filtering)		 • 개인 식별 정보(PII) 마이닝: 주민번호, 이메일, 전화번호, 카드번호 정규식/NER 마이닝 및 마스킹
• 유해성 마이닝: 혐오 발언, 성인물, 폭력 조장 텍스트 탐지 및 필터링 		인공지능 모델이 개인정보를 유출하거나 유해한 답변을 생성하는 문제를 사전에 차단하여 신뢰할 수 있고 윤리적인 AI(Ethical AI) 보장.
4. 지도 미세조정(SFT) & 정렬
(Instruction Mining)		 • 지시어 데이터셋 마이닝: 고품질 Q&A, 논리 추론, 코딩 데이터 마이닝
• 데이터 프루닝(Pruning): K-Means 임베딩 군집화를 통한 중복 제거 및 도메인 다양성 확보
• 난이도 기반 필터링: 복잡한 추론 문제 선별 		수십만 건의 방대한 데이터 대신 엄선된 수천~수만 건의 고품질 지시어(Instruction)만으로도 모델의 지시 수행 능력을 비약적으로 향상 (LIMA 효과).
5. 검색 증강 생성
(RAG Data Mining)		 • 시맨틱 청킹(Chunking) & 밀집 임베딩 마이닝: 문맥 단위 텍스트 분할
• 하이브리드 마이닝: BM25(키워드 마이닝) + Dense Vector(의미론적 유사도 마이닝)
• Cross-Encoder 재순위화(Reranking) 		LLM이 최신 전문 지식을 검색하여 답변하도록 유도하여 환각(Hallucination) 현상을 획기적으로 방지하고 신뢰도 높은 인용 제공.

📚 4. AIStudy 역사적 학술 기고문 아카이브 (Preserved Articles)

HISTORICAL ARCHIVES
학술 해설 01 | Introduction : 서울대 Data Mining lab : 조성준 교수

데이터마이닝이라는 용어는 데이터베이스 분야를 연구하던 컴퓨터 과학자들이 만든 것이고 현재 미국 등지에서는 컴퓨터 과학자들의 주도하에 ACM (association for computing machinery) 의 ACM SIGKDD (special interest group on knowledge discovery in database) 에서 매년 학술대회가 개최되고 있다. 그러나 실제 데이터마이닝의 기본 개념은 통계학에 그 바탕을 두고 있으며, AI 에서 개발된 모델과 알고리즘을 많이 사용하고 있어서 근본적으로 학제적인 (inter-disciplinary) 분야이다. 분야별 해당 기법들을 구체적으로 보면 다음과 같다.

• 통계학 분야: 통계학 (Statistics) 분야의 기법들은 다양한 전처리 기법, 선형/비선형 회귀분석 (Regression Analysis), K-평균 군집화 알고리즘 (K-means Clustering Algorithm), 분류회귀분석나무 모형 (Classification and Regression Tree: CART), 자율향상 (Bootstrapping), 선형/비선형 주성분 분석 (linear/nonlinear PCA) 등이 있다.

• 인공지능 분야: 인공지능 (Artificial Intelligence)의 기계학습과 뉴로컴퓨팅 (Neural Network) 기법들은 C4.5 나무 모형, 다층 퍼셉트론 (Multilayer Perceptron), 레이디얼 베이시스 함수 네트웍 (radial-basis function network: RBFN), 자기조직화 맵 (Self-Organizing Map) 등이 있다.

• 데이터베이스 분야: 데이터베이스 분야에서 개발된 연관 규칙 발견 알고리즘 (“A priori”), 순서분석 알고리즘 등이 널리 사용되고 있다.

학술 해설 02 | 지식 탐사 과정, 데이터 마이닝 작업, 데이터 마이닝 방법론 : 성신여대 Data Engineering lab : 박종수 교수

아직도 데이터베이스에서 지식탐사 (Knowledge Discovery in Databases : KDD) 와 데이터마이닝 (data mining) 에 대해서 약간의 혼돈이 있다. 낮은-수준의 데이터에서 높은-수준의 지식으로 바꾸는 전체 과정을 지칭하기 위해 KDD 란 용어를 사용한다. KDD 의 간단한 정의는 다음과 같다 : 데이터베이스에서 지식 탐사는 데이터에서 유효하고, 귀하고, 잠재적으로 유용하고, 궁극적으로 이해될 수 있는 패턴을 알아내는 쉽지않은 과정이다. 또한 관찰된 데이터로부터 패턴이나 모델의 추출을 데이터마이닝의 일반적으로 사용되는 정의로 채택한다.

"비록 지식탐사 과정의 핵심에 있지만, 데이터 마이닝 단계는 보통 전체 노력의 작은 부분 (15%에서 25%로 추정된다) 을 이룬다. 그러므로 데이터 마이닝은 전체 KDD 과정에서 단지 한 단계이다."

소프트웨어 도구 아카이브 | 범용 및 전용 데이터 마이닝 소프트웨어 생태계

Data Mining 도구는 여러 가지 기법들을 종합 지원하여 다양한 작업을 가능하게 하는 범용 엔터프라이즈 제품군과 특별히 하나의 기법만을 지원하는 전용 제품군까지 다양하게 발전해 왔습니다.

🔗 SAS Enterprise Miner 🔗 SPSS Clementine (현 IBM SPSS Modeler) 🔗 IBM Intelligent Miner 🔗 Rulequest See5 (C5.0) 🔗 NeuroSolutions

📺 5. 데이터 마이닝 학술 동영상 및 대학 공개 강좌 (Video Archive)

LECTURE ARCHIVES
데이터마이닝의 이해
KC대학교 : 이상철 교수 (2016/09/13)
👉 전체 강의 재생목록 (동영상 22개)

🎓 국내 주요 대학 KOCW 공개 강좌 시리즈

🌐 6. 세계적인 데이터 마이닝 연구 기관 및 최고 권위 학회

GLOBAL RESEARCH HUBS

🏛️ ACM SIGKDD

컴퓨터 과학 최고 권위 기구 ACM 산하 지식발견 및 데이터 마이닝 분과로, 전 세계에서 가장 영향력 있는 데이터 마이닝 국제 학술대회인 KDD 컨퍼런스를 매년 주최합니다.

🔗 ACM SIGKDD 공식 포털

🎓 Stanford InfoLab (Stanford University)

제프리 울만(Jeffrey Ullman) 교수의 데이터 마이닝 이론 및 대규모 웹 그래프 마이닝(PageRank)의 모태로, 현대 대규모 지식 그래프와 파운데이션 모델 데이터 마이닝을 선도합니다.

🔗 Stanford InfoLab

🔬 UIUC Data Mining Group (Jiawei Han Lab)

데이터 마이닝의 교과서적 표준 알고리즘인 FP-Growth 창시자 지아웨이 한(Jiawei Han) 교수의 연구실로, 텍스트 큐브 및 비정형 정보 추출 연구를 개척했습니다.

🔗 UIUC DM Group

🇰🇷 서울대 데이터마이닝 연구실 & KAIST

국내 데이터 마이닝 학계를 개척해 온 서울대 조성준 교수 연구실(SNU DM Lab), 성신여대 박종수 교수 연구실 및 KAIST AI 대학원 등 국내 최고의 데이터 사이언스 연구진이 산업 AI와 융합 연구를 수행합니다.

🔗 서울대 DM Lab 🔗 성신여대 DE Lab

🔗 7. AIStudy 관련 용어(Terms) 및 외부 권위 사이트

DIRECTORY & ARCHIVES

📚 AIStudy 핵심 관련 용어 (Terms)

데이터마이닝 (Data Mining) 데이터 (Data) 빅 데이터 (Big Data) 머신러닝 (Machine Learning) 딥 러닝 (Deep Learning) 인공지능 (Artificial Intelligence) 통계학 (Statistics) 회귀분석 (Regression Analysis) K-평균 군집화 (K-Means) 자율향상 (Bootstrapping) 신경망 (Neural Network) 다층 퍼셉트론 (Multilayer Perceptron) 자기조직화 맵 (Self-Organizing Map) 예측 (Prediction) 추론 (Reasoning) 진단 (Diagnosis) AI 용어사전 (Glossary)

🌐 글로벌 권위 사이트 및 백과사전 (Sites)

Wikipedia : Data Mining 위키백과 : 데이터 마이닝 AI Topics : Data Mining