NoSql y MongoDB

Bases de datos NoSQL y MongoDBDavid Gómez

miércoles 25 de enero de 12

David Gómez

dgomez@extrema-sistemas.comDeveloper & Trainer

@dgomezg

Un vistazo a las soluciones NoSQL

¿Qué es NoSQL?

(cc) Photo by mwin - http://www.flickr.com/photos/wingler/3429634150

¿Qué es NoSQL?

NoSQL !== no SQL

Not only SQL

¿Qué es NoSQL?

Non Relational

Distributed

Horizontally scalable

Motivaciones

Aplicaciones web ultra-escalables

Gran cantidad de datos

Velocidad de guardado

Alto número de peticiones

Máxima disponibilidad

Características

Replicado (particionado horizontal)

Sin esquemas (versatibilidad, adaptabilidad)

BASE (not ACID)

Características: BASE vs ACID

Atomicity, Consistency, Isolation, Durability

Basically Available, Soft state, Eventual consistency

(cc) Photo by zhouxuan12345678 - http://www.flickr.com/photos/53921113@N02/5645102295/

orientadas a Columna orientadas a Documento

orientadas a GrafosKey-value

Orientadas a columna

(cc) Photo by profzuckerk - http://www.flickr.com/photos/profzucker/4630958694

Configuración individual de columnas por fila

(cc) Photo by Ash Brian - http://www.flickr.com/photos/ashbrian/2977673855

También conocidas como BigTable (google paper)

Tamaño

Alta carga de escrituras

Disponibilidad

MapReduce

Tamaño

Alta carga de escrituras

Disponibilidad

MapReduce

Orientadas a DocumentoEl documento es lo que importa

Almacenados en Colecciones

(bajo una clave)

Los documentos pueden ser heterogéneos

Formatos textuales: XML, YAML, JSON & BSON

Formatos binarios: P ej: PDFs

12(cc) Photo by Ampersand Duck - http://www.flickr.com/photos/ampersandduck/4941185476

Orientadas a DocumentoEl documento es lo que importa

Almacenados en Colecciones

(bajo una clave)

Los documentos pueden ser heterogéneos

Formatos textuales: XML, YAML, JSON & BSON

Formatos binarios: P ej: PDFs

12(cc) Photo by Ampersand Duck - http://www.flickr.com/photos/ampersandduck/4941185476

Key-Value

Basadas en:

Dynamo (paper de Amazon)

y Tablas Hash distribuidas

Colleción de pares clave-valor

Almacenados de forma distribuida

Útiles con:

muchas escrituras y lecturas pequeñas.

Key-Value

Basadas en:

Dynamo (paper de Amazon)

y Tablas Hash distribuidas

Colleción de pares clave-valor

Almacenados de forma distribuida

Útiles con:

muchas escrituras y lecturas pequeñas.

Orientadas a Grafos

Almacenan:

Nodos y relaciones

Ambos pueden contener pares clave-valor

Muy rápidos para consultas con operaciones sobre el gráfo(p. Ej: personas con un grado de afinidad 3)

Orientadas a Grafos

Almacenan:

Nodos y relaciones

Ambos pueden contener pares clave-valor

Muy rápidos para consultas con operaciones sobre el gráfo(p. Ej: personas con un grado de afinidad 3)

¿Cuándo utilizar NoSQL?Teorema CAP (Eric Brewer)

15Source: Nathan Hurst’s Blog

CConsistency

Source: Nathan Hurst’s Blog

C AConsistency Availability

Consistency Availability

Partition Tolerance

Sólo 2

Partition Tolerance

Sólo 2

Oracle, MySQL,

Partition Tolerance

Sólo 2

Oracle, MySQL,

MongoDB, DataStore,

HyperTable, HBase

Redis, MemcacheDB

Partition Tolerance

Sólo 2

Oracle, MySQL,

MongoDB, DataStore,

HyperTable, HBase

Redis, MemcacheDBDyn

pleDB, C

DB, RiaK

RDBMSOrientadas a documento

orientadas a columnaKey-Value

NoSQL Document DB:MongoDB

MongoDB

Escrita en C++

Orientada a documento

Formato JSON (o BSON)

Un poco SQL (queries, índices, Referencias externas)

Particionado horizontal (sharding)

Consultas Javascript

Almacenamiento en GridFS

Orientadas a Documento

Documentos formateados en JSON

Orientadas a Documento

Documentos formateados en JSON

{ "_id" : { "$oid" : "4f13f2b98de23dc3d58f959a" }, "name" : "NoSQL y MongoDB", "presenter" : "David Gomez", "Event" : "decharlas", "duration" : 60, "timing" : { "start" : 17, "end" : 19 } }

Consultas

Utilizando un API y funciones JavaScript

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test>

Consultas

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground>

Consultas

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground> db.talks.insert({'name' : 'codemotion', 'presenter' : 'David Gomez', 'Event' : 'decharlas' });>

Consultas

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground> db.talks.insert({'name' : 'codemotion', 'presenter' : 'David Gomez', 'Event' : 'decharlas' });>

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground> db.talks.insert({'name' : 'codemotion', 'presenter' : 'David Gomez', 'Event' : 'decharlas' });> db.talks.find();{ "_id" : ObjectId("4f13f7e5a00e6496e7a9541b"), "name" : "codemotion", "presenter" : "David Gomez", "Event" : "decharlas" }>

Colecciones

Equivalente a la tabla

Guardan documentos

No todos iguales

Pueden definir índices sobre atributos

Creadas con la primera inserción

Persistidas sobre un GridFS

Documentos

Identificados por un “_id” (generado o asignado)

Textual (JSON)

Binario (BSON)*

Documentos grandes divididos en chunks

Programación de clientes

Multitud de lenguajes (drivers)

Transformación a JSON realizada por el driver

{ "name" : "NoSQL y MongoDB", "presenter" : "David Gomez", "Event" : "decharlas", "duration" : 60, "timing" : { "start" : 17, "end" : 19 } }

sample.py

{ "name" => "NoSQL y MongoDB", "presenter" => "David Gomez", "Event" => "decharlas", "duration" => 60, "timing" => { "start" => 17, "end" => 19 } }

sample.py

array( "name" => "NoSQL y MongoDB", "presenter" => "David Gomez", "Event" => "decharlas", "duration" => 60, "timing" => array( "start" => 17, "end" => 19 )}

sample.php

sample.py

array( "name" => "NoSQL y MongoDB", "presenter" => "David Gomez", "Event" => "decharlas", "duration" => 60, "timing" => array( "start" => 17, "end" => 19 )}

sample.php

BasicDBObject doc = new BasicDBObject(); doc.put("name", "NoSQL y MongoDB"); doc.put("presenter", "David Gomez"); doc.put("Event", "decharlas"); doc.put("duration", 60);

BasicDBObject timing = new BasicDBObject(); timing.put("start", 17); timing.put("end", 19); doc.put("timing", timing);

sample.java

1. Obtener el Driver

Importar el driver

<dependency><groupId>org.mongodb</groupId><artifactId>mongo-java-driver</artifactId><version>2.7.0-rc1</version>

</dependency>

Importar el driver

<dependency><groupId>org.mongodb</groupId><artifactId>mongo-java-driver</artifactId><version>2.7.0-rc1</version>

</dependency>

2. ConexiónObtener la referencia a la BD y la conexión

Mongo m = new Mongo( "127.0.0.1" , 27017 );

DB db = m.getDB( "playground" );

Mongo m = new Mongo( "127.0.0.1" , 27017 );

Sobre la BD se puede:

Mongo m = new Mongo( "127.0.0.1" , 27017 );

Sobre la BD se puede:Boolean authorized = db.authenticate(user, passwd);if (db.collectionExists("talks")) {

CommandResult cmdResult = db.command("{ collStats:"db.talks" , scale : 1 }");

} Set<String> colls = db.getCollectionNames();for (String s : colls) { System.out.println(s);}

3. Inserciones

Crear e insertar un objeto

3. Inserciones

Crear e insertar un objeto

BasicDBObject doc = new BasicDBObject(); doc.put("name", "NoSQL y MongoDB"); doc.put("presenter", "David Gomez"); doc.put("Event", "decharlas"); doc.put("duration", 60);

BasicDBObject timing = new BasicDBObject(); timing.put("start", 17); timing.put("end", 19); doc.put("timing", timing);

DBCollection coll = db.getCollection("talks"); coll.insert(doc);

4. Consultas (I)

Obtener todos los documentos de una colección

4. Consultas (I)

DBCollection talks = db.getCollection("talks");

DBCursor cursor = talks.find();

while (cursor.hasNext()) { System.out.println(cursor.next()); }

4. Consultas (I)

DBCollection talks = db.getCollection("talks");

DBCursor cursor = talks.find();

while (cursor.hasNext()) { System.out.println(cursor.next()); }

public abstract class DBCollection {

public final DBCursor find(){ public final DBCursor find( DBObject ref ) public final DBCursor find( DBObject ref , DBObject keys )

public final DBObject findOne( Object obj ) public final DBObject findOne( Object obj, DBObject fields )

public DBObject findAndModify( DBObject query , DBObject update )

4. Consultas (II)

Consultas “SQL-like”

4. Consultas (II)

SELECT * FROM TALKS WHERE PRESENTER = “David Gomez”;

Las consultas se hacen con Documentos JSON

4. Consultas (II)

{ “presenter” : “David Gomez” }

4. Consultas (II)

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground> db.talks.find( { "presenter" : "David Gomez" });{ "_id" : ObjectId("4f13f7e5a00e6496e7a9541b"), "name" : "codemotion", "presenter" : "David Gomez", "Event" : "decharlas" }>

4. Consultas (II)

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground> db.talks.find( { "presenter" : "David Gomez" });{ "_id" : ObjectId("4f13f7e5a00e6496e7a9541b"), "name" : "codemotion", "presenter" : "David Gomez", "Event" : "decharlas" }>

DBObject query = new BasicDBObject();query.put("presenter", "David Gomez"); DBCursor davidTalks = talks.find(query);while (davidTalks.hasNext()) { System.out.println(davidTalks.next());} }

4. Consultas (III)

Comparadores <, <=, >=, >, !=

4. Consultas (III)

SELECT * FROM TALKS WHERE duration < 60;

4. Consultas (III)

{ “duration” : { $lt : 60} }{ “duration” : { $lte : 60} }{ “duration” : { $gt : 60} }{ “duration” : { $gte : 60} }{ “duration” : { $ne : 60} }

4. Consultas (III)

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground> > db.talks.find({"duration" : { $lt : 90 } }){ "_id" : ObjectId("4f1402f28de2930293c7cf8e"), "name" : "NoSQL y MongoDB", "presenter" : "David Gomez", "Event" : "decharlas", "duration" : 60, "timing" : { "start" : 17, "end" : 19 } }>

4. Consultas (III)

beleriand:bin dgomez$ ./mongoMongoDB shell version: 1.8.1connecting to: test> use playgroundswitched to db playground> > db.talks.find({"duration" : { $lt : 90 } }){ "_id" : ObjectId("4f1402f28de2930293c7cf8e"), "name" : "NoSQL y MongoDB", "presenter" : "David Gomez", "Event" : "decharlas", "duration" : 60, "timing" : { "start" : 17, "end" : 19 } }>

DBObject query = new BasicDBObject();query.put("duration", new BasicDBObject("$lt","90")); DBCursor shortTalks = talks.find(query);while (shortTalks.hasNext()) {

System.out.println(shortTalks.next());}

4. Consultas (IV)

Concatenación de consultas

4. Consultas (IV)

SELECT * FROM TALKS WHERE duration < 90 AND duration > 30;

4. Consultas (IV)

{ “duration” : { $lt : 90, $gt : 60} }}

4. Consultas (IV)

{ “duration” : { $lt : 90, $gt : 60} }}

DBObject query = new BasicDBObject();DBObject condition = new BasicDBObject("$lt", 90);condition.put("$gt",30);query.put("duration", condition); DBCursor shortTalks = talks.find(query);while (shortTalks.hasNext()) {

System.out.println(shortTalks.next());}

4. Consultas (V)

Otros operadores

4. Consultas (V)

Otros operadores

$all$exists$mod$ne$in$nin$nor$or$and$size$type

4. Consultas (y VI)

SELECT * FROM TALKS WHERE duration < 90 AND duration > 30AND (presenter = “David Gomez” or presenter=”Ricardo Borillo”);

4. Consultas (y VI)

{ “duration” : { $lt : 90, $gt : 60}, $or : [ { “presenter” : “David Gomez”}, { “presenter” : “Ricardo Borillo”} ]}

4. Consultas (y VI)

{ “duration” : { $lt : 90, $gt : 60}, $or : [ { “presenter” : “David Gomez”}, { “presenter” : “Ricardo Borillo”} ]}

DBObject query = new BasicDBObject();DBObject condition = new BasicDBObject("$lt",90);condition.put("$gt",30);query.put("duration", condition);

DBObject [] speakerCond = {new BasicDBObject("presenter", "David Gomez"), new BasicDBObject("presenter", "Ricardo Borillo")

};query.put("$or", speakerCond);

talks.find(query);

DBObjects desde JSON

com.mongo.util.JSON

DBObjects desde JSON

Object query = JSON.parse("{ 'duration' : { $lt : 90, $gt : 60}, " + " '$or' : [ { 'presenter' : 'David Gomez'}, " + " { 'presenter' : 'Ricardo Borillo'} ] }");

DBCursor cursor = db.find((DBObject) query);

com.mongo.util.JSON

Spring Data MongoDB

Spring Data

Objetivo:- Proporcionar un mecanismo homogeneo y

completo para el acceso a BD NoSQL

Multiples proyectos:- Soportados:

‣ MongoDB, Redis, Neo4j, Hadoop, GemFire, RiaK

- En proceso:‣ CouchDB, Hbase, Cassandra

Spring Data y MongoDB

XML namespace para configurar driver Mongo

MongoTemplate

Conversión automática de excepciones

OXM Configurable

JMX monitoring

Importando Spring Data

<repository> <id>spring-milestone</id> <name>Spring Maven MILESTONE Repository</name> <url>http://maven.springframework.org/milestone</url></repository>

<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-mongodb</artifactId> <version>1.0.0.RC1</version></dependency>

Namespace

<?xml version="1.0" encoding="UTF-‐8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-‐instance" xmlns:mongo="http://www.springframework.org/schema/data/mongo" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="http://www.springframework.org/schema/beans

http://www.springframework.org/schema/beans/spring-‐beans.xsd http://www.springframework.org/schema/data/mongo http://www.springframework.org/schema/data/mongo/spring-‐mongo-‐1.0.xsd

http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-‐context.xsd">

</beans>

Namespace

</beans>

<mongo:db-‐factory dbname="vts"/>

Namespace

</beans>

<mongo:db-‐factory dbname="vts"/>

MongoTemplate

Convierte query a JSON

Convierte respuesta (“_type”)

Gestiona las conexiones

Maneja las excepciones

Repository

public abstract class AbstractRepository<T> {

@Inject protected MongoTemplate mongoTemplate; /** Clase que utiliza Mongo para identificar el nombre de la coleccion */ private Class<T> persistentClass;

protected AbstractService(Class<T> persistentClass) { this.persistentClass = persistentClass; }

public List<T> findAll(){ return mongoTemplate.findAll(persistentClass); }

public void save(T e) { mongoTemplate.save(e); }

public T findById(String id) { T t = mongoTemplate.findById(id, persistentClass); if (t == null) { logger.debug(persistentClass.getSimpleName() + " with id " + id + " could not be found"); throw new ObjectNotFoundException(persistentClass, id); } return t; }

Consultas más sencillas

public abstract class AbstractRepository<T> {

public List<T> getByType(String type) { return mongoTemplate.find(

new Query(Criteria.where("type").is(type)),T.class, persistentClass);

Conversión Manual

Porque a veces lo automático no funciona

Conversión Manual

Porque a veces lo automático no funcionapublic class BitSetReadConverter implements Converter<DBObject, BitSet> {

@Override public BitSet convert(DBObject source) { BasicDBList words = (BasicDBList)source.get("words"); BitSet bitset = new BitSet(); int index = 0; for (Object word : words) { long value = (Long)word; while (value != 0L) {

if ((value & 1L) != 0) { bitset.set(index); } ++index; value = value >>> 1; } } return bitset; }}

Conversión Manual

<?xml version="1.0" encoding="UTF-‐8"?><beans>

</beans>

Conclusiones

Reducción del número de tablas

Optimización en el rendimiento de escrituras

Simplificación de los DAOs con Spring-Data

Otras ventajas:

Documentos en formato de Respuesta REST

NoSql y MongoDB

Business

Transcript of NoSql y MongoDB

GT 10 RUIDO Y CIUDADANÍA - Conama · valor el principio del “poder para el pueblo” ... MongoDB bases de datos NoSQL Oracle (software privativo) Big Data 6. RUIDO Y CIUDADANÍA

MongoDB Expo

UNIVERSIDAD POLITÉCNICA DE MADRIDoa.upm.es/48941/1/TFG_JOSE_MIGUEL_ROJAS_GONZALES.pdf · de datos NoSQL, MongoDB y Cassandra y comparar el rendimiento y el funcionamiento de estas

Zend Framework 2 y MongoDB

Introducción mongodb y desarrollo

5. Base de datos NoSQL: MongoDB - bibing.us.esbibing.us.es/proyectos/abreproy/12037/fichero/PFC_Sergio_Bellido... · 42 5. Base de datos NoSQL: MongoDB A pesar de que las bases de

UNIVERSIDAD NACIONAL DE CHIMBORAZOdspace.unach.edu.ec/bitstream/51000/5569/1/UNACH... · bases de datos NoSQL (MongoDB y CouchDB) utilizando la norma ISO/IEC 25010, con la cual se

Introduccón a Mongodb

mongoDB - Arquitectura y Componentes

Mongodb administración

Introducción a Base de datos: SQL y NoSQLBases de datos no relacionales 8. Base de datos NoSQL y MongoDB 9. Colecciones en MongoDB Emular SELECT con una base de 10. datos NoSQL Firebase

NoSQL Databases

Bases de Datos No Relacionales (NoSQL): Cassandra, CouchDB, MongoDB y Neo4j

NoSQL - expertojava.ua.esexpertojava.ua.es/experto/restringido/2014-15/nosql/slides/nosql03.p… · NoSQL © 2014-2015 Depto. Ciencia de la Computación e IA NoSQL - MongoDB Avanzado

Driver Nativo MongoDB

BigData - NoSQL

EL MUNDO REAL DEL ADMINISTRADOR DE BASES DE DATOSi.dell.com/sites/doccontent/shared-content/data... · está usando MongoDB, la tecnología de bases de datos NoSQL más popular en

NoSQL Tema2 MongoDB Master 1617 - Open Course Ware · GestoresNoSQL – MongoDB Marta Zorrilla –Diego García-Saiz Enero 2017 1 Este material se ofrece con licencia: Creative Commons

WorkShop MongoDB Introductorio · 2019. 3. 14. · WorkShop MongoDB Introductorio Intro a BigData - MongoDB. Implementación de Bases de Datos NoSql | Docentes Ing. Juan Zaffaroni

PHP y NoSQL PHPConMX 2012