同步-elasticseach jdbc-river read only

问题描述

elasticseach jdbc-river read only

使用jdbcriver 连接mysql,同步数据,同步已有的,新增的,修改的,可以同步数据但是报错
我用java程序jdbc查询数据的时候并不报错,
这是建立索引的代码:
创建索引
curl -XPUT 'http://localhost:9200/profile'
创建数据表与索引映射
curl -XPUT 'http://localhost:9200/profile/user/_mapping' -d '
{
"user": {
"properties": {
"id": {
"type": "string",
"store": "yes"
},
"name": {
"type": "string",
"store": "yes"
},
"login_name": {
"type": "string",
"store": "yes"
}
}
}
}'

  • 运行river同步数据

curl -XPUT 'http://localhost:9200/_river/who_jdbc_river/_meta' -d '{
"type": "jdbc",
"jdbc": {
"driver": "com.mysql.jdbc.Driver",
"url": "jdbc:mysql://localhost:3306/profile",
"user": "root",
"password": "root",
"sql": "select id as _id,name,login_name from user",
"index": "profile",
"type": "user",
"bulk_size": 100,
"max_bulk_requests": 30,
"bulk_timeout": "10s",
"flush_interval": "5s",
"schedule": "0 0-59 0-23 ? * *"
}
}' 经过三个步骤后,可以同步我本地数据库中的数据了,只是报错,想解决一下,各位帮帮忙

时间: 2024-11-28 18:58:23

同步-elasticseach jdbc-river read only的相关文章

jdbc-关于JDBC创建连接同步问题

问题描述 关于JDBC创建连接同步问题 JDBC创建的DriverManager.getConnection()连接是同步的吗?这样创建的连接不能异步做后续处理?有没有其他的获取异步连接的方法. 求大侠支招. 解决方案 JDBC的连接的问题JDBC连接数据库问题 解决方案二: 网上很多例子都是用DriverManager.getConnection来创建数据库连接,但是这个方法是不推荐的,因为它有可能造成死锁. 在服务器中,所有的DriverManagerr调用都是类同步的, 包括所有数据库驱动

全文检索(elasticsearch入门)

Elasticsearch篇: Elasticsearch是一个采用java语言开发的,基于Lucene构造的开源,分布式的搜索引擎. 设计用于云计算中,能够达到实时搜索,稳定可靠. Elasticsearch的数据模型是JSON. 对于需要分布式需求的这是一个非常好的选择,部署简单,同网段内会自动组成集群服务无需配置.其集成数据库同步插件,不仅支持几乎实时的全文检索服务,还支持距离查询,提供类似类似百度地图离我最近查询. 官方主页:http://www.elasticsearch.org/ 

Elasticsearch中使用reiver-jdbc导入数据

  Elastisearch中提供了river模块来从其他数据源中获取数据,该项功能以插件的形式存在,目前已有的river插件包括: river pluginsedit 1. Supported by Elasticsearch CouchDB River Plugin RabbitMQ River Plugin Twitter River Plugin Wikipedia River Plugin 2. Supported by the community ActiveMQ River Plu

spring AOP的事务顺序问题

问题描述 在项目中有一个事务逻辑需要被很多业务触发后调用,使用了springAOP,在执行过程中发现事务不是按照执行顺序执行的比如业务1是最终执行的sql为update A业务采用aop方式在业务1执行后再执行,执行sql为update B实际情况确实先update B ,然后才update A 解决方案 1.你是用的hibernate吗? 如果是 你应该知道sql重排序问题引用10.10. Session刷出(flush)每间隔一段时间,Session会执行一些必需的SQL语句来把内存中的对象

Hibernate的session中的flush

  什么是Hibernate Session刷出(flush)?也许大家对此不够了解,但相信你看完本文一定有很大的收益. 每间隔一段时间,Session会执行一些必需的SQL语句来把内存中的对象的状态同步到JDBC连接中.这个过程被称为Hibernate Session刷出(flush).   默认会在下面的时间点执行:   ◆在某些查询执行之前 ◆在调用org.hibernate.Transaction.commit()的时候 ◆在调用Session.flush()的时候 ◆涉及的SQL语句会

Elasticsearch与MongoDB 数据同步及分布式集群搭建

过River可以与多种数据源Wikipedia, MongoDB, CouchDB, RabbitMQ, RSS, Sofa, JDBC, FileSystem,Dropbox等同步,公司的业务是用 MongoDB,今天测试环境虚拟机上配置了一下Elasticsearch 与 MongoDB的同步,作个大概的过程记录,主要利用richardwilly98 / elasticsearch-river-mongodb.River通过读取mongodb的oplog来同步数据,oplog这个表来使集群中

基于JDBC的数据库连接池技术研究与应用

数据|数据库|数据库连接 摘 要 本文介绍了Java访问数据库的原理及其存在的问题,提出了解决办法-数据库连接池,并对其关键问题进行了分析,构建了一个简便易用的连接池并结合当前热门技术Servlet说明了其如何在开发时使用. 关键词 JDBC,Jsp/Servlet,数据库连接池,多数据库服务器和多用户,多线程 引言 近年来,随着Internet/Intranet建网技术的飞速发展和在世界范围内的迅速普及,计算机 应用程序已从传统的桌面应用转到Web应用.基于B/S(Browser/Server

JDK1.2关于JDBC中文问题的解决方案

解决|问题|中文 发信人: hht (Duke), 信区: Java 标  题: JDK1.2关于JDBC中文问题的解决方案&Re yzhang 发信站: 网易虚拟社区 (Mon Jan 11 13:29:43 1999), 转信 忙了几天,终于对JDK1.2的JDBC中文问题有了初步的了解,虽然还有问题存在,但我 想大家可能都着急了吧?:)所以就把我的初步想法先贴出来,欢迎大家补充. JDK1.2的中文问题主要是由于引入了Unicode引起的(其实在1.1版本中就有了),U nicode的字符

JSP中使用Java的JDBC技术实现对数据库的各种操作

在JSP 中可以使用Java 的JDBC 技术,实现对数据库中表记录的查询.修改和删除等操作.JDBC 技术在JSP 开发中占有很重要的地位. JDBC(Java DataBase Connectivity)是Java 数据库连接API.简单地说, JDBC 能完成三件事: (1) 与一个数据库建立连接, (2) 向数据库发送SQL 语句, (3) 处理数据库返回的结果. JDBC 和数据库建立连接的一种常见方式是建立起一个JDBC─ODBC 桥接器.由于ODBC 驱动程序被广泛的使用,建立这种