本文共 4862 字,大约阅读时间需要 16 分钟。
最近看到群里面经常讨论大型应用中 SQL
的管理办法,有人说用 EF
/ EFCore
,但很多人不信任它生成 SQL
的语句;有人说用 Dapper
,但将 SQL
写到代码中有些人觉得不合适;有人提出用存储过程,但现在舆论纷纷反对这种做法;有人提出了 iBatis.NET
,它可以配置确保高灵活性高性能,也提供动态 SQL
的功能,但已经多年没有维护。
在几年前,我们某项目中就有总共 4MB
以上的 SQL
语句文本,我也注意到产品做大后会,一定出现这个问题,所以我就依照 MyBatis
的核心思想,支持可配置、动态 SQL
,但去除了臃肿的 xml
,自己实现了一套简单好用的语法,然后开源了出来,名字就叫 sdmap
。
在我的介绍页面上已经指出, sdmap
的如下特性:
非常简单的语法来描述动态 SQL
;
使用了 EmitCIL
来确保性能;
有 VisualStudio
插件支持,实现了代码高亮、代码折叠、快速导航的特性;
支持所有主流数据库,如 MySQL
、 SQLServer
、 SQLite
等(只要 Dapper
能支持);
可以扩展支持非关系型数据库,如 Neo4j
;
单元测试全覆盖。
如图:
该语法有如下特点:
用 namespace
关键字表达名字空间;
用 sql
关键字表示模板语句;
用 #
号的特殊语法可以进行一些判断,里面有 isEqual<>
、 #isNotEmpty<>
等特殊语法;
用 #include<>
,可以包含另一个 SQL
语句;
语句可以嵌套, sql{}
中可以包含另一个 sql{}
。
我们可以对比一下 iBatis
/ MyBatis
的语法:
insert into users (id, name, funkyNumber, roundingMode) values ( #{id}, #{name}, #{funkyNumber}, #{roundingMode} ) insert into users2 (id, name, funkyNumber, roundingMode) values ( #{id}, #{name}, #{funkyNumber}, #{roundingMode, typeHandler=org.apache.ibatis.type.EnumTypeHandler} )
相比之下,由于 XML
的存在, MyBatis
的语法有更多噪音。
其实和 MyBatis
不同, sdmap
设计之初就只考虑好好做一个小巧、精致、快速的模板引擎。因此 sdmap
可以不依赖于任何数据库,只做字符串解析,最简单的代码是:
// 安装NuGet包:sdmapvar c = new SdmapCompiler();c.AddSourceCode("sql v1 {Hello World}");Console.WriteLine(c.Emit("v1", null)); // Hello World
当然有一些前端输入,这样就需要第二个参数:
var c = new SdmapCompiler();c.AddSourceCode("sql v1 {Hello #prop!}");Console.WriteLine(c.Emit("v1", new { Name = "Hero"})); // Hello Hero!
注意我使用了一个 #prop<>
的语法,这是 sdmap
中调用指令的语句,表示将 Name
属性按原样显示在此处。
有些语句需要根据前端的不同而不同,比如典型的“动态 SQL
”问题,如果前端传了参数,则执行过滤,没有传则不过滤,这样的代码如下:
var c = new SdmapCompiler();c.AddSourceCode(@"sql v1{ SELECT * FROM [Customer] WHERE 1=1 #isNotEmpty
输出结果如下:
SELECT * FROM [Customer] WHERE 1=1 AND Location = '长沙' SELECT * FROM [Customer] WHERE 1=1
可见,关键的那个 isNotEmpty<>
控制了 Location
判断的语句。
每次使用时,都需要实例化一个 SdmapCompiler
来加载 sdmap
语句很麻烦,在项目中,这部分逻辑重用度非常高,因此我写了一个扩展: sdmap.ext
,定义了 ISdmapEmiter
接口,该接口定义如下:
public interface ISdmapEmiter{ string Emit(string statementId, object parameters);}
相当于最简单的生成器,然后我写了几个内置实现,可以直接从文件系统或者程序集嵌入的资源中读入这些文件:
public class EmbeddedResourceSqlEmiter : ISdmapEmiter { public static EmbeddedResourceSqlEmiter CreateFrom(Assembly assembly); // ...}public class MultipleAssemblyEmbeddedResourceSqlEmiter : ISdmapEmiter{ public static MultipleAssemblyEmbeddedResourceSqlEmiter CreateFrom(params Assembly[] assemblies); // ...}public class FileSystemSqlEmiter : ISdmapEmiter{ public static FileSystemSqlEmiter FromSqlDirectory( string sqlDirectory, bool ensureCompiled = false); public static FileSystemSqlEmiter FromSqlDirectoryAndWatch( string sqlDirectory, bool ensureCompiled = false); // ...}
那么有人会问,数据库参数化该如何实现呢?
答案是 Dapper
, sdmap
访问数据库时,依赖 Dapper
做参数化。其实很好理解, sdmap
只做数据库访问时的 SQL
模板引擎前端, Dapper
做后端(当然不一定非要用 Dapper
), sdmap
只负责生成 SQL
语句。
但随着大家使用越来越多,我也注意到确实可以写一些东西,便于大家更好地配合 Dapper
一起使用。因此我写了另外两个扩展: sdmap.ext
和 sdmap.ext.Dapper
。
其中 sdmap.ext
仍然和数据库无关,定义了一些 .sdmap
文件的读取和自动加载逻辑; sdmap.ext.Dapper
依赖于 Dapper
,定义了一些便利方法:
如图,用过 Dapper
的朋友知道, Dapper
为 IDbConnection
定义了一套扩展方法,这里我也为 IDbConnection
定义了一套一样的扩展,只要最后加了 ByMap
后缀,第二个参数都为 sqlMapName
,与其传入原始的 SQL
语句,此处将传入定义在 .sdmap
文件中的配置,如原先使用 Dapper
的朋友,代码可能这样写:
var data = _db.Query("SELECT * FROM [Customer] Where Id = @Id");
换成 sdmap
后,代码应该是这样写:
var data = _db.QueryByMap("Customers.GetById");
然后 sdmap
配置如下:
namespace Customers{ sql GetById { SELECT * FROM [Customer] WHERE Id = @Id }}
注意, sdmap
使用了 Dapper
的参数化方式,只需在 SQL
中写 @Id
这样的语句,即可自动实现参数化,得出结果完全一样,并且 SQL
不存在注入问题,代码中不包含 SQL
语句,语句都写在配置文件中。
由于 Dapper
的存在, sdmap
相当于也自动支持了数组的参数化,只要像 Dapper
那样写 IN
即可:
namespace Customer{ sql GetByIds { SELECT * FROM [Customer] WHERE Id IN @Ids }}
Github
地址https://github.com/sdcb/sdmap 我的 Github
首页还包含了使用 sdmap.ext.Dapper
的一步一步使用教程,可以依照上面的使用。
https://github.com/sdcb/sdmap/wiki
https://github.com/sdcb/sdmap/wiki/Common-macros
NuGet
包地址https://www.nuget.org/packages/sdmap
https://www.nuget.org/packages/sdmap.ext
https://www.nuget.org/packages/sdmap.ext.Dapper
VisualStudio插件
地址https://marketplace.visualstudio.com/items?itemName=sdmapvstool.sdmapvstool
VS
插件提供了 .sdmap
文件代码高亮、自动定位、代码折叠的功能,可以不装,但不装就没这些体验。
我写 sdmap
最初纯粹是因为想挑战自己,它包含了【编译器前端—— ANTLR
】、【编译器后端—— CIL
】、【 VisualStudio
插件如何制作】、单元测试、文档等主题。
但后来随着这个项目的发展,越来越多的朋友用了起来。用过的都纷纷提出了自己的想法,然后做了许多润色,解决了不少局限性,但我从未做过推广——这是我第一次将这个项目用文字的形式发表出来。希望这个项目能给大家以管理大量 SQL
的启发。
上文中提到了许多有意思的主题, 2020
年到了,我有空就会一一介绍这些主题,都非常有意思,最重要的是,其实都很好学????。喜欢的朋友请关注我的微信公众号:
转载地址:http://lqgbi.baihongyu.com/